Куда нам нужно обратиться для этого?

Здравствуйте, Юрий! Вопрос задан от имени женщины, будем считать так. Матери ребенка и её будущему супругу необходимо обратиться в орган ЗАГС с заявлением об установлении отцовства (признании отцовства). 

В соответствии со ст. 48 СК РФ

Отцовство лица, не состоящего в браке с матерью ребенка, устанавливается путем подачи в орган записи актов гражданского состояния совместного заявления отцом и матерью ребенка.

   При установлении отцовства будет изменено и отчество ребенка.

   Заявление в ЗАГС можно подать через Госуслуги.

Здравствуйте, Анастасия. 

У меня есть ребенок, 6 лет. В графе отец — прочерк… Сейчас я выхожу замуж за нового мужчину, он хочет вписать себя в графу отцовства в свидетельстве о рождении ребенка + сменить отчество на свое имя. Куда нам нужно обратиться для этого? Какие документы нужны? 

Т.к. в графе отец у ребенка прочерк — отца у ребенка юридически нет. 

Согласно п. 1 ст. 48 СК РФ

СК РФ Статья 48. Установление происхождения ребенка

3. Отцовство лица, не состоящего в браке с матерью ребенка, устанавливается путем подачи в орган записи актов гражданского состояния совместного заявления отцом и матерью ребенка;

Такая подача Заявления регулируется ст. 50 ФЗ от 15.11.1997 N 143-ФЗ «Об актах гражданского состояния» 
Статья 50. Государственная регистрация установления отцовства на основании совместного заявления отца и матери ребенка, не состоящих между собой в браке на момент рождения ребенка

При установлении отцовства после рождения ребенка одновременно с совместным заявлением об установлении отцовства представляется свидетельство о рождении ребенка

http://www.consultant.ru/document/cons_doc_LAW_16758/df10df60ecb1886535ac05306781850584009d44/

Также потребуются документы, удостоверяющие личность родителей. 

Форма Заявления утверждена Приказом Минюста России от 01.10.2018 N 201 «Об утверждении форм заявлений о государственной регистрации актов гражданского состояния и Правил заполнения форм заявлений о государственной регистрации актов гражданского состояния» (Форма 15) https://docs.cntd.ru/document/551248822

Лучше сначала нам расписаться, а потом заняться этим вопросом или сделать это можно параллельно?

Не важно. 

 + сменить отчество на свое имя. 

В заявлении указываете новое отчество (см форму).