Как делится наследство дома между сыном и внуками умершей дочери?

Добрый вечер! Если на момент смерти матери (на момент открытия наследства) остались внуки (дети дочери), то они будут наследовать по праву представления наравне с сыном — наследником 1-й очереди (ст.1142 ГК РФ):

ГК РФ Статья 1146. Наследование по праву представления
 1. Доля наследника по закону, умершего до открытия наследства или одновременно с наследодателем (пункт 2 статьи 1114), переходит по праву представления к его соответствующим потомкам в случаях, предусмотренных пунктом 2 статьи 1142, пунктом 2 статьи 1143 и пунктом 2 статьи 1144 настоящего Кодекса, и делится между ними поровну.https://www.consultant.ru/document/cons_doc_LAW_34154/b1eb518de03f10ae323b0d7cc7c648c1a15dd2da/

а внучка не общалась совсем, если это играет роль. 

 Нет, не имеет значения.

Мама отказалась от доли в квартире дочери в пользу внучки и внук в пользу своей сестры отказался может это тоже играет роль какуе то?

 Нет, будет наследоваться только то имущество, которое принадлежало наследодателю на момент его смерти.

Так же кто может входить в дом матери сын или внуки.

 Если внуки примут наследство, то будут иметь равные права с сыном.

Владимир, здравствуйте.

Вопрос скорее не о разделе, а о возникновении права наследовать и о размере наследуемых долей.

В ситуации

была дочь но дочь умерла у нее остались два ребенка (внука)

 В этом случае внуки являются наследниками первой очереди по праву представления и при реализации надлежащим образом своего права наследуют в равных долях ту долю, что причиталась бы их матери (см. ст.1141, п.2 ст.1142  и п.1 ст.1146 ГК РФ).

Для наследования они должны в течение 6 месяцев (ст.1154 ГК РФ) обратиться к нотариусу, с заявлением о принятии наследство или о выдаче свидетельства о праве на наследство. (п.1 ст.1153 ГК РФ)

В случае пропуска срока доля отпавшего наследника приращается между принявшими наследство (ст.1161 ГК РФ)

Если один из внуков зарегистрирован по месту жительства в одном жилом помещении  (не важно в каком) с умершей, то такая регистрация является для нотариуса бесспорным доказательством проживания, как действия по фактическому принятию. (см. п.52 Регламента совершения нотариусами нотариальных действий). В этом случае заявления нотариусу о принятии наследства не требуется.

Так же мама прописала внука который под разными предлогами уговаривал ее о прописке чтоб в дальнейшем ее приватезировать и продать в квартиру где была сама прописана квартира не приватезирована. Мама отказалась от доли в квартире дочери в пользу внучки и внук в пользу своей сестры отказался может это тоже играет роль какуе то? Так же кто может входить в дом матери сын или внуки.

 Нет, указанные обстоятельства не влияют ни на что. Из указанного следует только то, что один из внуков был зарегистрирован в одном жилом помещении с наследодателем (Вашей мамой), поэтому по умолчанию считается принявшим наследство. Если квартира не приватизирована, то в состав наследства она не войдет (см. ст.1112 ГК РФ), за исключением ситуации, если процедура приватизации была уже начата, мама была участником начатой, но незавершенной приватизации, не отказавшись от нее. (см. абз.3 п.8 Постановления Пленума ВС РФ от 24.08.1993 N 8  «О некоторых вопросах применения судами Закона Российской Федерации „О приватизации жилищного фонда в Российской Федерации“).

В этом случае, причитавшаяся ей доля в квартире войдет в состав наследства.

С уважением