Когда буду выписать, он все равно не приедет

Пишите в суд иск. Ст. 31 ЖК РФ. Других вариантов нет. 

4. В случае прекращения семейных отношений с собственником жилого помещения право пользования данным жилым помещением за бывшим членом семьи собственника этого жилого помещения не сохраняется, если иное не установлено соглашением между собственником и бывшим членом его семьи. Если у бывшего члена семьи собственника жилого помещения отсутствуют основания приобретения или осуществления права пользования иным жилым помещением, а также если имущественное положение бывшего члена семьи собственника жилого помещения и другие заслуживающие внимания обстоятельства не позволяют ему обеспечить себя иным жилым помещением, право пользования жилым помещением, принадлежащим указанному собственнику, может быть сохранено за бывшим членом его семьи на определенный срок на основании решения суда. При этом суд вправе обязать собственника жилого помещения обеспечить иным жилым помещением бывшего супруга и других членов его семьи, в пользу которых собственник исполняет алиментные обязательства, по их требованию.

Юлия, здравствуйте! Выписать человека без решения суда, если он сам не хочет этого делать добровольно, нельзя. Поэтому если Вы единоличная собственница жилого помещения, Вы вправе подать иск в суд на основании статьи 31 ЖК РФ о снятии его с регистрационного учёта в Вашем доме как бывшего члена Вашей семьи. Почитайте эту статью в правовй системе гарант или КонсультантПлюс, она обширная, я здесь её приводить не буду. 

А если Ваш брат никогда не вселялся и не жил в доме, тогда он не приобрёл права пользования этим домом, и по этому основанию снять его с регистрационного учёта будет ещё проще.