Договор между юр лицом и физ лицом а фин отношения по распискам

я как организация заключил договор на строительство дома, но все деньги беру как физ лицо по распискам. Могут ли меня привлечь за невыполнение сроков, за некачественно выполненную работу (хотя все хорошо), и мне начали постоянно говорить о том что я буду платить неустойку по договору? И если по договору не проходят деньги, значит нет актов выполненных работ. Можно ли прибегать к пункту о гарантии?