Жильцы отказываются платить ее оправдываясь тем, что это спонтанно получилось и угрожают полицией и налоговой, если я не отдам им депозит

Здравствуйте! Возникла спорная ситуация с нанимателем квартиры . Я сдавал квартиру семейной паре , они расстались и съезжают с квартиры , не сказав мне заранее. В договоре прописано об этом ,в случае нарушения поломается неустойка. Жильцы отказываются платить ее оправдываясь тем ,что это спонтанно получилось и угрожают полицией и налоговой ,если я не отдам им депозит. Мои действия законны ?