В вашей ситуации я бы попробовал рефинансирование, т.е. попробовать взять другой кредит в банке, с целью погасить полностью имеющийся. Это целесообразно в том случае, если процент в банке, а следовательно, и сам ежемесячный платеж, будет ниже чем по вашему договору. В противном случае, как правильно указывает Галина, на вашу квартиру просто обратят взыскание, и вы останетесь без жилья.
В тоже время, если вы располагаете сведениями, что данное физическое лицо, систематически заключает такие договора займа, следовательно, занимается выдачей займов, не как организация, подконтрольная ЦБ РФ, то это незаконная предпринимательская деятельность. Возможно есть основания, к признанию указанной сделки в принципе недействительной. Но это только при системности.