想请教下大家有没有什么办法？

事情的前提是：我们最近置换了一套房子，原本的计划是贷款先买，再把我和我老公的房子都卖掉来还。但是因为房子还没卖掉，首付还差点，就找我爸借了20个，还写了合同说等房子卖了就还（这里没有具体写是谁的房子卖了还）。

现在我老公的房子卖掉了，他当初问我，是全部拿来还银行贷款吗？我当时真忘了还欠我亲爹20个这回事了（我以前也跟他提过，肯定是要先还我爸钱的，因为我还有个姐姐，怕姐姐有意见）。我就说，那就还呗。

然后昨天我突然想起来这事了，就问他，他说他问过我了，是我让全部还银行贷款的，他以为是等我那套房子卖掉再还我爸（可是我的房子是婚前我爹全款买的，现在卖也是我爹在张罗，这样跟左手拿给右手有什么区别，真的很奇怪啊），他认为都是一样的（但现在我的房子不好卖掉，本来想说慢慢来卖的，现在如果要急售，就根本别想卖个好价钱了）。最后，他又说他其实也忘了。

哎！我现在就是不知道该不该跟我爸解释，毕竟我这房子真的很不好卖，我不知道啥时候能还上，我想尽快还上，不想在以后被当成事来说。更可气的是，臭男人一点也不当回事，认为卖了就还就好了。