我父亲近几年瞒着家人在外创业亏光了老两口的存款，还欠了200多个的外债，我妈名下的房子也被他骗去还债了，他多次要求我卖掉我房子，钱给他继续投资翻本（对，没错，不是还债，是想翻本）。本人乡镇破公务员一个，每个月拿死工资，家里还有两个小孩，实在无力帮他偿还，因此我父亲十分怨恨我，我跟他关系也十分恶劣。22年我父母离婚了，现在我母亲跟我一起住随便带小孩，没有我父亲的打扰日子还过得去，我父亲一年多没跟我们联系，但上个星期突然发短信说要我把钥匙给他，他要带他新对象（不知道领证没）到我家长住，说我不管他，当初这房子他是出了钱的，有资格住，我家里现在住着我老婆小孩母亲，一是没有他住的位置，二是全家都不想再看见他，我实在不想让他打扰我家的正常生活了，但他确实是我断不了的血缘关系，也担心拒绝他他会去我单位闹影响我工作，请问这种情况我该怎么做，跪求万能的吧友出出主意。。。。