我儿子今年六年级了，他说我这个爸爸还不如没有，平时的衣食住行都是我父母在管，我们一起生活，今年暑假和他妈待了一个月，现在说要去和他妈生活，我和他妈离婚时房子写给了孩子，如果孩子跟了他妈，房子是不是也会归他妈，房产证上写的我的名字