求助，各位大律师帮帮忙！

我哥（聋哑人）和一个心智不正常的女的在一起6年了，没有办结婚证，没有孩子，连睡觉都是分房睡的。家里人带着我哥和她一起外出务工6年，可是由于女方条件原因，工厂并没有给该女子办理入职手续以及购买保险，6年间我哥和该女子矛盾不断，经常因为他两的事情搞得家里老吵架，家里人也没办法劝我哥接受她，现在不想要她了，可女方家里要求我家给几十万的赔偿。请问这合理吗？该怎么解决呢？