我们家的老房子，之后我们重新在附近盖了房子，一直让邻居用着，村里人都可以作证。然后邻居想占我们的老房子盖房，还从乡政府办了证，但是村委会可以作证是我们家的房子。因为我是兄弟两个，以后还要在老房子给弟弟盖房，就给邻居说不行。结果她们还说是我们家卖给他们的（没有转让证据），由于我们家不同意他们用，关键他们都没给我们家打招呼，胡搅蛮缠说成他们的了，他家老头老太还成天在我家闹，七八十岁的还想在我家碰瓷。请问怎么办？