各位老和说说我这样做是不是太自私了

事情是这样的。我姓王，和隔壁家的老婆从小青梅竹马，因为种种阴差阳错没成，但和小媳妇的娘家很熟，经常撺掇这老两口叫女婿到丈母娘家干杂活，这样我就有机会和隔壁小媳妇闷灯密。他们家孩子还没有一岁，什么都不会说，这么开心的日子没过几天，那男人就不知道为啥老发脾气，不去丈母娘家了，请各位老和说说，是不是我老王的事情有可能被发现了？