我是一个已婚的男人。爱上了一个比我大三年的女人。在一起已经快4年。现在老婆知道了我和他的事。要和他闹。他也说要和我分手了。我不知道怎么办。我真的非常爱他。想离婚又不舍得小孩。真的好难过。有人可以开解一下我吗？