那一夜，和另外一个男人，我们在一起了，我有家，他也有家，我没想过要放弃自己的家，我也知道他不会为了我抛弃他的家庭，可是我还是不经意会想起他，偶尔我们也会在一起，可过后我又会后悔，我该怎么办？