很快，朱熹和唐仲友都调往别处，官爵安然无事。然而，严蕊却没有被释放，继续关押在绍兴监狱里。
绍兴太守是追随朱熹的人，见到严蕊，便一声冷笑，道：“女人从来是祸水！这般美貌的，必然银荡。”喝令用刑，继续拷打严蕊。
太守又暼见严蕊手指纤细白嫩，更加不痛快，骂道：“果然不是好女人！若是做粗活的，手决不是这样，可恶！”下令用夹棍夹严蕊。
负责执行的小官吏看不下去了，求情道：“大人，严蕊身体羸弱，双足甚小，恐怕受刑不得。”
太守暴跳，狠狠擅了小吏一个耳光，咆哮道：“混帐，你说她足小么？此皆是好逸恶劳、娇生惯养出来的，正该痛打！”
严蕊受到酷刑拷打，虽然坚决否认与唐仲友嗵尖之事，但每想到自己被人当作棋子，受尽这等“莫须有”的酷刑，就不寒而栗。真是一场无妄之灾啊！她骤然觉得，自己已经被逼进了一个角落，一个前无出路、后无退步的绝境之中。还好，天无绝人之路，正在她绝望之际，朝廷的调令又来了，岳霖换掉了那位绍兴太守，她这才有机会献上一首《卜算子》，得到无罪释放

随着这首《卜算子不是爱风尘》的广为传唱，关于朱熹迫害严蕊的故事广为流传，甚至再次传到了孝宗皇帝的耳朵里。众大臣也都公然嘲笑，朱熹狼狈不堪，特地给皇帝上了一篇奏章，名为“按唐仲友第四状”，欲为自己辩护清白：
“五月十六日筵会，仲友亲戚高宣教撰曲一首，名《卜算子》，后一段云‘去又如何去，住又如何住。待得山花插满头，休问奴归处。’”
意思说，唐仲友经常招严蕊弹唱侑酒，而这首《卜算子》是仲友的亲戚所作，不是严蕊写的。
但是，已经没有人想听朱熹的解释了。

因为，不管是真是假,朱熹的喋喋不休、婆婆妈妈都让人生厌。堂堂理学大家，竟远不如出身卑贱、受尽磨难的歌妓从容淡定。严蕊的那一句“莫问奴归处”，超脱释然，足足榨出朱熹皮袍下面藏着的“小”来。
几年后，朱熹也遇到了大麻烦，被罢了官。监察御史沈继祖弹劾他“十大罪状”：纳了两个尼姑为妾；儿子死后多年、居家不出的儿媳却怀孕了，等等……
而唐仲友呢，据说后来也被罢回家，肆力于经制之学，著作主要有《六经解》、《诸史精义》、《说斋文集》等等，以学者而终。我注意到，在朱熹和他“争闲气”的过程中，严蕊受冤入狱的事全国皆知，他却从未站出来，为严蕊叫一声屈！皇帝判完案后，他调走开了，却没想过严蕊还在监狱里受苦；甚至在严蕊被释之后，他亦未表示一下关心。
我猜想，他可能在得知严蕊不肯诬陷自己的故事之后，憋不住的喜气洋洋，带三分得意：“啊，想不到严蕊竟对我动了情，真乃我的红粉知己矣。唉，我一生还有这番遇合，足以名垂青史了，呵呵！”
他最关心的，只是自己的名声和仕途。毕竟，在他眼里，严蕊这个卑微的歌妓，不过是尘世中飘过的一片飞雪，转眼风去无痕，哪有头上的乌纱帽、口袋里的银子重要？

陋室空堂,当年笏满床,
衰草枯杨,曾为歌舞场.