淘宝卖家遇到淘宝小二错误判决要怎么办

大家好，我麻烦大家给我出出主意，应该怎么办？我是开动漫周边淘宝店的，叫爱动漫宅男同萌会，6月中旬有个买家在我这买了一件手办，收货后，直接申请仅退款，我拒绝了让退货退款，我联系买家也不回复我，买家直接投诉我，客服判定退货退款却又判定我输了，但买家没退货，结果7天超时关闭，自动确认收货了。
7月中旬，在买家签收一个多月后，写了一些负面评价，又申请退货了，我以超时为理由拒绝了，买家又投诉了，小二又判我输，在支付宝里也冻结了我60多元。我之前还特意问了淘宝客服，他们告诉我可以以超时为理由拒绝。
现在淘宝让我填写退货地址，我打电话咨询淘宝客服，他们却说淘宝小二判定了就改不了了，只能填写退货地址，如果我不同意退货，要直接拒收，再申请判决。
我很不愿意退给买家钱，他太烦人了，但我现在有十分不相信淘宝小二，怕他们太偏袒买家。