昨晚淘宝买的东西，申请退款，预约了今天的菜鸟裹裹的上门服务。可是今天压根忘记这回事了，正好要出门，就自己拿到快递站退货了。后来取件员给我打电话拿快递时我才想起预约了上门服务，我说自己不小心点错了，没有要退货的东西，然后他问我要了取件码，说不用我管了。我登录淘宝查看，我的退货上有快递站退货的物流信息，也有菜鸟裹裹取件成功待付款的信息。怎么办，我没用菜鸟裹裹退货总不能付款吧，不付款的话会影响什么吗？