由于本人想准备贷款用于投资利用，并找了一家贷款公司，在他们客服人员的解说下我一一符合他们要求，以及到了签协议的时候，由于当时很急，就大致过目了下，就签了。签了后他们告诉我要交纳5000元保证金，说什么开户用，第二天并会返还，我想了下，怕其中有诈就跟他们说拒绝贷款了，然后他们公司经理打电话给我说，如果拒绝贷款那就属于违约，违约赔偿额是贷款额的百分之五十，我申请贷款20万元如果赔偿那就是10万，然后他们告诉我条约有写，也说要交纳5000千的保证金，可当时由于我疏忽大意，没看到。当时他们客服人员也没说，就说签好合同就可以放款了。他们现在也发来信息说违约后如果不赔偿就提交给我当地法院起诉。我担心是诈骗或其中是骗局就拒绝了。我想问的是按以上情况来分析，他们追究的了我责任吗，按理说应该可以，但我现在怎么反驳，下面附带他们传真给我的合同，和他们发给我的他们公司的营业执照，可是我的签了，我应该怎么反驳。想请问各位，我应该怎么解决。