事情的起因是这样的。几个月以前我盖房子，我一个亲戚帮忙，结果他受伤了，后来送到医院医治，出院之后一个月去医院检查已经没有问题、后来他还是在外面的诊所买了很多药吃，这些所有的开销都是我出的。后来他让我赔钱。中途一次我给他了1000元钱。后来他通过别人转达我如果不在给他点钱肯定不行，必须在给他钱才能解决这个事情，后来我又给他了2000，在给他这个钱的时候，我喊了一个见证人一起去了断这个事情，他收了我的钱之后就说算了、事情都过去几个月了，但是现在他好像癞皮狗一样想赖着我。经常喊我给他干着干那的，今晚他喊我明天给他做什么。我拒绝了他，因为我明天的确有事情，然后他就威胁我，如果他明天做事的时候，旧伤复发什么的全部都是我的责任、请问我应该怎么办？这样完全打乱了我的正常生活，还有如果他真的出了什么事情，真的需要我负责吗？