如何利用防火墙软件防止端口映射的爆破？

我有一个服务器在家里，由于学校没有IPV6所以我开了一个公网VPS，做内网穿透，将家里服务器的SSH端口映射到了这台服务器的另一个端口上。后来我发现有很多IP对我的服务器进行爆破，不止是VPS的22端口，还包括有人通过这个映射端口对我家里的服务器进行ssh爆破。我下载了fail2ban，虽然对VPS的22端口有显著效果，但是没有办法对穿透的端口进行限制，因为穿透端口只提供了穿透服务，没有认证日志在本地让fail2ban进行读取和处理。
又没办法在家里的服务器上安装fail2ban之类的，因为端口映射的IP我和攻击者的IP都是localhost。内网穿透用的 github 上的 frp。
有没有什么办法抵制某个攻击者的扫描和爆破。