“加”是益处的意思，但是此处作者似乎要表达的是“辱骂对我有什么影响、妨害”，跟益处不搭边，用“加”不太合适吧。隐括“不义而富且贵于我如浮云”，或者直接引用“且举世而誉之而不加劝，举世而非之而不加沮”，好像都比原文更好