来个老哥抬一手~

可能是 f' 在求导的时候用到的 Derivative 函数把 f 看做是一个复函数了，对这个我也没有什么办法，不过 f'[5] 倒是可以直接用导数的定义借用 Limit 求出来
Limit[(f[x + d] - f[x])/d, d -> 0]
1117/10504

我还想了半天幅角函数是不是解析函数...突然意识到你这个是要弄波特图之类的东西吧。
可以试试这样，预先把Arg展开，就不会遇到复数的问题了
f[x_]=ComplexExpand[Arg[(-(x-1)^2+4 (4 x^3-3 x^2-x^4))/((x-1)^2+4 (4 x^3-3 x^2-x^4)-4*I*(x^3-3 x^2+2 x))],TargetFunctions->{Re,Im}]
f'[5]

至于你这里问题发生的原因在于：
1. Mma总是假设链式求导法则是有效的，但这里遇到的Arg本身是一个不可导的函数，链导法则是不成立的。这一点是一个非常常见的坑。
2. 然后mma的数值导数设计的也欠合理，在遇到符号求导失效的情况时，mma在计算函数导数时会利用其沿着实轴方向的变化率来近似求导（事实上Arg沿复平面不同方向的变化率通常不相等），而Arg本身总是实数，这样一来得到的Arg'[...]的结果就总是一个实数，然而前面根据链导法则乘出的那一坨又是个复数，自然得到的最终结果也是复数。
不过利用这第二点也可以给出这个问题的另一种解法：因为你这里就是要求f沿实轴方向的导数，所以我们不妨利用数值导数始终沿实轴发生这一特性，先从f上就避免符号计算引入错误的链导法则，然后直接让mma对f进行数值求导，于是可以这么写：
Clear[f]
f[x_?NumericQ]:=Arg[(-(x-1)^2+4 (4 x^3-3 x^2-x^4))/((x-1)^2+4 (4 x^3-3 x^2-x^4)-4*I*(x^3-3 x^2+2 x))]
f'[5.]
如果只需要近似的数值值得话，同样可以解决问题。