因为这不只是个参考系问题。
可以考虑这种情况，如果波源和观测者的相对速度和波速相同，那一个动一个不动会是什么样子。如果是波源不动、观测者动，那无非就是波和观测者相向而行，相对于观测者而言波的速度变成两倍，因此观测频率也变成两倍。但如果是波源动、观测者不动，那相对于波源而言波速就变成了0，因此波源将和它自己发出的一个个波前一起向前运动，最终所有波前都和波源一起到达观测者的位置，观测频率将是无穷大。
现在，如果你把自己代入波的视角，再去看看上面两个例子，那你应该能够有所感受。波源移动和观测者移动对于他们两者而言确实只是个参考系问题，但问题是多普勒效应里除了波源和观测者以外还有波这个第三者。波不是跟着波源运动的，波的运动是相对于介质的（换句话说，介质里波速是固定的），所以对波而言，到底波源和观测者是谁在动就不是个参考系问题，而是存在实实在在的不同。

因为波是在介质中运动的，参考系选取的是相对介质(空气)静止的参考系。电磁波传播不需要介质，光的多普勒效应就和机械波完全不一样。

多普勒效应中，涉及到三个东西：波源，观察者，以及波传播介质（光波或电波除外，因为它们的传播不需要介质）。因此多普勒效应不仅与波源与观察者的相对速度有关，也与它们与介质的相对运动有关。
顺便提一下，光波的多普勒效应中，由于光行差效应，会自动抵消掉光的传播介质。所以在数学上也可以证明，光的传播不需要介质。

不同参考系中，你要考虑介质速度。

纠正一下，人走向静止波源是和波速相反的，所以是频率增大f1=(u+v)/u*f。
然后原理就是因为有介质的存在，所以人相对介质运动走向波源和波源相对介质运动走向人变成了不同的情况。f=u/λ，当人相对介质运动时不影响波长，但是和波的相对速度变成了u+v；波源相对介质运动向人时，人相对介质不动接收的波速还是u，但是因为波源发出两个波峰的间隔内自己也运动了一段距离，所以波长就被压缩成了(u-v)/u*λ。

顺便一提，在狭义相对论里会变成：
人向波源走：f1=（γ(u+v)/u）*f
波源向人走：f2=(u/γ(u-v))*f
γ是洛伦兹因子1/√（1-v²/c²）
当u=c时，上面两个式子相等，都是√（（c+v）/（c-v））*f，这也说明了即使假定以太存在，无法通过两种多普勒效应的差异找出以太。