先别纠结有没有取消区分了。
这个过早的是时间状语，修饰的是，离开了我们 这个事件，所以这个的没错。
如果是，xx飞快地离开xx。这才是修饰离开这个动词。
而且为啥说离开了我们是个整体，
因为这句是主补的句子，不是主谓宾。
主语：xxx
补语：离开了我们
主谓宾是陈述。主补是用来回答他怎么样了。很明显这里是回答他怎么样了（虽然并没有问）但是单独主补拿出来也没问题的。
xxx离开xxx才是主谓宾。
看到帖子隐约想起来，百度了才确定的。

二楼直接放答案，不墨迹，

所以这个句子的问题在于分析句式，而不在于选择的地得。