当时是因为公孙瓒危在旦夕，张飞考虑到刘备与公孙瓒的关系，不顾危险出马迎战。第二次则是张飞劫夺了吕布的马匹，按说张飞是理亏的，但当时的大背景是，吕布不顾信义偷袭徐州，把自己恩人刘备赶到了小沛。张飞吕布一见面，吕布骂张飞夺马，张飞则说“夺马你就上火，可你夺取我哥哥徐州就有理了“？一句话就把吕布问噎住了。

双方交战在场军士很多，这些丑事本来知道人很少，这么一宣扬，大伙全知道了。吕布也是要面子的，每次遇到张飞，都被当众揭短，吕布丑事又多，这是吕布最头疼的，打吧，张飞也不是软柿子，一时半会难见效果，张飞还边打边揭短，吕布只好每次远远躲开。

至于关羽，一个是文化比张飞可能要高，遇到吕布的场合考虑会多一些；二是单挑还是不单挑，有需要不需要，值不值的问题。有说三英战吕布，张飞都打五十合，关羽才出马，这是因为关羽对张飞武艺心中有数，需要观察观察。张飞夺取吕布马匹那次，吕布，刘备，曹操是同盟军，关羽自然比张飞考虑要多，不会简单化一见吕布就干起来。

要说颜良，文丑敢不敢单挑吕布？演义中没有叙述。但三国志中有吕布曾经投靠袁绍的记载，说明颜良文丑都认识吕布，袁绍肯定也熟悉吕布，当然吕布也知道颜良文丑。吕布后逃离袁绍，是因为袁绍准备对吕布下家伙。所以，如果颜良文丑遇到吕布，双方单挑估计没有障碍，至于能否打赢吕布是另一回事。