兴平二年（195年），陶谦病逝，麋芳与兄长一起追随刘备。此后的十余年间，刘备多次因为兵败而失去了立足之地，麋芳始终跟随刘备颠沛流离。
建安元年（196年），刘备在下邳被吕布击败后，麋芳跟随刘备逃到海西。[2]
后来，刘备再次被吕布击败于小沛，麋芳跟随刘备逃到曹操那里。[3]
再后来，麋芳曾被曹操上表荐为彭城相，但最终辞官，而是继续随刘备奔波。[4]
建安三年（198年），吕布派遣高顺等人攻破了刘备据守的沛城，刘备单骑逃走。麋芳几经波折，终于与刘备汇合。[5][6]
建安五年（200年）春季，曹操亲自东征刘备于徐州，刘备战败，关羽被擒。刘备逃往青州，后来又在邺城东面约二百里的地方停留了一个多月。麋芳带领着被打散的士卒也来到这里与刘备汇合。[7]
建安五年（200年）七月，麋芳跟随刘备来到汝南，在这里跟随刘备一起击杀蔡阳。[8]
建安六年（201年），曹操攻击刘备。刘备兵败汝南，麋芳跟随刘备逃到新野。[9]
建安十三年（208年），曹操亲率大军南下，刘琮投降曹操，麋芳跟随刘备一起南撤。[10]然而，当刘备之众行至长坂坡时，曹纯的虎豹骑大破刘备，麋芳跟随刘备一起逃亡到江夏。[11]
开城降吴
关羽镇守荆州时，麋芳任南郡太守屯江陵，而将军傅士仁屯公安，二人一直嫌弃关羽轻慢自己。[12]
建安二十四年（219年），关羽北伐襄樊，命二人供给军资，但二人没有完成任务，关羽便放出话说：“回来再收拾你们。”二人皆恐惧不安。同年，吴将吕蒙袭取荆州，傅士仁开城投降。麋芳开始坚守，但看到傅士仁投降后也开城投降，此举最终导致关羽兵败被杀。其兄麋竺也因此羞愧病死。[13]