春秋时属晋。战国时属赵。汉时平遥为京陵、中都二县及邬县地。西汉时，置平陶县。北魏太武帝时，中都县迁往榆次，平陶县来治，治所迁京陵村，因避太武帝拓跋焘名讳，改平陶为平遥，京陵县亦同时废入平遥县。从此。平遥县名一直沿用。隋开皇十六年，析置清世县，大业初年废，历代平遥县基本属汾州管辖。