但是从1428年(明宣德三年)起,地处东北、华北东部的兀良哈三卫首先脱离了明朝的控制开始南犯明边,这个时候西部蒙古卫拉特部也开始崛起,屡屡进犯明边并开始进入河套地区和内地,1436年(明正统元年)以后,在蒙古铁骑军事打击下,明军被迫放弃了东胜卫所在的黄河河套地区,撤退到榆林边外。1449年(明正统十四年)卫拉特部首领也先太师率部南下,对明王朝发动了大规模的战争,明朝50万大军全军覆没,也先在土木堡俘获了明英宗皇帝,这就是历史上著名的“土木之役”。在这之后,喀喇沁部首领、北元太师孛来率部于1456年(明景泰七年)进人河套。1461年(明天顺五年),孛来属下阿罗出也率部入居河套,期间翁牛特部首领毛里海率部进入河套,1470年(明成化六年),元室后裔孛罗忽济农(巴延蒙克)率鄂尔多斯部进入河套,他们成为河套的新主宰。与此同时,卫拉特部的癿加思兰也进入河套。孛罗忽济农、阿罗出、癿加思兰三方曾一度“各相雄长”,联合攻扰明边。这样,在蒙古各部纷纷入套的情况下,明朝军队全线溃退,让出了先前被明军占领的漠南蒙古地区。也就是在这个时期,鄂尔多斯部举部进入黄河河套,把圣主成吉思汗的“八白宫”迁移过来,安放在宝日套亥地区。这段历史,在明朝文献中被称为“北虏入套”。