无论台上台下，阿里与弗雷泽素有积怨，因为阿里对弗雷泽从来都是恶语相向绝不留情。阿里称弗雷泽为“大猩猩”并嘲笑他是汤姆大叔。但是作为拳手,尤其是在击败了曾经战无不胜的阿里卫冕自己的重量级拳王称号后,阿里也不得不向弗雷泽致敬。
阿里一战弗雷泽是在1971年，当时阿里刚刚重新拳手资格。阿里在两年多的时间内没有比赛。之后阿里复出，在击败杰里·夸利之后，与弗雷泽协商冠军战。未了激弗雷泽应战，阿里多次在电视和广播中奚落嘲笑弗雷泽，笑话他像只大猩猩，并对着摄影机模仿大猩猩出拳奚落弗雷泽。但是弗雷泽在阿里最困难的时候提供了帮助，并同意在阿里击败夸里之后给他机会打一场头衔战。
但是一战中，阿里发挥的并不好，在比赛中，阿里被弗雷泽左勾击倒2次，最终，阿里以点数落败。这也是阿里职业生涯的第一败。1974年，二人协商二战，最终阿里通过争议性的点数获胜，扳回一局。

弗雷泽与阿里同为七十年代拳坛三大巨头之一，但是他的拳王称号只保留了4场比赛,其中就包括击败阿里的那场比赛，随后他在1973年在牙买加就遇到了比他还勇猛的对手——“魔鬼”乔治·福尔曼。
在阿里的事业处于低谷时，乔治·福尔曼迅速崛起，先后击败了两位击败过阿里的拳手——肯·诺顿和乔·弗雷泽。在1973年与弗雷泽的拳王争夺战中，福尔曼在两回合内六次击倒弗雷泽（与弗雷泽大战阿里后未完全恢复有关），夺下WBA、WBC世界金腰带。
在所有人认为弗雷泽将称霸拳坛的时候，著名经纪人唐金发现了其中的商机。于是在他的撮合下，1974年10月3日，阿里与福尔曼在是在民主刚果首都金沙萨举行了载入拳击史册的世纪大战——丛林大战（Rumble In Jungle）。阿里作为黑人运动的杰出人物，在南非收到了英雄般的欢迎，有着主场优势。即便如此，当时的福尔曼只有26岁，是职业生涯的最巅峰，比阿里年轻7岁，而阿里处于职业生涯的下坡路，因此，外界普遍看好福尔曼获胜，认为击倒阿里只是时间问题。比赛前几个回合，阿里打的比较消极，而福尔曼却频频重拳猛击阿里，希望快速将其击倒。然而，阿里利用边绳技术和自身的防守技术、超强的抗击打能力不断消耗福尔曼的体能。终于在第八回合，阿里凭借迅速的组合配合步伐移动击倒气喘吁吁的福尔曼，赢得丛林大战，二度夺得世界冠军，从此走上了职业生涯第二段高峰。

从此以后，福尔曼心情低落，一蹶不振。负于阿里之后，曾提出与阿里进行二战，但阿里也是忌于福尔曼重拳的杀伤力而拒绝了福尔曼的请求。之后，福尔曼又在完全控制局势的情况下点数负于吉米·扬，从此逐渐心灰意冷，退出拳坛当了牧师。直到九十年代左右，福尔曼再度复出，并于94年击倒穆勒再度成为世界重量级拳王，成为目前为止年龄最大的世界重量级拳王（45）岁，成为拳坛一代传奇。

1975年，在唐金的撮合下，阿里与弗雷泽在菲律宾的马尼拉进行了三番战，准备给两人的恩怨画上一个句号。这同样是一场举世瞩目的世纪大战，被评为1975年的最佳拳赛，唐金命名为马尼拉的震颤（Thriller In Manila）。比赛异常激烈，阿里通过身高臂展和步伐、组合拳控制弗雷泽，但弗雷泽通过不断的下潜近身缩短距离，进而用组合拳进攻阿里。弗雷泽左钩拳频繁发威,而阿里却节节后退,不过阿里的左手刺拳进攻和右手拳也不断击中对手，有效抑制了弗雷泽凶猛的进攻。比赛紧张的气氛令人窒息,双方全力以赴谁都不敢有丝毫懈怠。比赛过程中双方的嘴巴也都没有闲着,阿里首先打起了心理战,他对弗雷泽说,“他们告诉我说你要顶不住了。”弗雷泽回应道,“他们在骗你呢!”随后就是一记左钩拳击中阿里。双方难解难分，体能消耗殆尽，但总体来说阿里在点数上稍占优势。比赛中弗雷泽的眼睛受伤，在后期已经无法看清东西。终于在第14回合结束时，弗雷泽的教练和医生坚决认为弗雷泽不能再战而放弃了比赛，阿里听到这个消息后举起了双臂，但是体能透支的他立马坐倒在拳台上。

此后不久，阿里正式宣布退役。
弗雷泽嘲讽地把阿里因帕金森症引起颤抖的左手称为“上帝之手”，他相信这是他与阿里三番大战的“杰作”。因为阿里一生中大脑曾遭受过29000多次重击，但没有任何人比弗雷泽更无情地敲打过阿里的头部，其结果导致阿里脑神经和脑原细胞受到损伤，留下了帕金森综合症。因此，弗雷泽感到特别得意，“他得了乔·弗雷泽综合症。
弗雷泽去世后，阿里不无感叹地说道自己欠弗雷泽太多了。实际上阿里的嘴炮更多的时候是为了炒作、作秀和激怒对手，而并非真正地鄙视对手，这也是阿里的一贯风格。但是这也足以伤害弗雷泽这为费城传奇的内心。
伟大的拳王，伟大的一生