歌咏碣石山并最早留下文字记载的，当数三国时的曹操。
建安十二年（２０７年），曹孟德率军北伐乌桓，登临碣石山，写下著名诗篇《观沧海》：“东临碣石，以观沧海。水何澹澹，山岛竦峙。树木丛生，百草丰茂。秋风萧瑟，洪波涌起……幸甚至哉，歌以咏志”。这首千古绝唱描绘了当时此地的风光，抒发了作者的宏伟志向。唐代诗人刘长卿来到这里，写下了《晚泊无棣沟》：“无棣何年邑，长城作楚关。河通星宿海，云近马谷山。僧寺白云外，人家绿渚间。晚来潮正满，处处落帆还”。描写了马谷山作为观海胜地，树木丛生、百草丰茂、舟楫交错的繁忙景象。明代尚书杨巍在《登马谷山》一诗中写道：“平地突然出一峰，登临若立碧芙蓉。”清朝的张克家则写道：“远眺应知沧海近，行吟别觉洞天幽。”……可以看出，历朝历代都有文人墨客登临。
就是这样一座千古名山，由于地势低、地处偏远，加上多次改名及沧海桑田的变化，特别是《汉书·地理志》中不正确的记载，后又被《水经注》转录，以至以讹传讹，致使历史上出现了多处碣石之争，甚至有人得出了碣石沉于海的错误论断。直到明末顾炎武实地考察山东十余年，利用志局“郡邑之书颇备”的有利条件，参考诸家著说，力排众议，得出了：“济南府海丰县有马谷山，即大碣石也”的论断。
上个世纪七八十年代，碣石山曾一度作为当地建筑石材的供应地进行采挖，致使山体遭到了一定程度的破坏。为了保护和合理开发此处的地质遗迹，１９９９年３月２日，山东省政府批准建立省级地质遗迹保护区。随后，无棣县也开始了卓绝的“碣石山复名”活动，通过遍访其他“碣石”所在，查阅大量古今资料，又请来著名历史学家研究考证，最后得出结论“禹贡碣石在无棣，曹操登临的碣石也在无棣”，并于２００１年９月５日在山北半麓新落成的“碣石山碑”前举行了“禹贡碣石山复名新闻发布会”。并恢复重建了部分古建筑，新修了山路，新建了观海阁、碣石门、曹操群雕等景点，还在山的西北方向开挖了“饮马湖”。