最早“神圣罗马皇帝”只是欧洲中世纪时的一个富宗教色彩的头衔,首个获教宗加冕为“罗马皇帝”的君主是加洛林王朝的查理曼。直至十世纪中后期,奥托大帝在加洛林王朝的东法兰克,即德意志地区,建立神圣罗马帝国,该名称才作为该帝国的君主头衔使用,后来的纳粹德国称其为德意志第一帝国。帝国内的公爵会先互相选举出“东法兰克国王”,然后由教宗加冕为皇帝。但事实上,在查理五世后的皇帝都没有得到教宗的加冕,法律上只是“皇帝当选人”。最后一个神圣罗马皇帝当选人是弗朗茨二世,他在1806年拿破仑战争期间退位,神圣罗马帝国灭亡。
“神圣罗马皇帝”该词是历史学家对该时期受天主教教宗加冕的罗马皇帝的称呼,而当中“神圣”一词事实上从未在正式文件的皇帝头衔中出现。“神圣罗马皇帝”头衔的正式名称应为“蒙上帝恩典的罗马皇帝,永恒的奥古斯都”(拉丁语:Dei Gratia Romanorum Imperator Semper Augustus)。查理曼在八百年加冕时,他的头衔是“蒙上帝加冕的最尊贵的奥古斯都,平和而伟大的皇帝,罗马帝国的统治者卡尔”(拉丁语:Karolus serenissimus Augustus a Deo coronatus magnus pacificus imperator Romanum gubernans imperium),当中包含了“神圣”和“罗马”两个元素。沿用“罗马”一词是为了象征“皇权的过渡”(拉丁语:translatio imperii),即承认神圣罗马皇帝为西罗马帝国皇帝的继承人,而这头衔在480年尼波斯死后一直悬空。