太上皇这个称呼始于秦朝，跟先王、先皇是一个意思。
不过，先王这种称呼对于身份前无古人的秦始皇来说，就显得无法凸显出秦国皇室的崇高地位，于是就将秦庄襄王尊为了“太上皇”。
而汉朝刚建立的时候，刘邦凭借超前的眼光，没有选择推翻秦朝的政治制度，而是将秦制沿用了下来，并加以改进，形成了汉初的“郡国并行制”，而刘邦就是最为尊贵的皇帝。
然而这就产生了一个问题，因为刘邦刚登基的时候，他的父亲刘太公还活着，刘邦成为了皇帝，那就是全天下最尊贵的人，即使是亲爹见了他也要行礼。
为了解决这个问题，刘邦想到了秦始皇的搞法，他们的处境很类似，刘邦需要的就是这样一个地位比皇帝尊贵，但是又没有实际权力的称号。
于是这之后，刘邦果断将这个想法下达了群臣，效仿秦制，将父亲刘太公尊为太上皇，臣子们也认为这很合适，没有什么反对意见。
于是刘太公就这样成为了我国有史以来第一位活着的太上皇，同时也是唯一一位没有当过君主，但是却成为了太上皇的人。