奎文阁原名奎星阁，始建于康熙年间，后来阁楼倒塌，道光年间重修落成，当时有「西南巨儒」之誉的莫友芝恰好从遵义返回独山翁奇，即为此阁作文。咸丰三年(1853年)，奎文阁再次倒塌，后又再修，莫友芝又为其写了碑记。现存的奎文阁建于清同治十三年(1873年)。 

　奎文阁一楼供奉的是观世音菩萨；二楼供奉的是孔子和关公，孔子又称为「大成至圣」、「先师」，关公是「三界伏魔大帝」，一文一武，所以二楼又叫「神文圣武殿」；三楼供奉的是魁星，魁星又名「文星」，这是奎文阁得名的由来，在最高的三楼上供奉魁星，隐喻有「魁首」的意思。 

　奎文阁在历史上不仅是专供读书人祭祀魁星的地方，还曾经是远近闻名的私塾学馆，「西南巨儒」莫友芝幼年时在此发蒙读书，当前是贵州省保存最完好的私塾学馆。