因民间传说在山中发现过金牛，故天都山石窟又叫金牛寺，当地人又因石窟中有神佛塑像亦称之为老爷寺。另外，古代还有荣光寺之称。天都山石窟皆平面而成长方形，平顶直壁，窟室较大，主要洞窟进深9-13米，窟内造像已毁，窟室完好。这里除了石窟外，还有庙祠。天都山石窟开凿于西夏时期，共有石窟6处，大小殿宇13处。游天都山石窟，到处可见残砖瓦砾，甚至是琉璃样式的建筑构件，说明当年这里的建筑格局和规模。900年前，李元吴率10万大军进驻天都山后，在此大兴土木，营造行宫。史书记载营造豪华宫殿7座，府库馆舍齐全，整个建筑极为华丽。宋、夏问的三次大战，其中两次就是在这里策划和发动的。但这处华丽的行宫建筑存在的时间不长，因战争而修建，也因战争而毁灭。