麦积山石窟开凿始于十六国的后秦时期（公元384～417年）。后秦姚苌、姚兴父子在位时，十分崇信佛教，在此地“凿山而修，千崖万像，转崖为阁”。

5世纪中期至7世纪初期是麦积山石窟的连续大发展期，其中北魏时期（5世纪初至6世纪中期）开凿石窟数量最多，共88个。

西魏（公元6世纪中期）时期因袭前制，在西魏文帝皇后乙弗氏以窟为墓葬于麦积山之后，又引起了新一轮的开窟高峰。

北周（公元6世纪后期）时期的秦州历任军政官员均笃信佛教，并极力扶持佛教发展。隋代（公元6世纪末至7世纪初年）的开窟造像多利用前代洞窟的间隙进行，并利用地震后的崖面修凿了东崖大佛（现编号13窟）。此外，隋文帝还将高僧智仙的舍利分葬于此，又进一步促进了麦积山石窟的发展。

7世纪初至11世纪初是麦积山石窟发展过程中最为低落的时期之一，公元708年和734年的两次大地震使山体受到严重破坏，崖面中部近百个洞窟被震毁，使整个窟群分为东西两个区域。

11世纪初至13世纪中期，是麦积山石窟历史上大规模的重修期，重修的洞窟有50余个，其中包括3、4、13窟（东崖大佛）、98窟（西崖大佛）等巨大规模的工程。

13世纪中期以后，麦积山石窟进入衰落时期，元、明、清各代仅有少量的塑像或彩绘活动。这一时期，麦积山石窟外界鲜有人知，也使其避免了战乱、盗窃等人为破坏活动，得以完好保存至今。

1949年，中华人民共和国成立后，麦积山石窟开始得到有效保护。

1952年成立专门的保护管理机构。

1961年被国务院公布为全国第一批重点文物保护单位，并有限制地对公众开放。

1962年，甘肃省人民委员会经由文化部同意划定麦积山石窟保护范围。

1977年～1984年，实施了麦积山石窟山体加固工程及栈道加固工程。

1982年，由国务院公布为第一批国家级重点风景名胜区。1986年，成立专门管理机构麦积山石窟艺术研究所。

2000～2006年，由国家文物局批准实施的麦积山石窟山体渗水治理一期工程顺利结束，有效缓解了山体渗水对窟龛、造像和壁画的损害。

2006年和2012年，麦积山石窟作为“丝绸之路”的遗产点之一，列入中国世界遗产预备名单。