小雁塔本名荐福寺塔。荐福寺创建于唐文明元年（公元684年），是唐高宗李治死后百日皇室为他祈福而建，先名献福寺，天授元年（公元690年）改为荐福寺。

景龙年间（公元707年—公元710年），在寺南安仁坊的荐福寺塔院，修建了小雁塔。唐代高僧义净，从海上丝绸之路赴印度求学取经，回国后在荐福寺主持翻译了大量佛经。

唐末战乱，寺院毁于兵火，惟存小雁塔。

北宋时，塔院曾名圣容院。

明代以后，以塔院为荐福寺延续至今。明代成化末年（公元1487年）和嘉靖三十四年（公元1556年）等多次地震，使小雁塔顶坠毁，塔身开裂。

1961年3月4日，国务院公布小雁塔为第一批全国重点文物保护单位。

1965年，按照原材料和原工艺整修小雁塔，将二层以上贯通至顶的南北两道裂缝弥合加固，并依据清代荐福寺殿堂图对塔基座进行加固。

2006年和2012年，小雁塔作为“丝绸之路”的遗产点之一，列入中国世界遗产预备名单。