五马寺原名乌曼寺，上世纪六七十年代以音相近，改为五马寺。乌曼寺曾是伏牛山一带的一座著名寺院，始建于唐朝，在明代嘉靖万历年间达到最盛。明末毁于战乱，清代有所恢复，但规模影响已经小了很多，寺院有座清代所建的大殿，在上世纪80年代被村里卖给私人后拆毁，如今寺院所处之地已经建起了民房。

五马寺村现存一座古塔，俗称乌曼寺塔，又称“十方海会普同之塔”。此塔为六角形七级密檐式实心砖塔，一层塔身嵌有塔额，塔额上有“十方海会普同之塔”“嘉靖壬寅年”（1542年）字样，但不知是被盗还是被人收藏，现在塔额处空空如也。从塔额文字可知，这是一座众僧合葬的“普同塔”，修建于1542年，至今已有近500年历史，塔上长满了荒草，有的地方虽有少量后期修复的痕迹，但总体还是显得极为古朴，满是光阴雕琢的印记。