开鲁清真寺座落在开鲁镇偏东南和平街。寺院面积1520平方米，其中教堂面积250平方米。始建于清宣统三年（1911年），当时开鲁县仅有回族数十口，在今清真寺路东建三间土平房作为清真寺。民国五年（1916年），寺址迁至路西，由杨树德、赵广顺、杨明声、胡英臣等乡老主办，重建三间砖木结构的草顶清真寺。1919年，在草顶房西侧又建砖平房三间作为礼拜大殿。同时寺里办了阿文小学，民国十五年（1926年），寺院内增加土平房12间。民国十六年（1927年），开鲁县的回族达到1800多人，原有的清真寺容纳不了参加礼拜的诵经者。民国十八年（1929年），由阿訇杨启瑞“乜贴”，募集大洋8000多元，参照义县清真寺和天津水房的图样设计，修建礼拜堂大殿和3间沐浴室。 

礼拜大殿坐西朝东，东西长18米，南北宽14米，均为49厘米墙体，为砖、木、瓦结构。前墙以抹1米高的白色水刷石面为基础，再上抹水泥方格面。正门口上方用水泥横刻凸状大字：“伊斯兰教堂”和“认主独一”。落款竖刻“姜明远”（当时的街长，后为县长）。之上有阿訇杨其瑞、马玉岱书写的阳刻文“都娃依”，意为“的确安拉所重视的宗教就是伊斯兰”。1930年，胡英臣自家乜贴主办在大殿前15米处修建了一座双起脊翘角式前廊后厦门楼。门楼对外有2米宽两扇绿色板门，门柱为红色，柱顶柁头镶着“清真”木牌。门里两边为砖砌门洞，西有隔扇门。在寺内主体工程和门楼逐年修造的同时，四周也相应地垒墙、垛墙，逐步形成了完整的院落，至此，清真寺的规模和建筑基本定型。 

1980年和1981年，开鲁县委和政府两次拨款将大殿、门楼、院墙、沐浴室修葺一新，由杨文宽、杨鸣歧、张洪斌等主办。并把“文革”中被砸毁的大殿门面上的“伊斯兰教堂”和“认主独一”九个大字，由杨显廷书写，改修为“伊斯兰教”和“清真寺”七个大字。维修后的清真寺，面目一新，宽敞坚固，高大壮观。 

清真寺作为开鲁县的一处重要的宗教建筑，其风格独特堪称宗教建筑的典型，具有很高的文物价值，对进一步研究伊斯兰教文化在内蒙东部地区的形成和发展有一定参考价值。