汉函谷关始建于西汉元鼎三年(公元前114年)，由汉楼船将军杨仆所建。沿用原设于河南省灵宝市的秦函谷关关名。汉函谷关在西汉时期是防卫都城长安所在关中地区的东边最重要的军事关隘。
        汉函谷至东汉时期都城东移至洛阳盆地，汉函谷关成为洛阳周边八关之首。

     历代多有修葺，明万历七年、清顺治十五年都曾修正过。
        现存主要遗迹为1923年最后一次重修的遗留。门洞东西两侧，各有楹联一副，东门为“功始将粱今附骥，我为尹喜谁牵牛”；西门为“胜迹漫询周柱史，雄关重睹汉楼船”。 正门上方嵌有“汉函谷关”四个大字，据传为康有为所书，笔力遒劲，字体雄浑，与汉关浑然一体，相映生辉。

         1958年“大炼钢铁”的运动中，汉函谷关遭到严重的破坏，目前人们只能看到下面的两层。关楼东面门洞两侧的对联，已经只剩下了北面的半副，西面门洞两侧的对联还在。