秩父の札所は室町中期であろうと云われております。語歌堂も現在地に建立される迄には幾度か場所を移り変わり、現在地に建立されたのは、江戸末期に25才の青年棟梁により、建立されたものと云われております。
　語歌堂の起源は、秩父観音霊験記によりますと、当地の本間孫八は富貴な暮らしをしていたが、和歌の道にくらいのを深く悲しみ、この堂に通夜をし、和歌の道を研究していたが、ある晩のこと不思議にも一人の旅僧が現れ、終夜その旅僧と和歌の道を語り明かした。しかし不思議にも暁にはその旅僧の姿はなく、孫八はその旅僧は観音様の化身だと信じ、語歌堂と名づけたと云われております。
　又、一説には信濃国の老女が苦労して育てた一人娘が突然失踪したので、ひたすら観世音菩薩に祈願し娘を訪ね歩き、たまたま、この地にたどり着き、観世音菩薩に保護された娘の姿をみたことから一名、「子返しの観音」とも云われております

日本百番観音霊場中、准提観音をご本尊とする札所は以外に少なく、西国11番上醍醐寺と秩父札所5番語歌堂の2ヶ寺しかなく、したがって坂東33観音霊場には、准提観音を本尊とする札所は存在しない。
　語歌堂の准提尊は、語歌堂の創立者である本間孫八が、慈覚大師の徳をしたい、大師の彫刻された准提観音像を安置するため、私財を投じて堂宇を建立したと伝えられております。
　語歌堂の准提観音は、江戸時代末期の作と伝えられ、六臂を有する座像で、座高１尺、肩張り５寸で、蓮台の下が蓮の池で、そこから生えた蓮が台座になり、池からは難陀と優婆、難陀の竜王が両手で支え、長命の功徳、心の危難、心の迷いを救済して下さる様相を現している。
　しかし長享２年の秩父札所番付には、語歌堂は五閣堂と云われ、又本尊は十一面観音と記されており、札所が時代の影響を受け一時的には本尊も異なり衰微したことを物語っている。