970년 고려 태조 왕건으로부터 '별대덕(別大德)', '별화상(別和尙)'으로 칭송받던 법인국사(法印國師) 탄문(坦文)이 굴 안에 관음보살상 한 쌍을 놓고 '관음굴'이라고 불렀고, 그 후에 관음사가 지어졌다. 1393년에 크게 확장하였으나 임진왜란 때 전소된 후 1646년에 다시 지었다. 

1797년 고쳐 지을 때 5채의 당우가 있었던 것으로 전하지만 지금은 대웅전과 승방만 남아 있다. 대웅전 앞에는 고려 시기 석조물인 7층석탑이 있고, 옆에는 관음사가 창건되기 전부터 있었다는 관음굴이 있다.