후한(後漢) 때인 AD 67년에 인도의 승려 가섭마등(迦葉摩騰)·축법란(竺法蘭) 등이 명제(明帝)의 사신 채음(蔡愔)의 간청으로 불상·경전을 흰 말에 싣고 뤄양에 들어오자, 명제가 불교를 신봉하여 8년 후에 이 절을 세워 백마사라 하고, 그들을 거기 살게 한 후 《42장경(四十二章經)》 1권을 번역하게 하였다. 후에 점차 퇴락하여 당대(唐代)에 복구하였으나 지금은 전탑(13층) 1기만 남아 있다. 같은 이름의 절이 장안(長安)·건강(建康:南京)·형주(荊州) 등지에도 있는 것으로 알려져 있다.