この寺は、天平18年(746)行基によって開山したといわれています。県内唯一の鎌倉時代の木造建築物・奥の院礼堂と白木の三尊像は共に国の重要文化財。三体の仏像は、一本のクスの木から作られたと伝えられています。礼堂の床下に懸けられている「きざはし」(丸太ばしご)は、ここと伊勢神宮にしかない珍しいものです。仏像とともに行基が一夜にして建造したと伝えられています。
平安末期の様式。楠の大木を切り一本三体の仏像を一夜の内に彫刻したと伝えられている。昭和25年8月29日国重要文化財指定。昭和27年に不動明王 阿弥陀如来 薬師如来仏像の修理が行われた。
弘安9年2月22日と昭和33年に奥の院礼堂の復元修理がおこなわれた。仏像の優秀さと礼堂の優美さは国内稀有の文化財であり、大分県では富貴寺とともに貴重な存在である。