極樂寺は天平三年(731)に行基菩薩により開かれました。 行基菩薩が奈良東大寺大仏建立の大勧進(寄附事業)の際、厳島へ渡られる途中当山の方より霊光輝くを不思議に思い船を当山の麓に着け山に分け入り、大杉の地にたどりついたとされます。霊光赫々と光り輝く杉の大木に深く感激した行基菩薩は、国の安寧と人々の幸せの為に、本尊十一面千手観音坐像を彫刻し、また余木にて諸佛諸菩薩の像を彫刻されました。 十一面千手観音坐像を当山の南の景色の良い所(現在の場所)に観音堂を造り安置し、修行の道場としてまた、多くの人々の幸せを祈る場所として極樂寺は開かれました。 この話が時の天皇、聖武天皇に達し、此処に七堂伽藍を造営して永くこの国が安寧であることを祈れと勅願をだされました。

その後、大同年中(806~810)後に高野山を開創されるお大師様(弘法大師空海)が当山へ登られ、伽藍再興、観世音菩薩の古像を修飾し、再び開眼供養され護国安民の為に本尊に祈り修行の道場とされています。脇仏不動明王、毘沙門天王像は弘法大師作と伝えられています。

久寿年中(1154~1156)には鳥羽天皇が本尊の由来を聞き深く御崇信あらせられ、国家鎮護の御願の道場として伽藍の再建し僧坊を建立され、「上不見山淨土王院」の勅号賜りました。殊に「上不見山」の山号は、御宸筆(天皇御自ら書かれた書物)の額を西行法師様が勅命にて此れを自ら登山され、その際「駿河なる富士をば安芸にひきかえて上見ぬ鷲の峯のとうとき」と詠まれました。