天平8年（736）、聖武天皇の勅命で、行基菩薩が伽藍を建立。印度婆羅門僧菩提僊那は地相がインド霊鷲山に似ていることから霊山寺と名付けらる。鎌倉時代、北条時頼公の帰依厚く、多くの寺領を下付けされ、その後は徳川幕府の御朱印寺として寺勢二十一か坊を数えた。明治維新の廃仏毀釈により伽藍の規模半減、二百体の仏像焼却にあうも、昭和平成時代になり再度隆盛を見る。また、人生の輪廻をテーマにしたばら庭園には、200種類2000株が咲く（5月中旬〜11月）。