天平5年（733年、一説には天平8年）、お告げにより僧・禅光が浜辺に漂着した不思議な光を放つ木で十一面観音像を刻んで安置し、小松寺と名付けた。百数十年が過ぎ、荒れ果てた観音像に自分の笠をかぶせた心優しい娘をみそめた藤原兼平は彼女を妻とし、寺を復興、笠覆寺と改めた。以後、笠寺観音と呼びならわされ、笠寺の地名の起こりとなった。鐘楼の梵鐘は鎌倉時代の再興によるもの。以後も興廃を繰り返し、戦後に入って往時の壮観を取り戻している。