ตำนานเล่าว่ามีชีปริงและชีปรางนำสัมภาระและผู้คนเดินทางมาทางทะเลเพื่อนำแก้วแหวนเงินทองไปสร้างพระบรมธาตุ เมื่อมาถึงอู่เรือ ได้ทราบว่าพระบรมธาตุสร้างเสร็จแล้ว จึงได้หาสถานที่ที่เหมาะสมคือ ถ้ำทอง แล้วได้สร้างพระพุทธไสยาสน์ในถ้ำดังกล่าว แล้วนำแก้วแหวนเงินทอง บรรจุไว้ในองค์พระพุทธไสยาสน์นั้นด้วย เมื่อถึงแก่กรรม ลูกหลานจึงได้สร้างพระพุทธรูปขึ้น 2 องค์ นำกระดูกของชีปริง ชีปรางบรรจุเข้าไปภายใน ทุกปีจึงมี “ประเพณีขึ้นถ้ำ” เพื่อูชาพระพุทธไสยาสน์ ซึ่ง ตรงกับวันขึ้น ๑ ค่ำ เดือน ๑๑ ของทุกปี ประชาชนทั่วสารทิศมานมัสการพระพุทธไสยาสน์ แก้บนด้วยขนมพอง ขนมลา และเที่ยวชมถ้ำต่าง ๆ ภายในวัด ซึ่งมีอยู่หลายถ้ำ ทั้งเป็นถ้ำแจ้งและถ้ำมืด