วัดศิลาลอย เดิมเป็นวัดร้างชื่อ "วัดยางงาม" ต่อมาได้เปลี่ยนชื่อเป็น "วัดศิลาลอย" แต่เดิมมามีชาวบ้านเล่าขานกันว่า ได้มีพระพุทธรูป (ครึ่งบน) ลอยมาเกยตื้นชายทะเล หมู่ที่ 2 ตำบลชุมพล ชาวบ้านได้ช่วยกันลากเพื่อนำไปประดิษฐาน ณ วัดชุมพล แต่ลากไม่ไป ตกกลางคืนพระพุทธรูปได้มาเข้าฝันชาวบ้านว่าต้องการอยู่ที่วัดยางงามซึ่งสมัยนั้นเป็นวัดร้าง ชาวบ้านจึงนำพระพุทธรูปมาประดิษฐานไว้ ต่อมาได้บูรณะซ่อมแซมขึ้นใหม่