พระครูศรีเทวะธรรมาชัย เจ้าอาวาสวัดศรีสุดาจันทร์ เล่าให้ฟังถึงประวัติของเจดีย์หลวงพ่อทวดหนอนว่าหลวงพ่อหนอนเป็นพระที่ออกบวชในสมัยอยุธยาเป็นราชธานี ออกธุดงค์โดยอาศัยเรือส าเภาของพ่อค้ามาทางภาคใต้ ในขณะเดินทางนั้น ท่านได้มองเห็นฝูงปลาว่ายตามเรือที่ท่านโดยสารมา จึงเกิดความเมตตาสงสาร ท่านจึงเชือดเนื้อของท่านให้เป็นทานแก่ปลาฝูงนั้น และเมื่อเรือสำเภาเทียบท่าที่เมืองปัตตานี ท่านได้ออกธุดงค์มายังเขามะรวดและได้พานักอยู่ที่นี่ บาดแผลที่เกิดจากการเชือดเนื้อเพื่อเป็นทานแก่ฝูงปลาได้เน่าเปื่อยมีหนอนชอนไช โดยที่ท่านไม่ยอมรับการรักษาจากชาวบ้านที่พบเห็น ด้วยเหตุนี้เองชาวบ้านจึงเรียกท่านว่า "หลวงพ่อหนอน"

ขณะที่ท่านพานักอยู่บนเขามะรวดนั้น ท่านได้เลี้ยงสุนัขและแมวไว้คู่หนึ่ง เมื่อท่านอาพาธหนัก ไม่สามารถลงมาบิณฑบาตได้ สุนัขกับแมวคู่นี้จะพากันคาบย่ามลงมาจากยอดเขาเพื่อรับอาหารจากชาวบ้านไปถวายแด่หลวงพ่อหนอนทุกวัน ต่อมาหลวงพ่อหนอนท่านมรณภาพในท่านั่งสมาธิ บ าเพ็ญญาณบนแท่นหินบนหน้าผาบนยอดเขามะรวด ชาวบ้านจึงได้ช่วยกันสร้างสถูปบรรจุอัฐิของท่าน ไว้เพื่อเป็นที่สักการะบูชาของชาวพุทธสืบไปสถูปที่บรรจุอัฐิของท่าน ชาวบ้านจึงเรียกกันว่า "เจดีย์หลวงพ่อหนอน"