มีเรื่องเล่ากันว่า เมื่อหลายร้อยปีมาแล้วในเขตตำบลละหารมีหนองน้ำขนาดใหญ่ อยู่แห่งหนึ่งมีน้ำขังตลอดปี จึงเป็นที่อยู่อาศัยของสัตว์ทั้งหลายอย่างชุกชุม เมื่อชาวบ้านเข้าไปล่าสัตว์หรือจับปลาที่บริเวณหนองน้ำแห่งนี้ มักจะถูกสัตว์ป่าทำร้ายหรือกัดกินตนเป็นที่โจทย์ขานกันทั้งตำบล และมักจะใช้ช้างลงไปจับปลาในหนองน้ำดังกล่าว เพราะหนองน้ำลึกและขนาดใหญ่ หลังจากนั้นไม่มีใครกล้าเข้าไปบริเวณหนองน้ำนั้นอีกเลย ดังนั้นจึงเรียกชื่อตำบลว่า "ละหาร" ซึ่ง ละ แปลว่า ทิ้งหรือปล่อยไว้ หาร แปลว่า หนองน้ำ