ตำบลเกาะสาหร่ายประกอบด้วยเกาะใหญ่ ๆ 4 เกาะ เมื่อก่อนเป็นพื้นที่รกร้างว่างเปล่า ไม่มีคนอาศัยอยู่ ชาวประมงที่ออกหาปลาใช้เกาะเป็นที่หลบพายุฝน คลื่นลมทะเลต่าง ๆ และบริเวณรอบ ๆ เกาะจะมีสาหร่ายทะเลชุกชุมเป็นอาหารของสัตว์ชนิดต่าง ๆ ต่อมาเมื่อมีคนอพยพไปอยู่อาศัย จึงเรียนติดปากกันว่าบ้านสาหร่าย ต่อมาจึงเรียกว่า เกาะสาหร่ายจนถึงปัจจุบัน

ทิศเหนือ ติดกับ อำเภอละงู และ อำเภอท่าแพ จังหวัดสตูล 

ทิศใต้ ติดกับ ประเทศมาเลเซีย

ทิศตะวันออก ติดกับ ตำบลตันหยงโป , ตำบลเจ๊ะบิลัง อำเภอเมือง จังหวัดสตูล 

ทิศตะวันตก ติดกับ ทะเลอันดามัน

1) อุทยานเกาะตะรุเตา

2) เกาะหลีเป๊ะ,เกาะอาดัง