ถ้าจะกล่าวถึงประวัติของอาคารคงต้องเริ่มท้าวความจากประวัติการอพยพเข้ามาตั้งถิ่นฐานในเมืองปัตตานีของชาวจีน  ซึ่งจริงๆเเล้วสามารถนับถอยหลังไปได้ถึงสมัยกรุงศรีอยุธยาตั้งเเต่รัชสมัยของสมเด็จพระนเรศวรมหาราช ซึ่งตรงกับราชวงศ์เหม็งของจีน ในตอนนั้นมีชาวจีนชื่อลิ้มโต๊ะเคี่ยม ปรากฏอยู่ในตำนานเมืองปัตตานี ซึ่งเป็นนายสำเภาเศรษฐีจีน เดินทางมาค้าขายยังเมืองนครศรีธรรมราชในปี ค.ศ. 1580 ซึ่งตรงกับสมัยที่พระยาตานีเป็นเจ้าเมืองปัตตานี เมื่อลิ้มโต๊ะเคี่ยมขายของที่เอามาจากจีนหมดเเล้ว ก็ไม่ยอมกลับไปเมืองจีนเเต่ได้นำเรือมาเเวะเทียบท่าที่ปัตตานี การเอาเรือเทียบท่าในสมัยก่อนต้องนำเครื่องบรรณาการไปถวายเจ้าเมือง การนี้เองที่ทำให้ลิ้มโต๊ะเคี่ยมได้พบกับธิดาสาวของพระยาตานี เเละตกหลุมรักเข้าตั้งเเต่เเรกพบ เเละได้สืบสัมพันธ์ไปเรื่อยๆจนลิ้มโต๊ะเคี่ยมยอมเข้านับถือศาสนาอิสลามเเละได้เเต่งงานกันในที่สุด

     ในช่วงเวลาต่อมาลิ้มโต๊ะเคี่ยมได้รับมอบหมายให้หล่อปืนใหญ่ 3 กระบอกถวายรายาบีรู นางพญาผู้ครองเมืองปัตตานี  หนึ่งในจำนวนนั้นคือปืนใหญ่ที่ชื่อศรีปัตตานี ซึ่งถูกขนย้ายนำมาตั้งอยู่หน้ากระทรวงกลาโหมในปัจจุบัน หลังจากที่ปัตตานีพ่ายเเพ้การสู้รบกับสยามในปี ค.ศ. 1784 นอกจากนี้ลิ้มโต๊ะเคี่ยมยังได้รับเเต่งตั้งให้เป็นผู้เก็บภาษีสินค้าที่ปากอ่าวปัตตานีอีกด้วย

      เมื่อลิ้มโต๊ะเคี่ยมไม่ยอมกลับจีน น้องสาวของเขาที่ชื่อ ลิ้มกอเหนี่ยวจึงมาตามตัวพี่ชายถึงปัตตานีตามคำสั่งของมารดา เเต่พี่ชายไม่ยอมกลับจึงผูกคอตายที่ต้นมะม่วงหิมพานต์ด้านหน้ามัสยิดกรือเซะ ซึ่งพระยาตานีมอบหมายให้ลิ้มโต๊ะเคี่ยมบุตรเขยเป็นผู้ก่อสร้าง  จึงเป็นจุดกำเนิดของเจ้าเเม่ลิ้มกอเหนี่ยว  

ทางน้ำ นั่งเรือจากปากแม่น้ำปัตตานีตรงไปยังแหลมตาชีเลย ใช้เวลาประมาณชั่วโมงเศษ หรือ นั่งเรือจากท่าด่านอำเภอยะหริ่ง ออกมาตามคลองยามู จนถึงทะเลในไปจนถึงแหลมตาชี ทางบก จากอำเภอยะ หริ่ง ข้ามคลองยามูมาตามสะพานไม้ มีถนนตัดเข้าไปประมาณ 10 กิโลเมตร จนถึงปลายแหลมตาชี