ทุกพื้นที่ย่อมจะมีที่มา เรื่องเล่าขานให้ผู้คนจดจำ
เช่นเดียวกับบ้านบุโบย ซึ่งมีตำนานเล่าขานกัน “ชุมชนใกล้ๆ แห่งนี้
(หมู่บ้านกาแบงในปัจจุบัน) มีครอบครัวๆ หนึ่ง ซึ่งมีลูกสาวสวย ชื่อว่า
บาโบย เป็นหญิงสาวที่มีรูปพรรณสัณฐานสวยงามมาก
ว่ากันว่านางมีความสูง 7 ศอก เอว 7 คืบ คอ 7 ปล้อง
ซึ่งเป็นที่หมายปองของผู้ชายต่างอยากได้นางมาเป็นคู่ครอง
จึงเกิดการฆ่าฟันกันตาย เมื่อเหตุการณ์เป็นเช่นนี้ พี่ชายของบาโบย
ก็ไม่สบายใจ คิดว่าปัญหาเรื่องนี้น่าจะจบลง
จึงออกกลอุบายล่อลวงน้องสาวไปหาหอยที่ป่าชายเลน
(บริเวณบ้านบุโบยในปัจจุบัน) และได้ลงมือฆ่านางบาโบยผู้เป็นน้องสาว
และได้ฝังศพไว้ที่ป่าชายเลน (สุสานโต๊ะบุโบย)”
จึงเป็นที่มาของชื่อบ้านบุโบยในปัจจุบัน คำว่า บุโบย ได้เพี้ยนมาจากคำว่า
บาโบย ในอดีตเชื่อกันว่าหากใครเดินทางเข้ามาในหมู่บ้าน เช่นจะฉายหนัง
ต้องทำการเซ่นไหว้ให้โต๊ะบุโบยเสียก่อน  โดยการ หว่านข้าวตอก ดอกไม้
ปักโบหรืออื่นๆ ถ้าหากใครไม่ทำก็จะเกิดอาการอาเพศต่างๆ
ไม่ประสบความสำเร็จในงานที่ทำ



ชุมชนบ้านบุโบย เกิดขึ้นในปี พ.ศ 2471
เนื่องจากเกิดโรคระบาดอย่างมากในหมู่บ้านกาแบง
ชาวบ้านจึงอพยพหนีย้ายโรคมาตั้งถิ่นฐานใหม่ที่บุโบย(ในปัจจุบัน)
โดยมีครอบครัวโต๊ะลอหมาน เกนุ้ย นายหมาก หล้าแดง และนายงะ บูสู
ย้ายเข้ามาในชุมชนบุโบยเป็นกลุ่มแรกๆ และนายหมาดสาด จิมาร
นายหยาไม่ทราบนามสกุล และนายแบน หมีนสัน ย้ายเข้ามาเป็นกลุ่มที่สอง