Konon dahulu kala orang Bunian bisa berhubungan dengan manusia. Orang bunian juga suka pergi berniaga ke luar daerah dengan menggunakan perahu layar. Sepulangnya dari pelayaran, mereka menjemur layar di puncak pohon tembesu. Karena dari kejauhan nama layar orang bunia di atas puncak pohon tembesu, digelar orang pulau itu dengan nama pulau Selayar. Disuatu masa, datang tujuh oang dari negeri Palembang. Dilihatnya pohon tembesu tinggi dengan besar batang dua tiga pemeluk manusia. Mereka ingin menebang pohon itu, tetapi dilarang oleh orang kampung karena bisa mendatangkan bencana. Larangan itu tidak dihiraukan dan tetap juga pohon itu ditebang. Saat pohon rebah kebumi satu persatu orang Palembang itu meninggal dunia dan hanya tersisa seorang yang selamat kembali ke Palembang. Tunggul pohon tembesu kabarnya masih ada lagi di atas gunung Selayar dan makam enam orang Palembang masih dapat ditemui di Desa Selayar.