Awal terbentuknya gampong ini dengan kedatangan beberapa orang yang berprofesi sebagai perambah hutan untuk dijadikan sebagai lahan pertanian dan perkebunan. Sebelum para perambah hutan ini datang, daerah ini merupakan rawa-rawa dan lahan tidur yang tidak termanfaatkan. Mereka mencoba membuka lahan untuk dijadikan tempat bercocok tanam dan mereka juga membuka lahan pemukiman sementara sebagai tempat istirahat dan berkumpul sesama perambah setelah bekerja di sawah atau kebun.
Sejarah Gampong Teupin Bayu bermula sekitar permulaan tahun 1908 dengan kedatangan beberapa keluarga dari Buah Kecamatan Baktiya, Pendatang baru itu mencoba membuka lahan pemukiman di daerah yang pada umumnya masih berupa hutan belantara. Lamban laun daerah pemukiman baru berkembang menjadi perkampungan yang ramai.
Nama Teupin Bayu sendiri diambil dari dua nama yang disatukan yaitu : Teupin yang bermakna tempat menambatkan boat/sampan dan Bayu yang diambil dari nama seorang tokoh masyarakat yaitu Tgk. Bayu yang berasal dari Bayu (Syamtalira) yang sudah lama menetap di daerah ini. Karena orang-orang sering menggunakan/ menambatkan boat/sampan pada Teupin Tgk. Bayu pada saat bepergian ke Simpang Ulim (Aceh Timur) dan Buwah (Aceh Utara) pada saat itu pusat pasar yang terkenal ada di Simpang Ulim (Aceh Timur) dan Buwah (Aceh Utara). Pada mulanya nama “Teupin Bayu“ adalah “Teupin Tgk. Bayu” namun kemudian dalam pengucapan oleh penduduk dan orang-orang yang datang kewilayah ini sebutan “Teupin Tgk. Bayu” semakin jarang disebutkan, mereka lebih sering/nyaman menyebut daerah baru tersebut dengan sebutan “Teupin Bayu”. Sebutan itu terus bertahan sampai saat ini.
Seiring dengan berjalannya waktu, kawasan tersebut semakin ramai disinggahi oleh para petani dan pedagang yang ingin memanfaatkan lahan untuk dijadiakan tempat bercocok tanam. Lambat laun kawasan yang dulunya hanya ditempati oleh beberapa orang, kini dengan disinggahi oleh para petani yang datang dari tempat lain dan ditambah dengan terjadinya perkawinan sehingga membuat kawasan tersebut semakin ramai.
Pertambahan orang ini, baik dengan datangnya petani lain, maupun dengan pertumbuhan populasi manusia yang sangat pesat membuat kawasan ini semakin hari semakin luas yang menyebabkan para sesepuh sulit untuk mengontrol dan menyatukan mereka. Melihat perkembangan ini, para tetua gampong mengusulkan tempat ini untuk dijadikan sebuah gampong dengan satu pimpinan sehingga akan lebih mudah untuk menyatukan pemukim yang belakangan terkesan hidup berkelompok. Usulan tersebut disetujui oleh para sesepuh kelompok.
Untuk mewujudkan kawasan pemukiman tersebut menjadi sebuah gampong, para sesepuh menggelar rapat untuk menentukan nama, pimpinan (Peutua) dan aturan gampong yang akan ditetapkan. Masing-masing sesepuh mengusulkan nama gampong yang mereka inginkan. Akhirnya disepakati nama Gampong yang baru terbentuk tersebut dengan nama Teupin Bayu.
Sejak saat itu kawasan pemukiman tersebut menjadi sebuah gampong dengan nama Gampong Teupin Bayu. Dalam pemilihan yang dilakukan tersebut maka terpilihlah Peutua Nanggroe sebagai Peutua Gampong Teupin Bayu. Sekaligus sebagai peutua yang pertama, dalam kepemimpinan beliau gampong Teupin Bayu semakin dikenal dan semakin diakui keberadaannya dan menjadi daya tarik tersendiri bagi orang luar untuk datang dan menetap di Gampong Teupin Bayu. Kebanyakan penduduk pada saat itu bermata pencaharian sebagai petani dan pedagang.
Setelah meninggalnya Petua Nanggroe, posisi Peutua Gampong menjadi kosong sehingga masyarakat menggelar rapat untuk memilih pengganti Peutua Nanggroe sebagai pimpinan gampong. Pilihan masyarakat tertuju pada sosok Peutua Aji yang masih mempunyai pertalian saudara dengan Peutua Nanggroe.