Ayahnya adalah saudagar gambir, yang belakangan diangkat sebagai kepala suku di kaumnya. Sewaktu Buya Syafii berusia satu setengah tahun, ibunya meninggal.
Buya Syafii kemudian dititipkan ke rumah adik ayahnya yang bernama Bainah, yang menikah dengan adik seibu ibunya yang bernama A. Wahid.
Saat usia Buya Syafii menginjak 18 tahun tepatnya pada tahun 1953, ia meninggalkan kampung halamannya untuk merantau ke Jawa.
Bersama dua adik sepupunya, yakni Azra'i dan Suward, Buya Syafii diajak belajar ke Yogyakarta oleh M. Sanusi Latief.
Sesampai di Jawa tepatnya Kota Yogyakarta, niatnya semula untuk meneruskan sekolahnya ke Madrasah Muallimin di kota itu tidak terwujud, karena pihak sekolah menolak dengan alasan kelas sudah penuh.
Tidak lama setelah itu, Buya Syafii justru diangkat menjadi guru bahasa Inggris dan bahasa Indonesia di sekolah tersebut namun tidak berjalan lama.
Setelah itu, Buya Syafii kembali mendaftar ke Muallimin dan akhirnya ia diterima tetapi ia harus mengulang kuartal terakhir kelas tiga.
Selama belajar di sekolah tersebut, ia aktif dalam organiasi kepanduan Hizbul Wathan dan pernah menjadi pemimpin redaksi majalah Sinar (Kini Dibawahi oleh Lembaga Pers Mu'allimin), sebuah majalah pelajar Muallimin di Yogyakarta.