Abuya adalah putera bungsu Syeikh Haji Muhammad Salim bin Malin Palito dan mempunyai beberapa orang saudara. Sebenarnya beliau mempunyai adik, tetapi karena meninggal dunia waktu masih kecil, maka beliau dianggap sebagai putera bungsu.
Syeikh Haji Muhamad Salim, berasal dari Batusangkar Sumatra Barat. Haji Muhammad Salim bin Malin Palito datang ke Aceh Selatan sebagai Da’i atau Pendakwah, juga sebagai guru Agama. Sementara paman beliau yang mashyur dipanggil masyarakat Labuhan Haji dengan panggilan “Tuanku Peulumat”, aslinya Syeikh H. Abdul Karim, telah lama mendahului beliau merantau ke Aceh Selatan dan bertempat tinggal di kecamatan Labuhan Haji, juga sebagai Da’i, guru dan ulama, yang giat menyebarkan nilai Agama Islam. Dorongan inilah yang paling kuat bagi Haji Muhammad Salim, untuk meninggalkan Sumatra Barat menuju Aceh Selatan dengan kapal layar/perahu pada jaman itu.
Tidak lama setelah Haji Muhammad Salim berada di kecamatan Labuhan Haji, di bawah pimpinan pamannya, beliau mendapat jodoh, wanita pilihan yang bernama Janadat, putri kepala desa bernama Meuchik Nyak Ujud, dari desa Koto Palak, Kecamatan Labuhan Haji, Aceh Selatan. Itulah ibu kandung, Syeikh Muda Waly Al-Khalidy. Dengan demikian, ayah beliau adalah seorang ulama, sementara ibu kandungnya keturunan pemimpin masyarakat, yang cukup terkenal di kecamatan Labuhan Haji.
Pada waktu Abuya Muda Waly saya masih kecil, adik kandungnya meninggal, bahkan ibu kandungnya pun Siti Janadat berpulang ke rahmatullah. Ada yang mengatakan bahwa Siti Janadat meninggal saat melahirkan. Maka tinggallah Abuya Muda Waly sebagai anak yatim. Siti Janadat sangat dicintai oleh Haji Muhammad Salim. Setelah beliau wafat cintanya ditumpahkan pada Abuya Muda Waly, lebih dari cintanya kepada kakak kandungnya yang laki-laki, Abdul Ghani, dan kakak perempuannya Ummi Kalsum dan Siti Maliyah. Meskipun kakak-kakak Abuya Muda Waly sangat mencintai Abuya Muda Waly, tetapi kakek tidak menyerahkan kepercayaan asuhannya kepada mereka, beliau mengasunhya sendiri. Karena demikian
cintanya, Abuya Muda Waly selalu digendong kakek di atas bahunya kemana saja beliau pergi, sewaktu mengajar ataupun ketika berdakwah. Meskipun beliau (Haji Muhammad Salim) berumah tangga lagi, di suatu Desa di kecamatan Manggeng, namun cintanya kepada Abuya Muda Waly melebihi segala-galanya, bahkan jika dibandingkan dengan istri baru dan putera-puterinya yang lain. Memang kita dapat membayangkan, bahwa kecintaan seorang Abuya Muda Waly yang juga seorang ulama, yang menjadi panutan umat, terhadap anaknya senantiasa dibarengi dengan do’a yang tidak putus-putusnya. Baik setelah selesai mengerjakan ibadah, ataupun di waktu sang ayah teringat pada anaknya. Pernah diceritakan oleh sahabat dan murid Abuya Muda Waly yaitu Syeikh Haji Tengku ‘Adnan Mahmud, pimpinan pesantren Ashabul Yamin.
Syeikh Haji Teungku Adnan Mahmud adalah teman Abuya Muda Waly ketika belajar mengaji pada Teungku Haji Muhammad Ali Lampisang di Labuhan Haji kemudian pada waktu belajar mengaji pada Teungku Syeikh Mahmud Lamlhon di Blang Pidie. Pada waktu Abuya Muda Waly dengan teman dekatnya, Teungku Muhammad Salim Sawang, ke Banda Aceh mencari pesantren untuk melanjutkan ilmu pengetahuan mereka, Teungku Adnan Mahmud yang berasal dari Kecamatan Manggeng (kecamatan perbatasan dengan
kecamatan Labuhan Haji) tidak ikut ke Banda Aceh. Beliau kembali ke kampung halamannya menjadi guru agama setempat. Sekitar tahun 1935 Abuya Muda Waly telah terkenal di Sumatra Barat dengan jama’ah dan kelompok
perjuangan para ulama Minangkabau, seperti Syeikh Haji Sulaiman Ar-Rasuli, Syeikh Haji Khatib Ali, Syeikh Muhammad Jamil Jaho dan lain-lain, hingga beliau bercita-cita melanjutkan studinya ke Minagkabau Sumatra Barat. Apalagi kebanyakan para pemimpin Aceh seperti Prof. A, Hasyimi, dan juga dari Aceh Selatan sendiri seperti almarhum Teungku Muhammad Abduhsyam, Teungku Sahim Hasyimi dan lain-lain belajar ke Sumatra Barat.
Pada waktu Teungku Adnan ingin melanjutkan studi, beliau berangkat dari kampung halamannya. Tetapi sesampainya sampai di Bakongan Aceh Selatan beliau ditahan oleh masyarakat setempat yang dipimpin oleh Teungku Nyak Raja Bakongan untuk tetap tinggal di sana dan menjadi guru besar mereka dalam hal keagamaan. Akhirnya beliau berumah tangga dan istiqamah di sana. Jadi beliau melaksanakan maksudnya di atas bukan karena gurunya (juga guru Abuya Muda Waly) Teungku Syeikh Mahmud Blang Pidie meninggal dunia, tetapi jauh sebelumnya.
Beliau adalah murid tertua ayah, beliau diangkat oleh ayah sebagai seorang musrsyidnya bersama dengan Syeikh Haji Teungku Qamaruddin Lailun, salah seorang murid tertua ayah. Teungku Syeikh Haji Adnan
Mahmud sering mendapat pujian dari Abuya Muda Waly karena taktis kepemimpinan keagamaannya bersifat politis kemasyarakatan dalam arti yang luas.
Haji Muhammad Salim pernah bermimpi, bahwa bulan purnama turun di pangkuan
beliau, sewaktu Abuya Syeikh Muhammad Waly Al-Khalidi masih dalam kandungan ibunya, Siti Janadat. Meskipun mimpi tidak dapat dijadikan dalil pada hukum , tetapi dalam
pemahaman isyarat, banyak benarnya. Dan ini dalam Al-Qur’an ketika menggambarkan
mimpi raja mesir yang kemudian ditakwilkan, maka nyatalah kebenarannya, bahwa putera yang dicintainya itu suatu waktu akan menjadi ulama besar, suluh penerang bagi umat manusia pada jamannya.
Nama Abuya Muda Waly pada waktu kecil ialah Muhammad Waly. Setelah beliau berada dalam jajaran para Ulama Besar di Sumatra Barat, beliau bergelar Mangku Mudo, atau Tuanku
Mudo Waly, atau Angku Aceh. Setelah kembali dari sumatra barat ke aceh, di kecamatan Labuhan Haji, masyarakat memanggil beliau dengan Teungku Muda Waly. Sedangkan
beliau sendiri menulis namanya dengan Muhammad Waly atau secara lengkapnya Syeikh Haji Muhammad Waly Al-Khalidy.
Hajjah Rabi’ah Jamil, (Istri Kedua Abuya Muda Waly Ibunda dari Ahmad Waly dan Haji Marwadi Waly) pernah menulis
pada sebuah buku kecil tentang rentetan nama Abuya Muda Waly sebagai berikut :
“Syeikh Haji Muhammad Waly, Asyafi’i Mazhaban, wal Asy’ari Aqidatan, wan Naqsyabandi Thariqatan”.
Sumber : Buku "Abuya Syeikh Muhammad Waly Al-Khalidy. Bapak Pendidikan Aceh" 2016, Banda Aceh
