Sang ayah wafat ketika al-Ghazali dan saudara kandungnya, Ahmad, masih dalam usia anak-anak.
Al-Ghazali yang nama lengkapnya Abu Hamid Muhammad bin Muhammad al-Ghazali, dilahirkan di Thus, salah satu kota di Khurasan (Persia) pada pertengahan abad kelima Hijriyah (450 H/1058 M).
Di masa kanak-kanak Imam al-Ghazali belajar kepada Ahwad bin Muhammad ar-Radzikani di Thus kemudian belajar kepada Abi Nashr al-Ismaili di Jurjani dan akhirnya ia kembali ke Thus lagi.
Pada kali yang lain diceritakan bahwa dalam perjalanan pulangnya seperjalanannya dihadang sekawanan pembegal yang kemudian merampas harta dan kebutuhan-kebutuhan yang mereka bawa.
Para pembegal tersebut merebut tas Imam al-Ghazali yang berisi buku-buku filsafat dan ilmu pengetahuan yang beliau senangi. Kemudian Imam al-Ghazali berharap kepada mereka agar sudi mengembalikan tasnya, karena beliau ingin mendapatkan berbagai macam ilmu pengetahuan yang terdapat dalam buku itu.
Kawanan perampok merasa iba hati dan kasihan padanya, akhirnya mereka mengembalikan kitab-kitab itu kepadanya. Diceritakan pula setelah itu beliau menjadi rajin sekali mempelajari kitab-kitabnya, memahami ilmu yang terkandung di dalamnya dan berusaha mengamalkannya. Bahkan, beliau menaruh kitab-kitabnya di suatu tempat khusus yang aman.