Di Kota Bagdad ini, nama al-Ghazali semakin populer, halaqah (kelompok) pengajiannya semakin luas. Di kota ini pula ia mulai berpolemik terutama dengan golongan Bathiniyah Isma’iliyah dan kaum filosof.
Pada periode ini pula ia menderita krisis rohani sebagai akibat sikap kesangsiannya (al-syak), yang oleh orang Barat dikenal dengan skepticism, yaitu krisis yang menyangsikan terhadap semua ma’rifah, baik yang bersifat empiris maupun rasional.
Akibat krisis ini, ia menderita sakit selama enam bulan sehingga dokter kehabisan daya mengobatinya. Kemudian, ia meninggalkan semua jabatan yang disandangnya, seperti rektor dan guru besar di Bagdad, ia mengembara ke Damaskus.
Di masjid Jami’ Damaskus, ia mengisolasi diri (‘uzlah) untuk beribadah, kontemplasi, dan sufistik yang berlangsung selama dua tahun. Lalu pada tahun 490 H/1098M, ia menuju Palestina berdoa di samping Kubur Nabi Ibrahim a.s. kemudian, ia berangkat ke Mekkah dan Madinah untuk menunaikan ibadah haji dan berziarah ke makam Rasulullah Muhammad saw.
Akhirnya, ia terlepas dari kegoncangan jiwa ini dengan jalan tasawuf. Selesai ibadah haji, tahun 489 H, dia pergi ke Syam serta tinggal di Damaskus, mengajar di ruangan sebelah barat masjid kota itu. Dari situ lalu dia pergi ke Baitul Maqdis untuk beribadah.
Diriwayatkan bahwa dari sana dia terus pergi ke Mesir dan untuk beberapa lama tinggal di Iskandariah dan kemudian dia kembali ke Thus untuk menulis karya-karyanya. Menurut Ibnu Khallikan,
Dia diminta untuk kembali ke Naisabur dan mengajar kembali di Perguruan Nizamiyah. Setelah berkalikali diminta, dia lalu meluluskan permintaan itu. Namun dia kembali meninggalkan perguruan tersebut dan kembali ke rumahnya di Thus, mendirikan khanaqah bagi para sufi serta madrasah bagi para penuntut ilmunya, serta menghabiskan waktunya untuk berbuat kebajikan, seperti mengkhatamkan al-Quran, bertemu dengan para sufi dan mengajar, sampai dia menghadap Tuhannya.
Imam al-Ghazali memiliki daya ingat yang kuat dan bijak berhujjah. Ia digelari Hujjatul Islam karena kemampuannya tersebut. Ia sangat dihormati di dua dunia Islam yaitu Saljuk dan Abbasiyah yang merupakan pusat kebesaran Islam.
Ia berjaya menguasai berbagai bidang ilmu pengetahuan. Imam al-Ghazali sangat mencintai ilmu pengetahuan. Ia juga sanggup meninggalkan segala kemewahan hidup untuk bermusafir dan mengembara serta meninggalkan kesenangan hidup demi mencari ilmu pengetahuan.