سافر الشيخ عبد القادر إلي »بغداد عام 477ه/1095م، وهي السنة التي خرج فيها حجّة الإسلام الإمام أبو حامد الغزالي منها تاركاً التدريس في النظّامية، زاهداً في الدنيا، طالباً للمعرفة واليقين. لقد كانت بغداد في عصر الشيخ عبد القادر عنواناً لحضارة عالمية، بما تضمنته من تنوع وثراء؛ فكانت مجمعاً للعلماء والفلاسفة، ومركزاً للفقهاء والمفسرين والمحدّثين، ومنتدى للشعراء والكُتاب، وأصحاب التراجم والسير والتاريخ، ومحراباً للزّهّاد والصوفية. فلا عجب أن تكون محط أنظار جميع المستنيرين طلباً للمعرفة واليقين، وممارسة التجربة الروحية تحت أنظار مشايخها المشهورين«. وتخبرنا الكتب المعتقة أن القافلة التي كانت تقله قطع عليها الطريق مجموعة من الأشرار الذين تتحلب أفواههم للمال، ولمّا كانت هيئته ومنظره لا يوحي بأنه سليل عز وربيب غنى أراد قاطع الطريق أن يمرّ عليه مرور الكلام فسأله ذلك السؤال الذي ألِفهُ ثغره دون أن يحفل بجوابه عما يحمله من مال، فتفاجأ بإجابة الصبي الذي طرّ شاربه بأنه يحمل في معيته أربعين درهماً ذهبياً أودعتها أمه في كمه، بعد أن عاهدها بأغلظ الإيمان أنه لن يكذب أبداً ولن يفعل ما يغضب الرب عزّ وجلَّ ويصيب الأخلاق في مقتل، وظنّ اللص أن الصبي يستخف به، وبعد أن توثق من صدقه سأله عن السبب الذي دفعه لذلك، فأخبره عن كنه العهد الذي قطعه لأمه، العهد الذي جعل زعيم اللصوص يقلع عن ترويعه للناس، وسلب أموالهم فيما بعد، حينما رأى فتىً جاوز حد الصغر، وبلغ سن الرشد، يخبره عن جل ماله في وداعة حتى يبرَّ بالعهد الذي عاهد به أمه التي تقاسمت معه تركة والده، تلك الأم التي آثرت أن تعطيه الثمانين ديناراً برمتها لولا رفضه، فهو يعلم حياة الضنك والفاقة التي تعيشها، فذهل اللص من ذلك الوفاء، واغرورقت عيناه بالدموع، واهتز صدره الموبوء بجراثيم الضغائن والحقود من فرط البكاء، وأزمع التوبة بعد أنّ رأى الفتى اليافع يتهافت في الحفاظ على وصية والدته غير آبهٍ ولا مهتم بضياع كل ما يملك، بينما هو وثلته منذ عهود خلت سلكوا سبيل الردى والعناد، وتركوا سبيل الهدى والرشاد، قطعوا الطريق، وروعوا الآمنين، وأقدموا على فعل ما يجر غضب الله وسخطه، فأعلن توبته وصدع بها أمام جماعته الذين حذوا حذوه، وتحروا طريقته. وصل الشيخ عبد القادر بغداد في زمن الخليفة المستظهر، وأمضى فيها ثلاثاً وسبعين سنة، شهد فيها حكم خمسة من الخلفاء العباسيين هم: المستظهر بالله والمسترشد «حكم من سنة 512 إلى سنة 529ه»، والراشد «حكم من 529 إلي 530ه» والمقتفي «حكم من 530 إلى 555ه» والمستنجد «حكم من سنة 555 إلى 566ه». ولعل ما لا يند عن ذهن أو يغيب على خاطر أن الدولة العباسية في تلك الحقبة قد تقوضت أركانها، ووهت دعائمها، ولم يبق لها من الحكم سوى اسمه، وأن مقاليد الأمور كانت بيد السلاطين السلاجقة. ولقد شهدت تلك الفترة حروباً طاحنة وبلبلة وفوضى واضطراباً، فالكل كان يروم الوصول إلى سدة الحكم. وقاطنو بغداد تكالبوا على الدنيا، وآثروا الفانية على الباقية، بعد أن شغلتهم زخارفها وشهواتها عن مروج مصقولة الحواشي، وجنة وارفة الظلال. ولقد رأى الشيخ عبد القادر ببصيرته التي كانت تؤثر جانب الكمال على جانب النقص، أن الشهوات تؤنس جُلاسها بوجهها المتهلل، وتستبهم عليهم معالم القصد، وأن الشباب الذين هم في سنه يهيمون في أودية الضلال، ويتسكعون في بيداء الغواية، فأقبل على العلم بهمة ماضية، وحرص شديد، وفي سبيل تحصيله، «عانى كثيراً من المتاعب، ومن أشدها الفاقة والفقر، فلقد انقضى كل ما كان لديه من مال، فصار لا يجد ما يقتات به، مهما كان قليلاً، ووصل به الحال أن صار يقتات بما يجده في ضفاف دجلة، من قمامات البقل وورق الخص، وثمار الخروب، وصار يمشي حافي الرجلين في الرمال والأحجار، ولم يكن له مسكن يخصه، وصار يتعرض لأمراض تهدد حياته. بل إنه في بعض الفترات ظن من رأوه في الطريق أنه مات، فأرادوا أن يدفنوه في المقبرة، ولكن الله سبحانه وتعالى لطف به فتحرك جفنه قبل أن يواروه التراب». وعن تلك الفترة العصيبة يخبرنا بأنه بقي أياماً لم يتناول فيها ما يسد الرمق، ويدفع غائلة الغرث والجوع، فذهب يتتبع المنبوذات ليأكلها، فكان من حظه العاثر لا يذهب إلى موضع إلا ويجد غيره قد سبقه إليه، حتى وصل في نهاية المطاف إلى مسجد ياسين بسوق الرياحين فدخل وقد كاد أن يتنسم أريج الموت، يقول الشيخ عبد القادر واصفاً تلك الفترة الحالكة فإذا بشاب أعجمي يدخل ومعه خبز وشواء، وجلس يأكل فرآني، فقال: بسم الله يا أخي، فأبيت، فأقسم عليَّ، فبادرت نفسي فخالفتها، وأقسم أيضاً فأجبته فأكلت، فقال: من أين أنت؟ وما شغلك؟ قلت: أنا متفقه من جيلان، فقال: وأنا من جيلان، فهل تعرف شاباً جيلانياً يسمى عبد القادر الزاهد؟ فقلت: أنا هو. فاضطرب وتغير وجهه، وقال: والله، لقد وصلت إلى بغداد ومعي بقية نفقة لي، فسألت عنك فلم يرشدني أحد ونفذت نفقتي، ولي ثلاثة أيام لا أجد ثمن قوتي إلا مما كان لك معي، وقد حلت لي الميتة، فأخذت من وديعتك هذا الخبز والشواء، فكل طيباً فإنما هو لك، وأنا ضيفك الآن بعد أن كنت ضيفي. فقلت له: وما ذاك؟ فقال: أمك وجهت لك معي ثمانية دنانير. فطيبت نفسه ودفعت إليه باقي الطعام وشيئاً من الذهب، فقبله وانصرف».
