يقول عبد اللطيف خضر بحسب التوثيق أن لقب (الحاوي) جاء من خلال سفر والده إلى الهند التي كان يذهب إليها ويعود إلى السودان، حاملاً معه الأشياء النادرة مثل البخور والضفرة وكل ما له علاقة بالعطارة، خاصة وأن أعمامه هم أصحاب المحلات الشهيرة المسماة بالتيمان. وفي واحدة من رحلاته للهند مكث والد عبد اللطيف هناك سبعة أعوام وعاد بعدها ليصبح الحاوي الوحيد في السودان، واحتفت العاصمة بحفلاته التي يقيمها لعروض الحواة وأقام بعضاً منها داخل سرايا الحاكم العام أيام الاستعمار، ومن أصدقائه المعروفين السيد علي الميرغني والسيد عبد الرحمن المهدي. ومن خلال عروض وحفلات والده كان عبد اللطيف يقدم فواصل موسيقية، وفي ذلك يقول ود الحاوي: (والدي كان يحتاج إلى شخص قريب منه وحافظ لأسراره ومن ضمن الأسرة التي تكونت من أربع بنات وولدين كنت أنا الأقرب لوالدي، فتعلمت منه أسرار الحاوي، وهو ما انعكس على دراستي المتقطعة وفي كثير من الأحيان كان يفوتني الإمتحان وأعود للدراسة من منازلهم).