Akbaş ailesi, Müslüm üç yaşındayken Çukurova'nın merkezi Adana'ya yerleşti. Şehrin kenar mahallelerinden birinde, dönemin pek çok göçmen ailesi gibi yokluk içinde bir hayat kurmaya çalıştılar. Adana, 1950'li ve 60'lı yıllarda pamuğun başkentiydi. Mevsimlik işçilik, tarla amelelik ve gündelik geçim derdi, kente göç eden ailelerin ortak kaderiydi. Müslüm de çocuk yaşta bu hayatın içine doğdu; oyun çağında çalışmayı, ekmeğin ne kadar zor kazanıldığını öğrendi. İlkokuldan sonra eğitimini sürdüremedi. Bir süre terzi çıraklığı, bir süre ayakkabıcı çıraklığı yaptı. On üç yaşına geldiğinde pamuk tarlalarında çalışırken türkü söylüyordu; el emeğiyle geçen günlerin yorgunluğunu sesiyle hafifletmeye çalışıyordu. Bu zorlu çocukluk, Müslüm Gürses'in müziğine ömür boyu sinecekti. Onun yorumladığı acı, sahnede oynanan bir rol değil; bizzat yaşanmış, tanıdık bir acıydı. Dinleyicilerinin ona bu kadar bağlanmasının bir nedeni de buydu: Müslüm Baba, onların hayatını gerçekten biliyordu. Ailenin yaşadığı sıkıntılar maddiyatla da sınırlı kalmadı. İlerleyen yıllarda Müslüm'ün hayatını derinden sarsacak ağır aile trajedileri de bu dönemin gölgesinde filizlenecekti.