Mustafa Yılmaz, 1966 yılında Gaziantep Nizip'te doğdu. Nizip'teki ortaöğreniminin ardından 1984-1988 yılları arasında İstanbul Üniversitesi Hukuk Fakültesi'nde eğitimini tamamladı. 

1989 yılında İstanbul'da serbest avukatlığa başladı. 1993-2004 yılları arasında enerji sektöründe avukat olarak çalıştı. 

Bu dönemde bazı sivil toplum kuruluşlarının çalışmalarına katkıda bulundu. 

Mustafa Yılmaz, 21 Şubat 2004 tarihli Resmi Gazetede yayımlanan Bakanlar Kurulu Kararı ile EPDK Kurul Üyeliğine atandı. 28 Ocak 2010 tarihinde  EPDK İkinci Başkanı olarak görevlendirildi.
20 Şubat 2014 tarihli Resmi Gazetede yayımlanan Bakanlar Kurulu Kararı ile EPDK Başkanı olarak atanan Yılmaz, görev süresinin bitimini müteakiben 1 Mart 2016 tarihli Resmi Gazetede yayımlanan Bakanlar Kurulu Kararıyla da EPDK Başkanı olarak ikinci kez atandı.

Mustafa Yılmaz'ın başkanlığı döneminde, EPDK'nın uluslararası platformda etkinliğinin artırılmasına yönelik olarak başlatılan çalışmalar daha da artırılmıştır. Bu dönemde, EPDK'nin ev sahipliği ve başkanlığında 6.Dünya Enerji Düzenleme Forumu İstanbul'da toplanmış ve EPDK, üyesi bulunduğu Enerji Düzenleyicileri Bölgesel Birliği ERRA ve Akdeniz Enerji Düzenleyicileri Birliği MEDREG'in aktif bir üyesi haline gelmiştir 

Yılmaz, aynı zamanda ERRA Yönetim  Kurulu Üyeliği görevini de yürütmektedir.

İngilizce bilen Yılmaz, evli ve üç çocuk babasıdır.