20 Ocak 1965 tarihinde Domaniç’in Saruhanlar köyünde doğdu. İlkokulu Saruhanlar, ortaokulu Tunçbilek’te bitirdi. 1982 yılında Tavşanlı Endüstri Meslek Lisesi’nden mezun oldu. 1984’ten bu yana GLİ’de Başçavuş olarak görev yaptı.
1989 yılında MCP kurucuları arasında yer aldı. 1989 yılında Saruhanlar’da Kuran Kursu Yaptırma Derneğini kurarak eğitim ve öğretime açtı. 1985 – 1995 yılları arasında Yeni Düşünce, Bizim Ocak, Tercüman, Hürriyet gibi gazete ve dergilerin muhabir ve temsilciliğini yürüttü. 10 Nisan 1995 yılında Öz Domaniç Gazetesi’ni kurdu ve ayrıca Yeşil Domaniç Gazetesi’ni devir aldı. Bunların yanı sıra aylık olarak Tunçbilek’te ‘’İşçimiz’’ eki ve ‘’Hayme Ana’’ özel ekini çıkarttı.
1986’da evlendi ve bu evlilikten 3 kızı oldu. 3 Eylül 2000’de kızını ve 24 Haziran 2010’da ise eşini kaybetti. İkinci evliliğinden de bir oğlu oldu.
Şerif Yılmaz, 31 Mart 2019 Yerel Seçimlerinde İYİ Parti’den Kütahya İli, Domaniç İlçesi Belediye Başkan adayı oldu.
