1964 yılında Giresun'da doğdu. Kayseri Erciyes Üniversite Üniversitesi Tıp Fakültesi'nden mezun oldu. Üniversite
yıllarında Ülkü Ocakları'nda görev aldı. Aynı üniversitede Anatomi Bölümü'nde iki yıl araştırma görevlisi olarak
çalıştı. 1993-1997 yılları arasında Cumhuriyet Üniversitesi Tıp Fakültesi Anestizi Reanimasyon Araştırma Görevlisi uzmanlık eğitimi aldı. 1997 yılında aynı üniversitede öğretim görevlisi olarak görev yapmaya başladı.
1999 yılında ise Giresun Devlet Hastanesi'nde Anestizi Reanimasyon Uzmanı olarak göreve başladı.
2008 yılında Giresun'da kurduğu özel bir hastanede göreve başladı.
2009 yılında MHP'den Giresun Belediye Başkanlığına aday adayı oldu.
İki dönem Tabip Odası Genel sekreterliğini yürüten Yılmaz, bir dönem Giresunspor'da yöneticilik yaptı.