Yakup Yılmaz, 1955 yılında Balıkesir’in İvrindi ilçesi Kiraz köyünde doğdu.
Gökçeyazı İlköğretim Okulunda okudu, İvrindi Ortaokulu, Muharrem Hasbi Lisesi’nin ardından, 1977-78 döneminde Necati Eğitim Enstitüsü’nden mezun oldu. Bir süre öğretmenlik yaptı, 1984 yılında Gebze Belediyesine girdi. Sırasıyla Personel Müdürü, İktisat Müdürü, Hesap İşleri Müdürü, Başkan Yardımcılığı ve Mezarlıklar Müdürlüğü görevlerinde bulundu. 2008 yılında istifa ederek 29 Mart 2009 yerel seçimlerinde Gökçeyazı Belediye Başkanı seçildi. İngilizce bilen Yakup Yılmaz, evli ve 2 çocuk babası.