Cevdet Yılmaz, ODTÜ Kamu Yönetimi Bölümünü birincilikle bitirdi. Yüksek lisansını ABD Denver Üniversitesi Uluslararası İlişkiler Bölümünde, doktorasını Bilkent Üniversitesi Siyaset Bilimi ve Kamu Yönetimi Bölümünde tamamladı.
Başbakanlık DPT Müsteşarlığı, AB ile İlişkiler Genel Müdürlüğü görevlerini yürüttü. Ulusal Ajans, ATAUM ve Sümer Halı'da Yönetim Kurulu üyeliklerinde bulundu.
23, 24, 26 ve 27. Dönemde Bingöl, 25. Dönemde Diyarbakır Milletvekili seçildi. Parlamentolararası Birlik (PAB) Türk Grubu Başkanlığı yaptı. 60. Hükûmette Devlet Bakanı; 61, 62 ve 64. Hükûmetlerde Kalkınma Bakanı, 63. Hükûmette Başbakan Yardımcısı olarak görev aldı.
AK PARTİ MKYK Üyesi, Tanıtım ve Medya, Dış İlişkiler ve Ekonomi İşlerinden Sorumlu Genel Başkan Yardımcısı oldu.
2020 yılı Kasım ayından itiraberen TBMM Plan ve Bütçe Komisyonu Başkanlığı görevini 14 Mayıs seçimlerine kadar sürdürdü.
Çok iyi düzeyde İngilizce bilen Yılmaz, evli ve 2 çocuk babasıdır.
