Milli Mücadele’nin Urfa Çete Reislerinden, Kırmızı Şeritli İstiklal Madalyası sahibi, Demokrat Parti Urfa Milletvekili Hacı Ömer CEVHERİ ve Hacı Fatma CEVHERİ’nin oğlu olarak 1930 yılında Urfa’da doğdu. İlkokulu Urfa, Amasya ve Adana’da okudu. Ortaokul ve lise eğitimini İstanbul’da Galatasaray Lisesi’nde aldı. Ankara Hukuk Fakültesinden 1955 yılında mezun olduktan sonra Urfa Barosu’na kayıtlı olarak serbest avukatlık yaptı. Aile mesleği olan çiftçilikle uğraştı.
Siyasete 1 Ocak 1951 tarihinde Demokrat Parti Ankara Maltepe Ocağına kaydolarak başladı. 1955 ile 1960 yılları arasında Demokrat Parti Urfa Merkez İlçe Başkanlığı ve Urfa İl Başkan Vekilliği görevlerinde bulundu.
1961 yılından itibaren 1980 yılına kadar geçen süre zarfında, Adalet Partisi Urfa İl Başkanlığı, Genel İdare Kurulu Üyeliği, Genel Merkez Teşkilat Başkan Yardımcılığı, Seçim İşlerinden Sorumlu Genel Başkan Yardımcılığı görevlerini üstlendi.
1965, 1969, 1973 ve 1977 Seçimlerinde, Adalet Partisi Urfa Milletvekili seçildi. 1969 yılından itibaren 2. ve 3. Demirel Hükümetlerinde Turizm ve Tanıtma Bakanlığı, 1977 yılında 5. Demirel Hükümeti’nde Adalet Bakanlığı görevlerine getirildi.
12 Eylül rejimiyle konulan 10 yıllık siyasi yasağının kalkmasıyla 1987 yılından itibaren Doğru Yol Partisi Genel İdare Kurulu Üyeliği ve Siyasi İşlerden Sorumlu Genel Başkan Yardımcılığı görevlerini aldı.
1991, 1995 ve 1999 Seçimlerinde, Doğru Yol Partisi Şanlıurfa Milletvekili seçildi. 1991 yılında 7. Demirel Hükümeti’nde Tarım ve Köyişleri Bakanlığı görevi tevdi edildi. 1993 yılında 1. Çiller Hükümeti’nde, 1995 yılından itibaren de 2. ve 3. Çiller Hükümetlerinde Devlet Bakanlığı görevini yürüttü.
31 Temmuz 2002 tarihinde alınan erken seçim kararıyla birlikte, 3 Kasım 2002 tarihinde yapılacak Milletvekili Genel Seçimi için yeniden milletvekili adayı olmayarak, kendi isteğiyle siyaset hayatından çekildi.
5 Eylül 2023 tarihinde Hakkın rahmetine kavuştu ve Cebeci Asri Mezarlığı’nda 65 yıllık hayat arkadaşı İsmet Yüksel Cevheri’nin yanına defnedildi.