1956 yılında Trabzon ili Çaykara ilçesi Çayıroba köyünde dünyaya geldi. İlk öğrenimini köyünde tamamladıktan sonra Rize İmam Hatip Lisesi'ni bitirdi. Yüksek öğrenimini İstanbul Üniversitesi Hukuk Fakültesi'nde tamamladıktan sonra avukatlık stajını yaptı. Öğrenim hayatı boyunca çeşitli dönemlerde özel dini eğitimler aldı.
Gençlik yıllarından itibaren teşkilatçılık ruhuna sahip olan Yıldız, ilk olarak 1977-79 yılları arasında Milli Türk Talebi Birliği Komitesi Başkanlığı yaptı. 1990-2000 yılları arasında Eyüp Din Görevlileri Derneği Başkanlığı, 1990-1995 yılları arasında İlim Yayma Cemiyeti GOP Şube Başkanlığı, 1998-2002 yılları arasında Din Gör-Sen Genel Başkanlığı görevlerinde bulundu. Yıldız 2002 yılından 25 Ocak 2010 tarihinde vefatına kadar diyanet-sen Genel Başkanlığı görevini yürüttü.
2001 yılından itibaren 4688 s. Yasa gereği sendikal görevi nedeniyle Eyüp Şevkibey Camii İmam Hatipliği'nden izinli olarak profesyonel sendikacılık yaptı.
Ahmet YILDIZ' ın çeşitli gazete ve dergilerde yayınlanmış yazıları ve kendisi ile yapılan röportajların yanı sıra sendikacılığa farklı bir bakış açısı getirdiği " Hilf'ül Fudüldan Günümüze Sivil Toplum ve Sendika" adında bir kitabı, "Peygamberimizin Kısa Hayat Kronolojisi" adlı bir çalışması vardır. Bu çalışma başta Eyüp Sultan Belediyesi olmak üzere çeşitli belediyelerce "Kutlu Doğum Haftası" münasebeti ile on binlerce basılıp dağıtılmıştır..
Öğrencilik yıllarında teşkilatçı, sonra din görevlisi, hukukçu, öğretmen, kooperatifçi ve nihayet sendikacı olan Ahmet Yıldız, "Önce din görevlisiyim" diyordu. Çünkü, din görevi görevlerin en şerefli olanıdır inancındaydı.
Ahmet Yıldız, "Halka hizmet Hakka hizmettir" anlayışı ile insana hizmeti en büyük şeref, din görevlisine hizmeti ise dine hizmet olarak görüyordu. Çünkü din görevlisinin sorunlarını çözmek ve imkanlarını iyileştirmenin din hizmetine olumlu olarak yansıyacağına inanıyordu.Diyanet-Sen'in kuruluşundan yetkiyi almasına ve bu günlere gelmesinde büyük emeği olan Yıldız, sendikacılığın bir ekip işi olduğuna ve kalitenin ancak ekip çalışmasıyla yakalanacağına inanıyordu.
Ruhun şad, mekanın cennet olsun Değerli İnsan