1945 yılında Erzurum'un Aşkale ilçesinin Dağlı Köyü'nde dünyaya geldi. Çocukluğunun ilk yılları babasının değirmeninde geçirdi. Seslerin uyumu konusu belki de ilk olarak orada dikkatini çekti. Dinlediği ilk orkestra oradaki su ve değirmen taşıdır.
5 yaşında kavalla, 6 yaşında ise gramofon ve plakla tanıştı. Kendi adı ile özdeşleşen bağlamayla 7 yaşında iken Erzincan'da Davut Sulari, Aşık Daimi, Ali Ekber Çiçek, Aşık Beyhani, Kemter Yusuf ve daha birçok sanatçının yetiştiği Kumaş Dede'nin dükkanında tanıştı.
14 yaşına kadar aşıklık geleneğini öğrenip, deyişler söylemeye başlayan sanatçı, sonraki yıllarda İstanbul'a geldi ve Aksaray Musiki Cemiyeti'nde Nida Tüfekçi'nin öğrencisi oldu. 1960 ve 1970'li yıllar Arif Sağ için müzikte arayış yıllarıdır. Bu dönemde daha çok piyasa ve resmi kurumların müzik uygulamalarına ağırlık vermek zorunda kaldı.
İlk plağı "Gafil gezme şaşkın bir gün ölürsün" ü bu dönemde, 1963 yılında çıkardı.1965 yılında İstanbul radyosu'na bağlama sanatçısı olarak girdi.
45'lik plak dönemi olarak bilinen ve yaklaşık 20 yıl devam eden bu süreçte; 45'in üzerinde plak ve 200'ün üzerinde beste yaptı. Çeşitli sanatçılara bağlamasıyla eşlik etti ve bestelerini de pek çok sanatçıya okudu.
1975 yılında kurulan İstanbul Devlet Türk Müziği Konservatuarı'na öğretim üyesi olarak giren Arif Sağ, halk müziği ve bağlama konusundaki akademik çalışmalarını da bu dönemde başlattı. 1982 yılında konservatuardan ayrılarak, kendi adına Arif Sağ Müzik Evi'ni kurdu. Bu arada; Musa Eroğlu, Muhlis Akarsu ve Yavuz Top gibi bağlamanın diğer ustalarıyla Muhabbet serisinin ilk albümünü hazırladı. Uzun bir zamana yayılan bu birlikte çalışma, beş albüm ortaya çıkardı..
1982 yılında İstanbul'da Şan Tiyatrosu'nda ilk bağlama resitali'ni verdi. Bu dönemlerde avrupa'nın bir çok ülkesinde ve Japonya'da halk müziğimizi ve bağlamayı tanıtan konserler verdi.
Ülkemizde müzik alanında kişisel renklere ve üstün yeteneklere sık rastlanmasına rağmen, bağlama çalgısında bir ekol yaratan sanatçı sayısı parmakla sayılacak kadar azdır. Bağlamaya teknik bakımdan hakim olduğu kadar Arif Sağ'ın icrası, yerel tavırlar, repertuar ve duygu bakımından da zenginliklerle doludur. Belkide bu özelliğinden dolayı bağlamanın ikinci yaratıcısı Arif Sağ demek aynliş olmaz. Çünkü Arif Sağ ekolunun bir sonucu olarak şimdi halk müziğine gönül vermiş her evde bir bağlamaya rastlamak mümkündür.
Halk müziği ve bağlama alanında özgün arayışlarını yoğunlaştırarak sürdüren Arif Sağ, 1987-1991 döneminde parlamentoda milletvekili olarak bulunan ilk sanatçıdır.
5 Mayıs 1996'da Almanya Cumhurbaşkanu Sayın Roman Herzog'un desteği ile Köln Flarmoni Orkestrası ile Köln Flarmoni Salonu'nda verdiği konserle, Anadolu müziğinin batıya tanıtılmasına ciddi katkılar yapmıştır. 1996 yılında Köln Senfoni Orkestrası eşliğinde Erdal Erzincan ve Erol Parlak'la birlikte Köln'de verdiği konser büyük ilgi gördü ve yine aynı yıl Cumhurbaşkanlığı tarafından verilen özel ödülü aldı.
İspanya'nın ünlü Flamenko gitaristi Toma Tito ile Avrupa'nın 12 ayrı şehrinde konserler vererek, bağlamanın yurt dışında tanınmasını ve hak ettiği övgüyü almasını sağladı. Takdir edilecek diğer bir husus, müzikle birlikte saygıya değer bir kültürün de tanıtımına verdiği katkıdır.
Sanatçı evli ve iki çocuk babasıdır.
