“Bu Makineler Gerçekten Nasıl Öğreniyor?”

“Bu Makineler Gerçekten Nasıl Öğreniyor?”

Yapay Zeka Uzmanı Ozan Önal ile LLM’lerin Matematiksel Temelleri Üzerine Yeni Bir Söyleşi
Röportaj: Turan Recepoğlu

Geçenlerde yapay zekânın Türkiye’deki gelişimini, geleceğini ve etik yönünü konuştuğumuz Ozan Önal ile bu kez yeniden bir araya geldik.
O söyleşide okuyucularımızdan gelen geri dönüşler arasında şu soru çokça tekrarlandı: “Peki bu makineler nasıl çalışıyor?”

Ben de bu merakı fırsat bilip yeniden Ozan Bey’in kapısını çaldım. Sohbet sırasında konu konuyu açtı ve yapay zekânın mutfağına doğru sürükleyici bir yolculuğa çıktık.

Turan Recepoğlu:

Ozan Bey tekrar hoş geldiniz. Geçen söyleşimizde genel vizyonu, etik boyutları konuştuk. Ama itiraf edeyim, yazıdan sonra aklıma şu takıldı: Bu makineler gerçekten nasıl öğreniyor? İşin matematiği nedir? Biraz da bu yönünü konuşabilir miyiz?

Ozan Önal:

Çok güzel ve yerinde bir soru Turan Bey. Aslında işin bu tarafı da en heyecan verici kısmı.
Bugün kullandığımız ChatGPT gibi büyük dil modelleri — LLM’ler dediğimiz — temel olarak olasılık tahmin eden sistemler.

Bir cümle içinde hangi kelimenin geleceğini tahmin etmeye çalışırlar. Bunun için de arka planda çok yoğun matematiksel işlemler döner.

Turan Recepoğlu:
Hmm, ilginç... Yani bir çeşit tahmin oyunu mu bu?

Ozan Önal:
Tam olarak öyle diyebiliriz. Diyelim ki cümle şu şekilde başlıyor: “Sabah kahvemi...”
Model burada “içtim”, “hazırladım”, “unuttum” gibi olasılıkları hesaplar ve hangisinin en mantıklı olacağını tahmin eder.

Bu tahmini yapabilmek için model her kelimeyi sayılarla ifade eder. Biz buna vektör temsil diyoruz.

Turan Recepoğlu:
Bir dakika Ozan Bey — “vektör” dediniz. Nedir bu vektör?

Ozan Önal:
Çok haklı bir soru. Vektör dediğimiz şey aslında bir sayılar dizisi.
Mesela bilgisayar için “kahve” kelimesi şu şekilde bir sayı dizisi gibi görünür:

[0.81,−0.25,0.43,...,0.19]

Bu sayılar dizisi sayesinde bilgisayar kelimeler arasındaki anlam ilişkilerini öğrenebilir. Örneğin "kahve" ile "çay" benzer vektörlere sahip olurken, "araba" tamamen farklı bir vektör olur.

İşte bu yüzden model, dili sayılar üzerinden öğreniyor.

Turan Recepoğlu:
Vay canına... Peki bu sayılar nasıl öğreniliyor?

Ozan Önal:
İşte burası işin mutfağı!
Model milyonlarca kitap, makale, web sayfası gibi dev veri kümeleri üzerinde eğitiliyor.
Başlangıçta vektör değerleri rastgele atanır. Sonra model cümleler üzerinden tahmin yapar, tahmin hatalarını ölçer ve bu hataları geriye yayılım dediğimiz yöntemle düzelterek vektörleri günceller.

Bu süreç binlerce defa tekrarlanır — adeta bir çocuğun tekrar tekrar deneyerek doğruyu öğrenmesi gibi.

Turan Recepoğlu:
Peki bu “geriye yayılım” tam olarak ne yapıyor?

Ozan Önal:
Çok güzel yakaladınız. Geriye yayılım, modelin yaptığı hatayı ölçer ve bu hatayı hangi sayıların (parametrelerin) ne kadar değiştirilmesi gerektiğini hesaplar.

Matematikte buna gradyan inişi denir.
Model, en doğru tahmine ulaşabilmek için sayıları adım adım günceller.

Bunu düşünün bir tepeyi tırmanan dağcı gibi: Hedef zirveye ulaşmak (en doğru tahmin), ama her adımda nereye basması gerektiğini matematiksel olarak hesaplıyor.

Turan Recepoğlu (merakla):
Peki Ozan Bey, model bunu cümledeki tüm kelimeler için mi yapıyor?

Ozan Önal:
Evet ve dahası!
Cümlenin her bir kelimesi, diğer tüm kelimelerle ilişkilendiriliyor.

Burada devreye attention mekanizması giriyor.
Attention dediğimiz yöntem, her kelimenin diğer kelimelere ne kadar dikkat edeceğini belirliyor.

Örneğin cümlede “Ozan kahvesini içerken gazeteyi okudu” dediğimizde, “okudu” kelimesi için en önemli bağlam "gazeteyi"dir, "kahvesini" değil.
Model bunu sayısal ağırlıklar aracılığıyla öğrenir.

Turan Recepoğlu:
Şaşırtıcı! Yani bir cümlede kelimeler adeta birbiriyle konuşuyor gibi mi?

Ozan Önal:

Aynen öyle!
Matematiksel olarak her kelimenin bir dikkat matrisi hesaplanır.
Bu matris sayesinde model hangi kelimeye ne kadar dikkat edeceğini öğrenir. Bu da daha doğru ve doğal cümleler üretmesini sağlar.

Turan Recepoğlu:
Peki bu işlem sırasında model ne kadar bilgiye ihtiyaç duyuyor? Yani bu süreci öğrenmek için ne kadar veri gerekiyor?

Ozan Önal:
Muazzam miktarda veri gerekiyor.
Büyük dil modelleri yüz milyarlarca kelime içeren veri kümeleri üzerinde eğitiliyor.

Ayrıca bu sürecin çalışabilmesi için devasa hesaplama gücü lazım. Yani binlerce özel tasarlanmış işlemci (GPU) aylar boyunca çalışıyor.

Turan Recepoğlu:
Enerji tüketimi de hayli yüksektir o zaman.

Ozan Önal:
Kesinlikle. Bu yüzden bugün araştırmacılar daha verimli model mimarileri ve enerji tasarruflu yöntemler geliştirmeye çok önem veriyor.
Bu işin sadece matematiği değil, aynı zamanda çevresel boyutu da ciddi şekilde tartışılıyor.

Turan Recepoğlu:
Gerçekten büyüleyici bir dünya Ozan Bey. Son olarak — sizce bu alanda yeni neler göreceğiz?

Ozan Önal:
Bence ilerleyen dönemde daha küçük ama daha akıllı modeller göreceğiz.
Ayrıca modellerin çok dilli, çok modelli (sadece metin değil, görüntü ve ses de anlayan) hale gelmesi bekleniyor.

Ve en önemlisi: bu matematiksel temelin daha da güçlü hale gelip daha insan benzeri anlayış ve muhakeme yetenekleri kazandıracağını düşünüyorum.

Turan Recepoğlu:
Ozan Bey yine çok öğretici bir sohbet oldu. Sayenizde biraz olsun bu makinelerin arkasındaki matematik dünyasına adım atmış olduk. Çok teşekkür ederim.

Ozan Önal:
Ben teşekkür ederim Turan Bey. Her zaman büyük keyifle. Umarım okuyucular için de faydalı olmuştur.

Turan RECEPOĞLU/Erzurum Birikim Gazetesi-Şenkaya Haber/ANKARA