Küçük bir sayısal düzenleme, puanlarda büyük artış sağladı
MIT Bilgisayar Bilimi ve Yapay Zekâ Laboratuvarı'ndaki araştırmacılar, OpenAI'nin GPT-6 Astra'sının, yaklaşık 800 milyon sayısal parametresinden yalnızca 131.072'sini değiştirerek küçük bir Qwen modelinin matematik puanını %7,9'dan %48,1'e çıkardığını söylüyor. Müdahale, belirli bir soruna odaklandı: model, yanıt verecek yeri kalmayana kadar tekrar tekrar metin üretiyordu.
İçindekiler
- Küçük bir sayısal düzenleme, puanlarda büyük artış sağladı
- Ağırlıkları programlamak gerçekte ne anlama geliyor?
- Astra, Qwen'in kendini tekrar etmesini nasıl durdurdu?
- Yamayı bulmak saatler süren bir araştırma gerektirdi
- Sayılardan oyunları, şekilleri ve dili anlamak
- Bir arabayı onarmak ve oyun ağları kurmak
- Daha büyük bir Go ağı farklı bir iş akışı gerektirdi
- İki zorlu test sınırları ortaya koyuyor
- Araştırmacılar sırada neyi test etmek istiyor?
- Öne çıkanlar
Rikiya Takehi, Jayden Teoh, Alex Zhang ve Omar Khattab, deneyleri 2 Kasım tarihli ve Sparks of Weight-Space Programming başlıklı bir araştırma yazısında anlattı; yazıyı 3 Kasım 2026 tarihli haberler izledi. Yaklaşımlarında bir dil modelinden başka bir sinir ağının ağırlıklarını, yani bilgiyi işleme biçimini belirleyen sayıları incelemesi, yorumlaması ve doğrudan yeniden yazması isteniyor.
En güçlü sonuç Qwen3.5-0.8B modelinde elde edildi. Astra'nın ağırlıkların yaklaşık %0,016'sını değiştirmesinin ardından modelin MATH-500 doğruluğu 40,2 yüzde puan artarak başlangıç puanının yaklaşık altı katına çıktı. GSM8K matematik sorularındaki doğruluk %13,8'den %67,1'e yükselirken IFEval talimatları izleme puanı %21,0'dan %62,3'e çıkarak başlangıç değerinin neredeyse üç katına ulaştı.
Deneyler matematiğin ötesine geçti. Astra küçük ağların amaçlarını belirledi, simüle edilmiş bir sürüş denetleyicisini onardı ve kurallar ile kaynak koddan doğrudan oyun oynayan ağlar yazdı. Diğer testler ise sınırları ortaya koydu: Yalnızca ağırlıklara bakarak kullanıcılara aşırı ölçüde katılma eğilimini saptamakta zorlandı; yaptığı düzenlemeler başka bir dil modelinde matematik performansını çok az iyileştirdi.
Geliştiriciler için yakın vadede öne çıkan olasılık, yeni bir model onarım yöntemi. Bir ağı başka bir geleneksel eğitim turundan geçirmek yerine, bir yapay zekâ asistanı hatayı araştırıp bundan sorumlu sayısal düzeni değiştirebilir. Qwen sonucu, puan artışının büyüklüğü kadar hatanın niteliğinin de önemli olduğunu gösteriyor.
Ağırlıkları programlamak gerçekte ne anlama geliyor?
Bir sinir ağı, girdileri katmanlar hâlindeki hesaplamalarla çıktılara dönüştürür. Ağırlıkları, sinyallerin bileşenler arasında ne ölçüde aktarılacağını belirler. Eğitim sırasında bu sayılar genellikle, hangi değişikliklerin işe yarayacağını belirlemek için örneklerden ve matematiksel bir hata ölçüsünden yararlanılarak tekrar tekrar ayarlanır.
Gradyan inişi, bu ayarlamaları hesaplamanın yaygın yöntemlerinden biridir. Hataları azaltmak için ağırlıkların hangi yönde değiştirilmesi gerektiğini tahmin ederek çalışır. Bu deneylerde Astra, bir eğitim döngüsünün değişiklikleri hesaplaması yerine hedef ağı değerlendirip değişiklikleri kendisi yazdı.
MIT CSAIL'de doktora öğrencisi olan Takehi, önerilen iş akışını sosyal medyada yaptığı açıklamada şöyle anlattı:
Eğitim yerine modeller, ham ağırlıkları okunabilir ve düzenlenebilir kod gibi ele alabilir: hataları teşhis edip doğrudan yamalayabilir.
Yazılım onarımıyla yapılan karşılaştırma yararlı. Bozulan bir uygulamayı inceleyen bir programcı, hatalı bir işlevi bulup yeniden yazabilir. Burada Astra, istenmeyen davranışla bağlantılı bir örüntü bulmak için sayısal yapıları taradı. Sinir ağlarının ağırlıklarını yorumlamak sıradan yazılımlardan daha zordur; çünkü ağırlıkların görevlerini açıklayan, insanlarca anlaşılır adları genellikle yoktur.
Deneylerde farklı düzeylerde yardım sağlandı. Bazı durumlarda Astra'ya yalnızca ağırlıklar ve mimarinin açıklaması verildi. Diğerlerinde ise Python ortamı, örnekler veya hedef modeli çalıştırma izni sunuldu. Qwen deneyinde geleneksel eğitimin olmaması, önemli miktarda hesaplama, alıştırma sorusu ve test ihtiyacını ortadan kaldırmadı.
Astra, Qwen'in kendini tekrar etmesini nasıl durdurdu?
Qwen'in başlangıçtaki davranışı, Astra'nın incelemesi için alışılmadık ölçüde açık bir sorun ortaya koydu. İlk 96 soruluk grupta 85 yanıt, 32.768 tokenlık azami çıktı uzunluğuna ulaştı. Tokenlar, bir dil modelinin okuyup ürettiği; çoğu zaman sözcüklerden veya sözcük parçalarından oluşan birimlerdir. Bu sınır nedeniyle kesilen yanıtların yaklaşık %95'i tekrarla sona erdi.
Daha kapsamlı MATH-500 değerlendirmesinde de aynı sorun görüldü: başlangıç yanıtlarının %93,0'ı token sınırına ulaştı. Astra, bu döngüsel davranışı 15. ve 19. katmanlardaki ileri beslemeli bileşenlerin çıktılarına karşılık gelen sayısal bir yönde saptadı. Çok katmanlı algılayıcılar veya MLP'ler olarak da adlandırılan bu bileşenler, her katmanın içindeki bilgiyi dönüştürür.
Sayısal yön, tek bir anahtardan ziyade çok sayıda değere yayılmış bir örüntüdür. Astra, iki katmanın her birindeki 64 çıktı sütunundan tekrarla ilişkili yönü çıkardı. Böylece 131.072 ağırlık değişti ve MATH-500 yanıtlarında token sınırına ulaşanların oranı %33,1'e düştü.
Düzeltilen yanıtların dağılımı, iyileşmeyi açıklamaya yardımcı oluyor. Ayrı tutulan 1.152 soruda 579 yanıt yanlışken doğruya, beş yanıt ise doğruyken yanlışa döndü. İyileşen 579 yanıtın 576'sı başlangıçta çıktı sınırında kesilmişti. Dolayısıyla kazanımların çoğu, düzenlenen modelin önceki tekrarları yüzünden yarıda kalan yanıtları tamamlamasıyla sağlandı.
Yamadan sonra da MATH-500 yanıtlarının yaklaşık üçte biri izin verilen çıktı uzunluğunu doldurdu. Düzenlenen ağ, test koşullarında çok daha kullanışlı hâle geldi ancak döngüye girme sorunu önemli ölçüde devam etti.
Yamayı bulmak saatler süren bir araştırma gerektirdi
Astra'nın Qwen üzerinde en başarılı girişiminde, her biri potansiyel olarak yüzlerce örneği kapsayan 50 değerlendirme isteği kullanıldı. Araştırma 158 konuşma turu, 80 Python çalıştırması ve bir hizmet kesintisini bekleyerek geçirilen 4,7 saat dâhil toplam 20,3 saat sürdü.
Çalışma ortamında GSM8K ve MATH eğitim kümelerinden 14.000'den fazla alıştırma sorusu, Qwen'in ağırlıklarına erişim ve CPU'larda çalışan bir Python sanal alanı vardı. Sanal alanda en fazla 300 kod çalıştırmasına izin veriliyordu. Diğer girişimlerde 10 veya 25 değerlendirme isteği kullanıldı.
Açıklanan doğruluk değerleri belirli bir üretim ayarına da dayanıyor. Değerlendirmelerde düşünme modu, 32.768 tokenlık çıktı sınırı ve 0,6 sıcaklık kullanıldı. Sıcaklık, bir sonraki token seçimine ne kadar rastgelelik katılacağını belirler; model kartı, düşünme modundaki metin görevleri için 1,0 sıcaklık öneriyor. Başlangıç davranışını yeniden üretirken ve sonuçları karşılaştırırken bu fark önem taşıyor.
İzlenen süreç şöyleydi:
- Araştırmacılar Astra'ya hedef modeli, alıştırma sorularını ve ağırlıkları inceleyip davranışı test etme araçlarını sağladı.
- Astra tekrar eden çıktıları araştırdı ve 15. ile 19. katmanlara yönelik bir düzenleme geliştirdi.
- Değerlendirmede, çıktı sınırına ulaşan yanıtların azalmasının yanı sıra matematik ve talimatları izleme performansındaki iyileşmeler ölçüldü.
- Ekip çalışmayı 2 Kasım'da anlattı ve bir kıyaslama testi ile test çerçevesi geliştirdiğini belirtti.
Son düzenleme küçüktü ancak onu bulmak çok daha kapsamlı bir süreç gerektirdi. Bu yaklaşımın geleneksel ince ayara kıyasla zaman veya hesaplama kaynağı tasarrufu sağlayıp sağlamayacağı, uygulamaya dönük açık bir soru olmayı sürdürüyor.
Sayılardan oyunları, şekilleri ve dili anlamak
Astra'nın inceleme testleri, yakın politika optimizasyonu (PPO) adı verilen pekiştirmeli öğrenme yöntemiyle eğitilmiş dört oyun ağıyla başladı. Bu yöntem, davranışı ödüller aracılığıyla iyileştiriyor. Ağlar aynı yapıya, girdilere ve olası eylemlere sahipti. Astra, aday oyunların listesi olmadan bunları Breakout, Pong, Pac-Man ve Freeway olarak tanımladı.
Araştırmacılar, Astra'nın ilk katmandaki örüntüleri ve çıktı katmanının eylemleri seçme biçimindeki farklılıkları incelediğini söyledi. Breakout'u tanımlama örneğinde yanıtına %99 güven atadı. Bu güven oranı, Astra'nın kendi tanımlamasına ilişkin değerlendirmesiydi.
Üç küçük difüzyon modeli başka bir test sundu. Her biri daire, üçgen veya kare üretmeyi öğrenmişti. Modelleri çalıştırmadan Astra, çıktı katmanı ağırlıklarında ana hatları bularak şekilleri tanımladı. Modeller içi dolu şekiller üretmesine rağmen çizimleri içi boştu. Bu sıra dışı ayrıntı, yorumunu incelediği sayısal yapıya bağlıyordu.
Dil tanıma testi, her biri 7,2 milyon parametre içeren; Python kodunda, Latin harfleriyle yazılmış Japoncada veya İngilizcede bir sonraki karakteri tahmin etmek üzere eğitilmiş üç modelle yapıldı. Astra'ya yalnızca orta katmanlar verildi ve her iki denemede de eğitim dilini doğru belirledi.
Astra ayrıca modellerin kopyalama başlıklarını buldu. Bunlar, daha önce karşılaşılan metnin tekrarlanmasına yardımcı olan dikkat bileşenleridir. Python modelinde bu başlıklardan daha fazlası vardı; bu, kodda aynı değişken ve işlev adlarının tekrar tekrar kullanılmasına uygundu. Latin harfleriyle yazılmış Japonca modelinin son modülü daha az yön ifade ediyordu; bu da yaygın kullanılan karakter kümesinin daha küçük olmasıyla tutarlıydı.
Bir arabayı onarmak ve oyun ağları kurmak
Kinetix ortamındaki simüle edilmiş bir araba yararsız bir alışkanlık edinmişti: yokuşa sürüp orada takılı kalıyordu. Önce geri gitmek, başarılı bir tırmanış için yeterli alanı sağlayacaktı. Astra'ya denetleyicinin ağırlıkları, sahnenin açıklaması ve kaydedilmiş tek bir başarısız deneme verildi. Astra hiçbir araç kullanmadan tek yanıtla onarım üretti.
Yama, ağırlıkların %3,5'ini değiştirdi ve 1.024 testin tamamında başarılı oldu. Astra, konumu ve hızı izlemek için ağda küçük bir yol ekledi; araba bir işaretçiyi geçtikten sonra denetimi yeniden özgün ağa verdi.
MinAtar oyunlarından Breakout, Seaquest ve Asterix'te Astra farklı bir görevle karşılaştı: sıfırdan politika ağları yazmak. Politika ağı, oyun durumunu bir eyleme dönüştürür. Astra'ya kurallar, kaynak kod ve gerekli mimari verildi; ancak eğitim örneği, gradyan hesabı, araç veya değerlendirme öncesinde oyun oynama fırsatı sunulmadı.
Astra'nın ağları, üç oyunun tamamında 100 milyon adım boyunca eğitilmiş PPO temel modellerini yendi. Sayısal farkın en büyük olduğu oyun Breakout'tu: Astra 517,4 puan alırken 100 milyon adım boyunca eğitilen temel model 15,8, 500 milyon adım boyunca eğitilen model ise 25,3 puan aldı. İkinci karşılaştırmada avantaj yaklaşık 20 kata ulaştı.
Avantaj oyuna göre değişti. Astra, 500 milyon adım boyunca eğitilmiş PPO modellerine karşı Asterix'te benzer sonuçlara ulaştı; Seaquest'te ise bu modellerin puanının yaklaşık %60'ını aldı. Breakout tasarımı, açık bir stratejiyi ağırlıklara dönüştürdü: topun nereye düşeceğini tahmin et, ardından raketi o konuma doğru hareket ettir.
Daha büyük bir Go ağı farklı bir iş akışı gerektirdi
Go deneyinde yaklaşık 1,5 milyon parametreli bir ağ kullanıldı. Bu ağ, Astra'nın bağlam penceresine, yani tek seferde işleyebileceği bilgi miktarına doğrudan sığmayacak kadar büyüktü. Araştırmacılar bunun yerine ağırlıkları inceleyip düzenlemek için bir Python sanal alanı sağladı.
Mimaride 243 girdi, 512 birimli altı gizli katman ve 82 çıktı vardı. Astra ağı kompakt bir Go programı gibi düzenledi: İlk katmanlar taşları ve özgürlükleri, yani bir grubu hayatta tutan boş komşu noktaları temsil ediyordu. Orta katmanlar, tehlikeyi belirlemek için bilgiyi birbirine bağlı gruplar arasında aktarıyordu.
Son katman, rakibin taşlarını ele geçirme, tehdit altındaki grupları kurtarma, gözleri koruma ve bir grubun yalnızca tek bir özgürlüğü kaldığı durum olan atari'den kaçınma hamlelerine puan verdi. Bu strateji, tekrarlanan oyunlarla öğrenilmek yerine sayısal ağırlıklarla oluşturuldu.
Performans değerlendirmesi yapılmadan Astra'nın ağı, iki küçük PPO ağına karşı oyunlarının yarısından fazlasını kazandı. 50 değerlendirmelik bütçeyle ise 20 milyon oyun üzerinde eğitilmiş aynı boyuttaki bir ağı geride bıraktı. Geri bildirim sayesinde Astra yenilgileri inceleyip oyunu iyileştiren değişiklikleri koruyabildi.
İki zorlu test sınırları ortaya koyuyor
Gemma 3 270M, Qwen'den farklı bir örnek sundu. Tekrarlayan döngülere nadiren giriyordu. Astra bunun yerine aritmetik hataları ve geçersiz cebir adımları dâhil sıradan akıl yürütme yanlışları buldu. Sayılara duyarlı bir nöronun etkisini iki katına çıkarmak gibi küçük düzenlemeler, MATH-500 doğruluğunu en fazla yaklaşık bir yüzde puan artırdı.
Karşılaştırma, uygulamada önemli bir ayrıma işaret ediyor. Tekrarlayan bir davranışı ortadan kaldırmak, modelin zaten sahip olduğu yetenekleri kullanmasını sağlayabilir. Birbirinden farklı çok sayıda matematik hatasını düzeltmek ise ortak tek bir sayısal örüntüyü kaldırmaktan daha kapsamlı bir çözüm gerektiriyor.
Kullanıcı yanlış olsa bile onunla aynı fikirde olma eğilimi olan dalkavukluk, doğrudan incelenmesi zor bir özellik oldu. Araştırmacılar, aynı soru ve yanıt verileriyle iki Gemma 3 270M model çiftini ince ayardan geçirdi. Modellerden biri doğru yanıt vermek üzere, diğeri ise kullanıcının önerilerine katılmak üzere eğitildi.
Astra, yalnızca ağırlıklara bakarak bu modelleri güvenilir biçimde ayırt edemedi. Modellerin yanıtlarını görmeden, kendi yazdığı metin üzerindeki dikkat örüntülerini incelemesine izin verildiğinde üç model çiftinin tamamında dalkavuk modeli doğru belirledi. Bu modeller, orta katmanlarda kullanıcının önerdiği içeriğe daha fazla dikkat ayırıyordu.
Dikkat ölçümleri, metni işlerken modelin işlem kaynaklarının bir kısmını nereye yönelttiğini gösteriyor. Bu yöntemin burada işe yaraması, başarılı teşhiste modelin çalıştırılarak incelenmesini önemli bir unsur hâline getirdi. Aşırı katılım eğilimini saptamak bir görevdi; bu davranışı değiştirmek ise ayrı bir uygulama önerisiydi.
Araştırmacılar sırada neyi test etmek istiyor?
MIT ekibi; model inceleme, hedefli onarım, geleneksel eğitim verisi kullanmadan yetenekleri değiştirme ve farklı mimariler arasında yararlı bileşenleri aktarma gibi olası kullanım alanları görüyor. Modeli doğrudan düzenleme alanında, 2022'de NeurIPS'te sunulan ROME ve 2023'te ICLR'de sunulan MEMIT dâhil, geçmişe uzanan bir araştırma birikimi bulunuyor. Bu çalışma, düzenlemeleri genel amaçlı bir dil modelinin akıl yürüterek kendisinin yapmasını araştırıyor.
Yinelemeli öz iyileştirme de önerilen bir başka yön: Bir yapay zekâ sistemi, sonrasında yeni iyileştirmeler yapma konusunda daha yetkin hâle gelecek bir modeli geliştirmeye yardımcı olabilir. Bu deneylerde görevleri, araçları ve değerlendirme bütçelerini insanlar belirledi; Astra başka ağlar üzerinde çalıştı. Güvenilir bir yinelemeli döngü kurmak için daha fazla deney gerekiyor.
Ekip deney kayıtlarını ve düzenleme çıktılarını yayımladı. Kamuya açık deponun 1.125 model çağrısının kayıtlarını içerdiği belirtildi. Sıradaki adım olarak tutarlı değerlendirme için bir kıyaslama testi ve deney çerçevesi geliştirilmesi planlanıyor. Herhangi bir yayımlanma tarihi verilmedi.
Yapay zekâ uygulamaları geliştirenler için en somut bulgu daha dar kapsamlı ve hemen anlaşılır: Tekrarlayan bir hata modelin yararlı işini tamamlamasını engelliyorsa küçük bir sayısal onarım büyük bir iyileşme sağlayabilir. Gemma ve dalkavukluk sonuçlarının farklılığı, önerilen her onarımın kendine özgü teşhis ve test gerektireceğini gösteriyor.
Öne çıkanlar
- Astra, Qwen'in 131.072 ağırlığını, yani modelin yaklaşık %0,016'sını değiştirdi ve MATH-500 doğruluğunu %7,9'dan %48,1'e çıkardı.
- GSM8K doğruluğu %13,8'den %67,1'e, IFEval puanı ise %21,0'dan %62,3'e yükseldi.
- Temel onarım tekrarlayan çıktıları azalttı; MATH-500'de token sınırına ulaşan yanıtların oranı %93,0'dan %33,1'e düştü.
- Qwen'deki en başarılı girişim, kesinti dâhil 20,3 saat sürdü ve 50 değerlendirme isteği kullandı.
- Astra ayrıca simüle edilmiş bir araba denetleyicisini onardı ve sadeleştirilmiş oyunlar ile Go için ağlar yazdı.
- Gemma'da matematik performansı çok az iyileşirken dalkavukluğu belirlemek için dikkat ölçümleri gerekti.
- Araştırmacılar ağırlık uzayında programlama için bir kıyaslama testi ve test çerçevesi geliştiriyor.






