Daha küçük yapay zekâ modelleri, gelişmiş iş yüklerini tek bir GPU’ya sığdırabilir
Huawei’nin Zürih’teki Hesaplama Sistemleri Laboratuvarı, ekibin büyük dil modellerinin ağırlıkları için gereken belleği yaklaşık yüzde 60 ila 70 azaltırken çıktı kalitesini özgün modele yakın tuttuğunu belirttiği açık kaynaklı SINQ yöntemini tanıttı. Apache 2.0 lisansı altında yayımlanan yöntem, yetenekli modelleri daha uygun fiyatlı donanımlarda çalıştırmayı kolaylaştırmayı amaçlıyor.
İçindekiler
- Daha küçük yapay zekâ modelleri, gelişmiş iş yüklerini tek bir GPU’ya sığdırabilir
- Bellek, yetenekli modelleri çalıştırmayı neden pahalı hâle getiriyor?
- SINQ kalibrasyon aşamasını nasıl ortadan kaldırıyor?
- Eşit dağılmayan ağırlıkları denetlemeye iki yönde ölçekleme yardımcı oluyor
- Sinkhorn normalizasyonu modelin içinde ne yapıyor?
- Hız ve kalite testleri ne gösteriyor?
- Daha küçük ağırlıklar bulut maliyetlerini nasıl düşürebilir?
- Geliştiriciler şimdi neler kullanabilir, neler planlanıyor?
- Dağıtım testleri tüm iş yükünü kapsamalı
- Bu sürüm neden Huawei dışındaki kesimler için de önemli?
- Öne Çıkan Noktalar
SINQ, Sinkhorn Normalized Quantization’ın kısaltmasıdır. Modelin ağırlıklar olarak bilinen öğrenilmiş parametrelerini saklamak için kullanılan bit sayısını azaltıyor ve bu ağırlıkları, temsillerinin küçültülmesinin modelin tahminlerine daha az zarar vereceği şekilde hazırlıyor. Araştırmacılar yöntemi hızlı, kalibrasyon gerektirmeyen ve mevcut model iş akışlarına kolayca eklenebilen bir seçenek olarak sunuyor.
Bildirilene göre, daha önce 60 GB’tan fazla bellek gerektiren bir modelin ihtiyacı yaklaşık 20 GB’a düşebiliyor. Böylece bazı iş yükleri, A100 veya H100 gibi kurumsal GPU’lar gerektirmek yerine 24 GB belleğe sahip tek bir Nvidia GeForce RTX 4090’da çalıştırılabilir hâle geliyor.
Huawei ekibi, modellerin hazırlanmasının da hızlandığını bildiriyor: SINQ, testlerinde modelleri HQQ’dan yaklaşık iki kat, AWQ’dan ise 30 kattan fazla hızlı kuantize ediyor. Modelleri tekrar tekrar hazırlayıp değerlendiren geliştiriciler için daha kısa bir kurulum aşaması, denemeleri kolaylaştırabilir.
10 Ekim 2025 itibarıyla sürüm; uygulama kodunu, popüler model depolarındaki modelleri kuantize etmeye yönelik talimatları ve ortaya çıkan ağırlıkları kaydedip yeniden yükleme araçlarını içeriyor. Yazarlar ayrıca önceden kuantize edilmiş modeller yayımlamayı ve Hugging Face Transformers ekosistemine entegrasyon sağlamayı planlıyor.
Bellek, yetenekli modelleri çalıştırmayı neden pahalı hâle getiriyor?
Büyük dil modellerinin ağırlıklarını bellekte tutmak için önemli miktarda bellek gerekir. Bu ağırlıklar, modelin katmanlarında bulunan öğrenilmiş parametrelerdir ve modelin boyutunun büyük bölümünü oluşturur. Bir GPU’nun belleğine sığmayan model için birden fazla aygıt gerekebilir ya da model, bilgisayarın ana belleği olan daha yavaş ana RAM’e taşınabilir.
Kuantizasyon, ağırlıkları daha az bit kullanarak temsil ederek bu sorunu ele alır. 16 veya 8 bit kullanan kayan noktalı gösterimlerden 4 bit kullanan tamsayılara geçmek bellek ihtiyacını yarıdan fazla azaltabilir. Zorluk, özellikle 8 bitin altına inildiğinde, modelin yararlı yanıtlar üretmeyi sürdürmesi için yeterli sayısal ayrıntıyı korumaktır.
SINQ’ın temel iddiası, 4 bitte güçlü kaliteyi, bazı durumlarda ise 3 bitte bunu korumasıdır. Yazarların test ettiği modeller ve mimariler genelinde bildirilen bellek tasarrufu, tam duyarlıklı ağırlıklara kıyasla yaklaşık yüzde 60 ila 70’tir.
Daha küçük bir model, laboratuvar, girişim veya yapay zekâyı yerel olarak çalıştıran bir kişi için donanım tercihini değiştirebilir. Daha önce üst düzey veri merkezi GPU’larına veya pahalı bulut düğümlerine bağlı olan iş yükleri için iş istasyonu da bir seçenek hâline gelir. Bulut işletmecileri açısından aynı azalma, daha ucuz bir sanal makinenin sürekli çıkarım işini, yani eğitilmiş bir modelin yanıt üretmek için kullanılmasını, üstlenmesini sağlayabilir.
Üretim sırasında bellek kullanımı, aktivasyonları ve anahtar-değer önbelleğini de kapsar. Aktivasyonlar, model bilgiyi işlerken üretilen ara değerlerdir. Önbellek, metin üretimi sırasında kullanılan bilgileri tutar; uzun istemlerde ve uzun çıktılarda bellek ihtiyacı artar. Bir modelin belirli bir GPU’ya sığıp sığmayacağı değerlendirilirken iş yükünün bu bölümleri de önemini korur.
SINQ kalibrasyon aşamasını nasıl ortadan kaldırıyor?
Yaygın kuantizasyon yöntemlerinin çoğu kalibrasyon içerir. Bu hazırlık aşamasında uygun ölçek katsayılarını bulmak için örnek verilerden yararlanılır ve model üzerinde ek geçişler yapılır. Bu katsayılar, hatayı sınırlarken özgün ağırlıkların daha küçük bir sayısal gösterime dönüştürülmesine yardımcı olur.
Kalibrasyon kaliteyi artırabilir; ancak geliştiricilerin bir istem kümesi seçmesi, istatistik toplamak için modeli çalıştırması ve ardından ölçekleri hesaplaması gerekir. Bu süreç zaman alır ve dağıtım iş akışlarına ek iş yükü getirir. Sonuçlar, seçilen istemlerin modelin üretimde karşılaşacağı görevlere ne kadar benzediğinden de etkilenebilir.
SINQ bunun yerine doğrudan ağırlık istatistikleriyle çalışır. Kalibrasyon gerektirmeyen tasarımı, örnek veri kümesine ve buna bağlı model geçişlerine duyulan ihtiyacı ortadan kaldırır. Model hazırlığını otomatikleştiren ekipler için bu, iş akışını basitleştirebilir ve tekrarlanan çalıştırmaları yönetmeyi kolaylaştırabilir.
Yöntem kalibrasyonla da uyumludur. Doğruluğu daha da artırmak isteyen bir proje, önce SINQ’ın ağırlık şekillendirme yöntemini kullanıp ardından kalibrasyon araması ekleyebilir. Böylece geliştiriciler, daha basit hazırlık süreci ile ek bir optimizasyon aşaması arasında seçim yapabilir.
Kullanımdaki LLM kuantizasyonlarının çoğu yalnızca ağırlıklara odaklanır. Aktivasyonları kuantize etmek de mümkündür; ancak bu daha fazla karmaşıklık yaratabilir ve çalışma süresini etkileyebilir. SINQ’ın yaklaşımı, çıkarım sırasında gereken yapının düşük duyarlıkta da korunması için model içindeki öğrenilmiş sayı tabloları olan ağırlık matrislerini hazırlamaya odaklanır.
Eşit dağılmayan ağırlıkları denetlemeye iki yönde ölçekleme yardımcı oluyor
SINQ iki fikri bir araya getiriyor: çift eksenli ölçekleme ve Sinkhorn Knopp’tan esinlenen bir normalizasyon yöntemi. Her ikisi de aynı pratik sorunu ele alıyor. Ağırlık matrisinin bazı bölümlerindeki değerler diğerlerindekilerden çok daha büyük veya düzensiz olabiliyor. Bu da matrisi kayda değer hatalar oluşturmadan sıkıştırmayı zorlaştırıyor.
Geleneksel ölçekleme, bir tensörün, yani sayı koleksiyonunun tamamına tek bir katsayı uygulayabilir ya da kanallar gibi tek bir yönde katsayılar kullanabilir. Çift eksenli ölçekleme ise her ağırlık matrisinin satırları ve sütunları için ayrı vektörler kullanır. Burada vektör, farklı öğeleri farklı satırları veya sütunları denetleyen ölçek katsayıları listesidir.
Her iki yönde çalışmak, yönteme daha hassas denetim sağlar. Aykırı değerler içeren satırları ve değerleri daha geniş aralığa yayılan, yani varyansı daha yüksek sütunları hesaba katabilir. Amaç; kuantizasyon hatasını daha eşit dağıtmak, bu hatadaki keskin sıçramaları azaltmak ve ağırlıkların göreli büyüklüklerini korumaktır.
SINQ önce matrisleri, önemli ilişkiler daha düşük duyarlıklı gösterimde de korunacak şekilde biçimlendirir. Ardından yeniden şekillendirilen ağırlıkları kompakt tamsayı biçimlerine dönüştürür. Yazarlar bunu, farklı donanımlara ve doğruluk hedeflerine yönelik parametreler sunan, model hazırlama sürecine eklenebilen bir adım olarak tanımlıyor.
Sinkhorn normalizasyonu modelin içinde ne yapıyor?
Sinkhorn Knopp, bir matrisi dengelemek için basit normalizasyon adımlarını dönüşümlü olarak uygulayan klasik ve yinelemeli bir yöntemdir. SINQ bu fikri, satırları ve sütunları standart sapmalarına, yani değerlerin ne kadar geniş aralığa yayıldığını gösteren ölçüye göre tekrar tekrar ölçekleyerek uyarlar.
Hedef, her iki yöndeki standart sapmaların dengelenmesidir. Bu nedenle SINQ, klasik yöntemde satır ve sütunların dengelenmesiyle ilişkilendirilen çift stokastik matrisi elde etmeyi amaçlamaz. Model ağırlıklarında odak, değer dağılımını denetleyerek matrisin hiçbir bölümünün kuantizasyon sürecine baskın gelmesini önlemektir.
Her turda satırlar ve sütunlar hedef değerlere yaklaştırılır. Matris bu anlamda dengelendikten sonra kuantizasyon, daha az uç değer içeren bir dağılım üzerinde çalışır. Böylece özgün sayılar daha az bit kullanılarak gösterildiğinde ortaya çıkan yuvarlama hatası azalır.
Yöntem, basit normalizasyonları tekrar tekrar uygular ve uzun kalibrasyon geçişlerine kıyasla çok az ek yük getirir. Çift eksenli ölçeklemeyle birlikte kullanıldığında, her katman için maliyetli bir kalibrasyon veri kümesine gerek kalmadan aykırı değerleri ve yerel dengesizlikleri yönetmeyi sağlar.
Aynı şekillendirme yaklaşımı, sıkıştırılmış gösterimdeki değerler arasında eşit olmayan aralıklar kullanan düzgün olmayan kuantizasyon şemalarıyla da çalışabilir. Doğruluğu daha da artırmayı önceliklendiren projeler, yöntemi kalibrasyonla birlikte de kullanabilir.
Hız ve kalite testleri ne gösteriyor?
Huawei araştırmacıları, ağırlıklar için bellek kullanımının yaklaşık yüzde 60 ila 70 azaldığını ve farklı mimarilerde kalitenin özgün modellere yakın kaldığını bildiriyor. Testlerde kalite; perplexity ve flip rate gibi ölçütlerle değerlendiriliyor.
Perplexity, bir dil modelinin metni ne kadar iyi tahmin ettiğini ölçer. Bu ölçütte düşük değer, daha iyi tahminlere işaret eder. Yazarlar, SINQ’ın kalibrasyon gerektirmeyen diğer temel yöntemlere kıyasla perplexity değerini düşürdüğünü bildiriyor.
Flip rate, kuantizasyondan sonra modelin en yüksek olasılıklı belirtecinin ne sıklıkla değiştiğini ölçer. Belirteç, modelin kullandığı metin birimidir; en yüksek olasılıklı belirteç ise sıradaki birim için ilk tercihidir. SINQ’ın daha düşük flip rate değeri, sıkıştırma sonrasında tahminlerin daha istikrarlı olduğuna işaret ediyor.
Bildirilen hazırlık hızları, modelleri sık değiştiren ekipler için de önem taşıyor. SINQ, testlerde modelleri HQQ’dan yaklaşık iki kat, AWQ’dan ise 30 kattan fazla hızlı kuantize ediyor. Normalde saatler sürebilen bir aşamanın geliştirme döngüsüne sığdırılması böylece kolaylaşabilir.
Model hazırlamakla modelin yanıtlarını sunmak farklı aşamalardır. SINQ’ın daha hızlı kuantizasyonu hazırlık aşamasına yardımcı olur; çıkarım performansı ise sıkıştırılmış ağırlıkları çalıştırmak için kullanılan yazılım ve donanıma bağlıdır. Bu nedenle dağıtım kararı verilirken seçilen sayısal biçimin verimli biçimde desteklenip desteklenmediği de hesaba katılmalıdır.
Daha küçük ağırlıklar bulut maliyetlerini nasıl düşürebilir?
Tek bir GPU’ya sığan model, işi birden fazla aygıta bölmenin getirdiği maliyet ve ağ yükünü ortadan kaldırabilir. SINQ’ın bildirdiği azalmalar, orta ve büyük boyutlu pek çok modeli yeterli belleğe sahip tüketici GPU’larında çalıştırılabilir hâle getiriyor; işletmecilere A100 veya H100 düğümlerinin dışında bir seçenek sunuyor.
Bulut kullanıcıları daha küçük GPU sanal makinelerini tercih edebilir veya her düğümde aynı anda daha fazla model çalıştırabilir. Sohbet asistanları ve yanıt üretmeye yardımcı olmak için erişilen bilgileri kullanan getirim destekli üretim hizmetleri gibi sürekli çalışan iş yüklerinde daha ucuz GPU’lar, haftalar ve aylar içinde binlerce dolarlık tasarruf sağlayabilir.
Laboratuvarlar ve küçük işletmeler de kendi tesislerinde daha küçük kümeler kurmayı değerlendirebilir. Bu, verileri kendi bünyelerinde tutmayı ve kullandıkları yazılım üzerinde denetimi korumayı tercih eden ekipler için yerel çalıştırmayı daha uygulanabilir kılar.
Daha az aygıt, düğümler arası iletişimi ve bilgisayar belleğiyle GPU arasındaki veri aktarımını azaltabilir. Bu değişiklikler, hizmet altyapısını basitleştirirken yanıt sürelerini ve güç tüketimini de düşürebilir. Tasarruf miktarı iş yüküne ve seçilen dağıtım yapılandırmasına bağlıdır.
Çıkarımın daha uygun fiyatlı donanıma taşınması, üst düzey GPU’ları eğitim için de kullanılabilir durumda bırakabilir. Sınırlı sayıda aygıtı paylaşan kuruluşlar için pratik yarar, kıt donanımı hâlâ ihtiyaç duyan işlere ayırabilmektir.
Geliştiriciler şimdi neler kullanabilir, neler planlanıyor?
Apache 2.0 lisanslı sürüm, uygulama kodunu ve popüler model depolarındaki modelleri kuantize etmeye yönelik talimatları sunuyor. Araçlar, kuantize edilmiş ağırlıkların kaydedilmesini ve yeniden yüklenmesini destekliyor; böylece model hazırlığı daha sonraki kullanımdan ayrı yürütülebiliyor.
Değerlendirme kancaları, geliştiricilerin dağıtım öncesinde perplexity ve flip rate değerlerini ölçmesine olanak tanıyor. Sunulan parametreler, her projenin aynı ayarları kullanmasını gerektirmek yerine sürecin donanım kısıtlarına ve istenen doğruluğa göre ayarlanmasına imkân veriyor.
Kendi çıkarım altyapılarını sürdüren ekipler, ağırlıkları kuantize edip sonuçları 4 veya 3 bit kullanan depolama biçimlerini destekleyen çekirdeklerle birleştirerek işe başlayabilir. Çekirdekler, seçilen donanımda hesaplamaları gerçekleştiren rutinlerdir; bu nedenle paketlenmiş ağırlıkları verimli biçimde işleyebilmeleri çalışma süresini etkiler.
Yazarların önceden kuantize edilmiş modeller yayımlama planı, kullanıcıların hazırlık çalışmalarının bir kısmını ortadan kaldırabilir. Hugging Face Transformers ile planlanan entegrasyon ise geliştiricilerin kaydedilmiş bir model sürümü olan kuantize kontrol noktasını alışık oldukları API’ler üzerinden yüklemesine olanak tanıyacak. Planlanan güncellemeler için bir yayımlanma tarihi verilmedi.
Dağıtım testleri tüm iş yükünü kapsamalı
Ağırlıkların sıkıştırılması, çalışan bir yapay zekâ hizmetinin yalnızca bir parçasıdır. Özellikle uzun istemlerde ve uzun üretilmiş yanıtlarda aktivasyonlar ve anahtar-değer önbelleği bellek tüketmeye devam eder. Bazı çalışma ortamları aktivasyon kuantizasyonu ve önbellek sıkıştırma sunar; ancak bu adımların da kendine özgü ödünleşimleri vardır.
Geliştiriciler yalnızca modelin diskteki boyutuna bakmak yerine, sürecin tamamındaki bellek kullanımını ve gecikmeyi ölçmelidir. Belirli bir istem uzunluğunda veya yığın boyutunda sığan bir yapılandırma, daha uzun konuşmaları ya da aynı anda daha fazla isteği işlerken farklı davranabilir.
Çalışma ortamlarının desteği de değişkenlik gösterir. llama.cpp, TensorRT LLM ve vLLM gibi motorlar hızla gelişiyor; ancak her sayısal duyarlık, dikkat çekirdeği ve GPU mimarisi birleşimi için destek aynı olgunlukta değil. Üretim testleri, hedeflenen yapılandırmanın aynısını kullanmalı ve iş hacmini, gecikmeyi ve kararlılığı değerlendirmelidir.
Çok düşük duyarlık, gündelik sohbete kıyasla kod üretimi, araç kullanımı ve yapılandırılmış çıktı gibi görevleri daha fazla zorlayabilir. Perplexity yararlı bir ölçüttür; ancak dağıtım kontrolleri görev doğruluğunu, yanıt biçimini ve güvenliği de kapsamalıdır. Karma duyarlık kullanımı veya hassas katmanları daha yüksek duyarlıkta tutmak, bellek tasarrufunun büyük bölümünü korurken kaliteyi sürdürebilir.
Bu sürüm neden Huawei dışındaki kesimler için de önemli?
Bellek gereksinimleri, pek çok kişinin hangi modelleri çalıştırabileceğini belirlediğinden kuantizasyon, LLM’lerin pratikte dağıtılmasının temel unsurlarından biri hâline geldi. Kalibrasyon gerektirmeyen hızlı ve açık kaynaklı bir yöntem, geliştiricilere bu gereksinimleri azaltmak için yeni bir seçenek sunuyor.
Daha küçük bellek kullanımı eğitim, sivil toplum projeleri ve küçük işletmelerin erişimini genişletebilir. Ayrıca gizliliğe, yerel çalıştırmaya ve yazılım üzerinde denetime önem veren ekipleri desteklerken eğitim ve araştırma için gereken üst düzey GPU’lara olan talebi de azaltabilir.
SINQ; verimli dikkat çekirdekleri, sayfalı anahtar-değer önbellekleri ve optimize edilmiş zamanlayıcılar dâhil olmak üzere diğer hizmet sunma teknikleriyle birleştirilebilir. Bu yöntemler hesaplamaları, önbellek belleğini ve gelen işleri daha verimli yönetir. Birlikte uygulandıklarında, harcanan her dolar başına saniyede daha fazla belirteç üretmeyi amaçlarlar.
SINQ’ın kısa vadeli değeri; daha düşük ağırlık belleğini, daha hızlı hazırlığı ve yazarların özgün modele yakın kaldığını bildirdiği kaliteyi bir araya getirmesidir. Geliştiriciler için bir sonraki pratik adım, bu bileşimi kendi görevleri, bellek gereksinimleri ve çalışma ortamı desteği açısından değerlendirmektir.
Öne Çıkan Noktalar
- Huawei’nin Zürih’teki Hesaplama Sistemleri Laboratuvarı, Sinkhorn Normalized Quantization’ın kısaltması olan SINQ’ı Apache 2.0 lisansı altında tanıttı.
- Yazarlar, ağırlıklar için bellek kullanımının yaklaşık yüzde 60 ila 70 azaldığını; 4 bitte, bazı durumlarda ise 3 bitte yüksek kalitenin korunduğunu bildiriyor.
- SINQ, ağırlık matrislerini kalibrasyon veri kümesi olmadan dengelemek için çift eksenli ölçekleme ve Sinkhorn Knopp’tan esinlenen normalizasyon kullanıyor.
- Bildirilen kuantizasyon hızları HQQ’dan yaklaşık iki, AWQ’dan ise 30 kattan fazla yüksek.
- Testlerde, kalibrasyon gerektirmeyen diğer temel yöntemlere kıyasla daha düşük perplexity ve flip rate değerleri görülüyor.
- 60 GB’tan fazla bellek gerektiren bir modelin ihtiyacı yaklaşık 20 GB’a düşebiliyor; böylece bazı iş yükleri 24 GB belleğe sahip RTX 4090’da çalıştırılabilir hâle geliyor.
- Sürüm; kodu, model hazırlama talimatlarını, kaydetme ve yükleme araçlarını ve değerlendirme kancalarını içeriyor.
- Önceden kuantize edilmiş modeller ve Hugging Face Transformers entegrasyonu planlanıyor; yayımlanma tarihi verilmedi.
- Üretim kontrolleri aktivasyonları, önbellek belleğini, çalışma ortamı desteğini ve hedeflenen görevlerdeki doğruluğu hesaba katmalı.






