1.192 Nvidia H20 GPU’dan 213’e
Alibaba Cloud, Aegaeon adlı yeni bir sistemin, üç aydan uzun süren üretim beta sürecinde onlarca yapay zekâ modeline hizmet vermek için gereken Nvidia H20 grafik işlemcisi sayısını 1.192’den 213’e düşürdüğünü açıkladı. Şirket, 72 milyara kadar parametreye sahip modellerin de yer aldığı sistem filosunun aynı hizmet yükünü karşıladığını bildirdi.
İçindekiler
- 1.192 Nvidia H20 GPU’dan 213’e
- Az Kullanılan Modeller Neden Bu Kadar Fazla Kapasite Tüketiyor?
- Modeller Arasında Geçiş Neden Maliyetli?
- İşleri Tek Tek Belirteç Düzeyinde Planlama
- Belleğin Yeniden Kullanımı Daha Geniş Paylaşımı Mümkün Kılıyor
- Üretim Betası Ne Gösterdi?
- Müşteriler ve Geliştiriciler İçin Neler Değişiyor?
- H20 ve Çin’in Çip Kısıtlamaları Neden Önemli?
- Kaynak Havuzlama Diğer Hizmet Sunma Seçenekleri Arasında Nereye Oturuyor?
- Daha Geniş Kullanıma Geçerken Ele Alınması Gerekenler
- Kısa Bilgiler
Bu, 979 GPU’luk, yani ilk kurulumun yaklaşık yüzde 82’si kadar bir azalma anlamına geliyor. Basitçe söylemek gerekirse Alibaba Cloud, önceden ihtiyaç duyulan hızlandırıcıların yaklaşık beşte biriyle aynı iş yüküne hizmet verdiğini belirtiyor. Pekin Üniversitesi ve Alibaba Cloud’dan araştırma ekibi sonuçları, bilgisayar sistemleri araştırmalarının önde gelen konferanslarından olan İşletim Sistemleri İlkeleri Sempozyumu’nda Seul’de sundu.
Aegaeon, yapay zekâ pazar yerlerinin maliyetli bir özelliğini ele alıyor: Çok az kişi kullanıyor olsa bile birçok modelin erişilebilir durumda tutulması gerekiyor. Popüler modeller düzenli olarak istek alırken diğerleri ara sıra gelen yoğun talep dalgalarını bekliyor. Her model için GPU ayrıldığında, bu pahalı işlem kapasitesinin büyük bölümü atıl kalabiliyor.
Sistem, GPU kaynaklarını modeller arasında havuzda topluyor ve işleri çok daha küçük adımlarla planlıyor. Bildirilen kazanımlar; çiplerin çalışır durumda tutulması, belleğin dikkatli yönetilmesi ve modeller arasında geçişte yaşanan gecikmenin azaltılmasından kaynaklanıyor. Bulut müşterileri için bu değişiklikler daha düşük maliyet, daha fazla kullanılabilir kapasite ve uygulamalar birden fazla farklı modeli çağırdığında daha tutarlı hizmet anlamına gelebilir.
Az Kullanılan Modeller Neden Bu Kadar Fazla Kapasite Tüketiyor?
Alibaba Cloud, pazar yerinde GPU tahsisi ile gerçek talep arasında ciddi bir uyumsuzluk ölçtü: GPU’ların yüzde 17,7’si, isteklerin yalnızca yüzde 1,35’ini karşılayan modellere ayrılmıştı. Bu rakamlar, daha az popüler modellere verilen hizmeti iyileştirmenin, trafik payları küçük olsa bile neden önemli tasarruf sağlayabileceğini gösteriyor.
Bulut sağlayıcıları artık geliştiricilere binlerce model sunuyor. Alibaba’nın Qwen ailesi ve açık model DeepSeek gibi birkaç model trafiğin büyük bölümünü çekiyor. Diğer pek çok model belirli geliştiriciler için yararlı olmayı sürdürse de yalnızca seyrek aralıklarla istek alıyor. Bu durum genellikle talebin uzun kuyruğu olarak adlandırılıyor: Daha az kullanılan çok sayıda hizmet, popüler olan daha küçük bir grubun gerisinde yer alıyor.
Geleneksel hizmet sistemleri, her model örneğine tam GPU’lar veya bunların büyük bölümlerini ayırıyor. Örnek, istek kabul edebilen çalışan bir model kopyasıdır. Talep düştüğünde ayrılan kapasite yeterince kullanılmayabilir. Talep aniden yükselip hazır kopya sayısı yetersiz kaldığında ise platformun yeni örnekler başlatması gerekir. Bu da yükleme gecikmelerine yol açar ve geçiş sırasında tamamlanan iş miktarını azaltır.
Alibaba Cloud, Aegaeon’u büyük dil modeli iş yüklerini eşzamanlı olarak daha az kaynak israfıyla sunmanın bir yolu olarak tanımlıyor. Ekip, modeller arasında planlama, bellek yönetimi ve daha hızlı geçişi bir araya getiren sistemin verimi artırdığını, kuyrukları kısalttığını ve az kullanılan hizmetlere bağlı kalan çip sayısını düşürdüğünü söylüyor. Verim, bir sistemin belirli bir sürede tamamladığı iş miktarını ifade ediyor.
Modeller Arasında Geçiş Neden Maliyetli?
Büyük bir dil modelinin yanıt üretmesi için temel programından fazlası gerekir. Yanıtları şekillendiren öğrenilmiş değerler olan ağırlıklarının GPU belleğinde bulunması gerekir. Sistem, üretim sırasında daha önce işlenen veya üretilen belirteçlerle ilişkili ara bilgileri saklayan anahtar-değer önbelleğini de tutar. Belirteçler, modelin üzerinde çalıştığı küçük metin birimleridir.
Ağırlıkların depolamadan veya ağ üzerinden yüklenmesi zaman alır. Önbelleğin hazırlanması da zaman alır. Geleneksel düzenlerde, GPU’nun hizmet verdiği modeli değiştirmek için pahalı boşaltma ve yeniden yükleme işlemleri gerekebilir; bu da kaynakların sık paylaşılmasını cazip olmaktan çıkarır. Hızlandırıcıların genellikle tek bir modele, en fazla da az sayıda modele ayrılmasının nedenlerinden biri budur.
Aegaeon bu geçişlerin maliyetini düşürmeyi amaçlıyor. Bileşenleri yeniden kullanıyor, belleği açıkça yönetiyor ve modeller arasında iş geçişi yaparken anahtar-değer önbelleğini ayrıntılı düzeyde koordine ediyor. Yararlı verilerin bellekte hazır tutulması, tekrar tekrar yükleme ihtiyacını azaltıyor ve GPU’nun yanıt üretmeye daha fazla zaman ayırmasını sağlıyor.
İşleri Tek Tek Belirteç Düzeyinde Planlama
Aegaeon’un temel fikri, kapasiteyi belirteç düzeyinde ayarlamak. Tüm bir isteğin tamamlanmasını beklemek veya talep değiştiğinde yeni bir tam model örneği başlatmak yerine zamanlayıcısı, üretimin tek tek adımları hakkında karar veriyor. Böylece sistem, kullanılabilir GPU süresini paylaşmak için daha fazla fırsat buluyor.
Bir GPU bir modele hizmet vermeye başlayabilir, ardından kapasite oluştuğunda başka bir model için belirteç üretimini planlayabilir. Aegaeon; gruplama ve GPU’ya hesaplama grupları gönderen işlemler olan çekirdek başlatmalarını koordine ederken farklı kullanıcılar ve modeller için işleri iç içe yürütüyor. Amaç, yanıt gecikmelerini sıkı bir sınırda tutarken saniyede daha fazla yararlı işi tamamlamak.
Bu yaklaşım, platforma yeni kopyalar başlatmadan talepteki ani değişikliklere yanıt verme olanağı da sağlıyor. Az kullanılan bir modele, başka bir modelde boş kapasite oluştuğu sırada istek gelirse zamanlayıcı bu isteklere daha küçük iş dilimleri ayırabiliyor. Bunun faydası, yanıt hızını koruyacak kadar hızlı geçiş yapılmasına bağlı.
Makale, Aegaeon’un alternatif kaynak havuzlama sistemlerinin karşıladığı isteğe geliş hızlarının 2 ila 2,5 katını sürdürülebilir biçimde karşıladığını bildiriyor. Ayrıca 1,5 ila 9 kat daha fazla faydalı iş hacmi elde edildiği belirtiliyor. Faydalı iş hacmi, hizmet hedeflerini karşılarken tamamlanan yararlı işi ifade ediyor; dolayısıyla ek işlem kapasitesinin gerekli süre içinde yanıt üretip üretmediğini gösteriyor.
Belleğin Yeniden Kullanımı Daha Geniş Paylaşımı Mümkün Kılıyor
Araştırmacılar, basit yaklaşımlara kıyasla otomatik ölçekleme yükünün yüzde 97 azaldığını bildiriyor. Otomatik ölçekleme, talep değiştikçe işlem kapasitesinin ayarlanmasıdır. Aegaeon’da bu ayarlamalarla ilişkili bellek ve önbellek işlerini azaltmak, sık değişiklikleri uygulanabilir kılmanın temelini oluşturuyor.
Alibaba Cloud ayrıca sistemin modeller arasında geçişteki gecikme cezasını yüzde 97 azalttığını bildiriyor. Gün boyunca isteklerin yoğun kullanılan modellerle yalnızca ara sıra çağrı alan hizmetler arasında değişebildiği bir pazar yerinde bu önemli. Geçiş maliyetinin düşük olması, kullanıcıları tekrarlanan yükleme beklemelerine maruz bırakmadan bir çipin paylaşılmasını kolaylaştırıyor.
Bildirilen koşullarda tek bir hızlandırıcı aynı anda yedi modele kadar destek sağladı. Önceki sistemler, ek geçişler, önbellek kaçırmaları ve dengesiz yanıt süreleri kazanımları aşındırmadan önce genellikle bir GPU’da yalnızca iki veya üç modeli havuzda topluyordu. Önbellek kaçırması, gereken bilginin sistemin beklediği yerde hazır olmaması ve yeniden getirilmesi ya da oluşturulması gerekmesidir.
Aegaeon’un bellek yeniden kullanımı ve önbellek koordinasyonu, birden fazla modeli sürekli yeniden yüklemeye gerek kalmadan hazır tutmak üzere tasarlandı. İki veya üç modelden yediye kadar çıkıldığına ilişkin bildirim, zamanlayıcıya daha geniş bir iş seçeneği sunuyor. Böylece hizmet kalitesi hedefleri korunurken aksi hâlde kullanılmayacak GPU süresi değerlendirilebiliyor.
Üretim Betası Ne Gösterdi?
Alibaba Cloud, betanın model pazar yerinde üç aydan uzun sürdüğünü ve boyutları 72 milyar parametreye ulaşan onlarca modele hizmet verdiğini belirtiyor. Parametreler, bir modelin içindeki öğrenilmiş değerlerdir. Parametre sayısı arttıkça, modele hizmet verirken barındırılması gereken model verisi de genellikle artar.
Pazar yeri, Aegaeon’u eşzamanlı istekler, farklı istek boyutları ve geniş bir model yelpazesiyle sınadı. Şirket, bu ortamda aynı hizmet yükü için gereken H20 GPU sayısının 1.192’den 213’e düştüğünü bildiriyor. Şirket bu düşüşü, hızlandırıcıların daha yoğun kullanılması, nadiren kullanılan hizmetlerdeki atıl kapasitenin azalması ve popüler modellerin hızlı yanıt vermesini sağlayan daha ayrıntılı planlamayla açıklıyor.
Pekin Üniversitesi ve Alibaba Cloud’dan araştırma ekibi, eşzamanlı model hizmeti sunmanın maliyetini makalenin temel bulgularından biri olarak tanımladı:
Aegaeon, piyasada eşzamanlı büyük dil modeli iş yüklerine hizmet vermenin aşırı maliyetlerini ortaya koyan ilk çalışmadır.
Ekibin savı, GPU’ları talebi seyrek olan modellere tahsis etmenin önemli miktarda kapasiteyi kullanılmadan bıraktığı yönünde. Aegaeon, özellikle bu pazar yeri düzenine yönelik planlama ve bellek yönetimini bir araya getiriyor. Üretim ortamında bildirilen tasarruflar ve deneylerde elde edilen performans kazanımları birbiriyle bağlantılı faydaları gösteriyor: Belirli bir hizmet yükü için daha az çip kullanılması ve mevcut kapasiteden daha fazla yararlı iş çıkarılması.
Müşteriler ve Geliştiriciler İçin Neler Değişiyor?
Aynı hacimde yanıt sunmak için daha az GPU gerekiyorsa bulut müşterileri bundan yarar sağlayabilir. Daha düşük kaynak ihtiyacı, fiyatların düşmesine, kullanım kotalarının yükselmesine ve performansın daha öngörülebilir olmasına olanak tanıyabilir. Alibaba Cloud’un açıklamasında müşterilere yönelik fiyat değişikliklerine veya daha geniş çaplı kullanıma geçiş tarihlerine yer verilmiyor.
Mevcut trafiği önceki hızlandırıcı filosunun yaklaşık beşte biriyle karşılayabilen bir sağlayıcı, boşta kalan kapasiteyi yoğun talebi karşılamak veya yeni kurulumlara yer açmak için kullanabilir. Bu da GPU erişiminin, müşterilerin hizmetleri ne hızla başlatabileceğini sınırladığı durumlarda bekleme listelerini kısaltabilir.
Uygulamaları birden fazla modeli bir araya getiren geliştiriciler de trafik model uç noktaları arasında kaydığında daha az gecikmeyle karşılaşabilir. Daha hızlı geçiş ve daha az kopya değişimi, soğuk başlangıçlarla ilişkili darboğazları azaltabilir. Soğuk başlangıç, bir hizmetin istekleri karşılamak için yüklenip hazırlandığı süredir.
Paylaşılan kaynaklar yine de dikkatli denetim gerektirir. Bir müşterinin iş yükü başka bir müşterinin hizmetini aksatmamalı veya verilerini açığa çıkarmamalıdır. Yoğun kullanılan modellerin hızlı yanıt vermesini sağlarken daha az kullanılan modellerin de ilerleme kaydetmesi için planlama, önceliklerle adaleti dengelemelidir. Makaleye göre Aegaeon’un belirteç düzeyindeki kararları, hizmet kalitesi hedefleri gözetilerek tasarlandı.
Bulut işletmecilerinin kaynak havuzlamayı genişletirken izleme ve hız sınırlaması uygulaması da gerekir. Hız sınırlaması, hizmet kalitesini korumak gerektiğinde gelen iş miktarını kısıtlar. İzleme, en yavaş isteklerin yaşadığı gecikmeleri ifade eden kuyruk gecikmesini takip etmelidir; çünkü ortalama yanıt süresi iyi olsa bile bazı kullanıcılar rahatsız edici beklemeler yaşayabilir.
H20 ve Çin’in Çip Kısıtlamaları Neden Önemli?
Nvidia, H20’yi ABD’nin ihracat kısıtlamalarına uymak üzere Çin pazarı için tasarladı ve birçok Çinli bulut sağlayıcısı çıkarım işlemlerinde bu çipe güveniyor. Çıkarım, daha önce eğitilmiş bir modelin isteği işleyip yanıt ürettiği aşamadır. Aegaeon’un bildirdiği tasarruflar da bu hizmet sunma sürecine ilişkin.
Gelişmiş hızlandırıcıların arzı dünya genelinde sıkı biçimde kısıtlı ve Çin’i etkileyen ihracat denetimlerine tabi. Huawei ve Cambricon dahil Çinli şirketler yerli alternatiflere yatırım yapıyor. Mevcut GPU’ların daha fazla yararlı iş yapmasını sağlayan yazılımlar, işlem kapasitesinin pahalı olduğu her yerde değer taşıyor. En gelişmiş çiplere erişimi kısıtlanan sağlayıcılar için bu özellikle önemli.
Nvidia yönetimi, politika kısıtlamaları nedeniyle yakın vadeli finansal öngörülerinin Çin’in gelişmiş çip segmentinden çok az veya hiç gelir elde edilmeyeceğini varsaydığını söyledi. Bu ortamda, kurulu donanımın daha verimli kullanılması büyük bulut sağlayıcılarına, önde gelen hızlandırıcıların arzı kısıtlı kalırken hizmetlerini genişletmek için başka bir yol sunuyor.
Kaynak Havuzlama Diğer Hizmet Sunma Seçenekleri Arasında Nereye Oturuyor?
Ayrılmış GPU örnekleri, çok yüksek hacimde istek alan uç noktalar veya sıkı yalıtım gerektiren iş yükleri için uygun olmaya devam ediyor. Sürekli yoğun kullanılan bir model, kendisine ayrılan kapasiteden zaten iyi yararlanıyor olabilir. Aegaeon’un en güçlü olduğu durumlar, talebin çok sayıda model arasında değiştiği ve ayrılmış kaynakların çipleri iş bekler hâlde bıraktığı senaryolar.
Sunucusuz çıkarım, az trafik alan modeller için başka bir yaklaşım sunuyor: Platform, istek geldiğinde tam model kopyaları başlatıyor. Bu yöntem, model atılken kaynak tasarrufu sağlayabilir ancak kopyaların başlatılması gecikmeye yol açar. Kullanıcılar, model verisi yüklenirken ve hizmet hazır hâle gelirken beklemek zorunda kalabilir.
Aegaeon bu iki yaklaşımın arasında yer alıyor. Kapasiteyi havuzda topluyor, modelleri hazır tutuyor ve işleri küçük adımlarla tahsis ediyor. Önceki kaynak havuzlama sistemlerine kıyasla bildirdiği avantaj, geçiş maliyetlerini düşürüp önemli veri yapılarını modeller arasındaki geçişlerde hazır bulundurmasından kaynaklanıyor. Böylece daha fazla model, yanıt süresinde büyük bir ceza oluşmadan aynı hızlandırıcıyı paylaşabiliyor.
Her ek model yine de daha fazla geçişe, önbellek kaçırmasına ve yanıt süresinde değişkenliğe yol açabilir. Bu nedenle GPU başına yedi modele kadar destek sağlandığı yönündeki bildirim, test edilen koşullara ve sistemin bellek ile planlama tasarımına bağlı. Kapasitenin nasıl tahsis edileceğini belirlemede iş yükü talebi ve hizmet gereksinimleri önemini koruyor.
Daha Geniş Kullanıma Geçerken Ele Alınması Gerekenler
Beta, Alibaba Cloud’un tüm hizmet ağı yerine model pazar yerini kapsadı. Aegaeon’un daha fazla bölgeye veya başka ürünlere yayılması farklı işletim koşullarını beraberinde getirir. Örneğin kurumsal müşterilere ayrılmış kümeler ve müşterilerin kendi tesislerindeki kurulumlar farklı kapasite ve hizmet kısıtları getirebilir.
Daha uzun bağlam uzunlukları ile dili görüntü veya sesle birleştiren modeller de bellek ve önbellek politikalarını zorlayabilir. Bağlam uzunluğu, bir modelin istek kapsamında işlediği bilgi miktarıdır. Bu miktar arttıkça sistem, iş yükleri arasında verimli geçiş yapmayı sürdürürken daha fazla çalışma verisini yönetmek zorunda kalır.
Farklı hızlandırıcı türleri ve birden fazla işlem düğümü arasında paylaşım da başka bir araştırma alanı. İletişim maliyetleri düşük kaldığı ve veriler öngörülebilir konumlarda tutulduğu sürece bir zamanlayıcı, birbirine bağlı bir GPU grubunun kaynaklarını havuzda toplayabilir. Bilgilerin çipler arasında taşınması, yanıt süresi hedefleri içinde kalması gereken ek bir iş yükü oluşturur.
Yayımlanan sonuçlar, test edilen kurulumda tek tek hızlandırıcılardaki işlerin paylaşılmasından önemli kazanımlar elde edildiğini gösteriyor. Uygulamaya yönelik mesaj somut: Çok sayıda modele verimli biçimde hizmet vermek için sağlayıcının sahip olduğu GPU sayısının yanı sıra atıl kaynak tahsislerine, belleğin taşınmasına ve planlamanın en küçük yararlı birimlerine de dikkat etmek gerekiyor.
Kısa Bilgiler
- Alibaba Cloud, Aegaeon’un test edilen pazar yeri kurulumunda Nvidia H20 GPU sayısını 1.192’den 213’e düşürerek 979 çip tasarrufu sağladığını, bunun da yaklaşık yüzde 82’lik bir azalmaya karşılık geldiğini belirtiyor.
- Üretim betası üç aydan uzun sürdü ve 72 milyara kadar parametreye sahip modellerin de aralarında bulunduğu onlarca modele hizmet verdi.
- Pekin Üniversitesi ve Alibaba Cloud’dan araştırma ekibi sonuçları Seul’deki İşletim Sistemleri İlkeleri Sempozyumu’nda sundu.
- Alibaba Cloud, pazar yerindeki GPU’ların yüzde 17,7’sinin isteklerin yalnızca yüzde 1,35’ini karşılayan modellere hizmet verdiğini ölçtü.
- Aegaeon işleri belirteç düzeyinde planlıyor; geçiş maliyetlerini azaltmak için bellek yeniden kullanımından ve anahtar-değer önbelleği koordinasyonundan yararlanıyor.
- Araştırmacılar otomatik ölçekleme yükünün yüzde 97 azaldığını ve bildirilen koşullarda hızlandırıcı başına yedi modele kadar destek sağlandığını bildiriyor.
- Deneylerde, alternatif kaynak havuzlama sistemlerine kıyasla sürdürülebilir istek geliş hızının 2 ila 2,5 katına, faydalı iş hacminin ise 1,5 ila 9 katına ulaşıldığı bildirildi.
- Sonuçlar Alibaba Cloud’un pazar yeri betasına ilişkin; daha geniş çaplı kullanım ve diğer ortamlardaki performansın ise ayrıca değerlendirilmesi gerekiyor.






