Samsung, sunucu belleğini daha verimli kullanarak yapay zekâda token başına maliyeti düşürmeyi hedefliyor

9 dakikalık okuma
Samsung targets lower AI token costs by making server memory work harder

GPU eklemeden daha fazla yapay zekâ talebi

Samsung Electronics, sunucuların belleği nasıl paylaştırdığını ve verileri işlemciler arasında nasıl taşıdığını değiştirerek yapay zekâ sunucularının aynı anda daha fazla talebi karşılamasını sağlayan bir yöntem geliştirdi. Yayımlanan patent başvurusu, büyük bir dil modelinin hangi talepleri önce işleyeceğine karar verirken bekleme sürelerini, veri aktarım maliyetlerini ve gelecekteki bellek ihtiyaçlarını dikkate alan bir yazılımı açıklıyor.

İçindekiler
  1. GPU eklemeden daha fazla yapay zekâ talebi
  2. Bellek yanıtı neden geciktirebilir?
  3. Patentli zamanlama yöntemi nasıl çalışıyor?
  4. Samsung'un depolama boşaltma testinde ölçtükleri
  5. Daha hızlı başlangıç ve daha fazla metin üretimi
  6. Ek depolama ne zaman maliyetini karşılıyor?
  7. Enerji tasarrufu soğutma fanlarını da kapsıyor
  8. Depolama yoğun veri akışlarını karşılamalı
  9. Samsung SDS hesaplamayı belleğe taşıyor
  10. Öne Çıkanlar

Hedef, grafik işlem birimi (GPU) belleği dolduğunda yaşanan gecikmeleri azaltarak mevcut sunucuların daha fazla kişiye hizmet vermesini sağlamak. Samsung, buluşu belirli bir tüketici ürününe yönelik bir özellikten ziyade yapay zekâ çıkarımına yönelik bir altyapı teknolojisi olarak tanımlıyor. Yapay zekâ çıkarımı, eğitilmiş bir modelin soruları yanıtlamak üzere çalıştırılması sürecidir.

Samsung'un bu konudaki diğer araştırmaları, daha iyi bellek yönetiminin sağlayabileceği olası tasarruflara somut bir örnek sunuyor. Sekiz NVIDIA H100 NVL GPU ve on Samsung katı hâl sürücüsü kullanılan ayrı bir depolama deneyinde Samsung, aynı anda 240 kullanıcıya kadar ilk çıktı token'ının gelmesini bir saniyenin altında tuttu. Depolama boşaltma kullanılmadığında bu bekleme süresi 140 kullanıcının üzerinde artmaya başladı.

Patent, depolama deneyi ve Samsung SDS'nin başka bir projesi aynı sorunun farklı yönlerini ele alıyor: Maliyetli yapay zekâ işlemcileri bilgileri taşımak veya yeniden oluşturmak için gereğinden fazla zaman harcayabiliyor. Bu iş yükünü azaltmak, işletmecilere mevcut ekipmanla daha fazla yanıt sunma ve dil modellerinin işleyip ürettiği küçük metin parçaları olan her token'ın maliyetini düşürme olanağı sağlayabilir.

Bellek yanıtı neden geciktirebilir?

GPU, aynı anda çok sayıda hesaplama yapabildiğinden yapay zekâ yanıtları üretmek için kullanışlıdır. Ancak hızlı yerel belleğinin kapasitesi sınırlıdır. Özellikle kullanıcılar uzun belgeler gönderdiğinde veya uzun yanıtlar gerektiren sorular sorduğunda, birden fazla görüşme bu alan için yarışır.

Dil modelleri, önceki hesaplamaların geçici kayıtlarını anahtar-değer önbelleği adı verilen ve genellikle KV önbelleği olarak kısaltılan bir yapıda tutar. Bunu çalışma notları gibi düşünebilirsiniz: Bu notları saklamak, modelin daha önce işlediği her şeyi tekrar tekrar hesaplamadan yanıtı sürdürmesini sağlar.

Reklam

Samsung'un depolama deneyinde her oturum için yaklaşık 3 GB KV önbelleği gerekti. 240 oturumda iş yükü genelinde yaklaşık 720 GB önbellek verisi oluşuyor. Bu rakam, ciddi bir işlem gücü kurulu olsa bile çok sayıda kişiye hizmet vermenin neden bir bellek sorununa dönüşebileceğini açıklıyor.

Hızlı GPU belleği yetersiz kaldığında sunucu, bazı verileri merkezi işlem birimiyle (CPU) ilişkili belleğe taşıyıp gerektiğinde geri getirebilir. Bu aktarımlar zaman alır. Atılan hesaplamaları yeniden yapmak da kaynak tüketir. Samsung'un patenti, bu rekabeti daha dikkatli yönetmeye odaklanıyor.

Patentli zamanlama yöntemi nasıl çalışıyor?

Method and Server for Processing Multiple User Requests of a Large Language Model başlıklı Samsung başvurusu, her talebe hizmet vermenin maliyetini dikkate alan bir zamanlayıcıyı açıklıyor. Bu maliyetin hesaplanmasında kullanıcının ne kadar süredir beklediği, veri aktarımının ne kadar zaman alacağı ve talebin ne kadar belleğe ihtiyaç duyacağı gibi unsurlar yer alıyor.

Sunucu, bu hesaplamalara göre işlem sırasını belirliyor. Bu önemli; çünkü çalıştırılmaya hazır görünen bir talep önce kapsamlı bir veri aktarımı gerektirebilirken, başka bir talep yakındaki verileri kullanabilir. Bu tercihlerin eşgüdümlü biçimde yapılması, belleği yeniden düzenlemek için harcanan zamanı azaltabilir.

Yöntem, daha önce CPU belleğine taşınan bilgilerin hâlâ orada olup olmadığını da kontrol ediyor. Kullanılabilir bir kopya varsa sunucu her şeyi yeniden kopyalamak yerine yalnızca gerekli bölümleri taşıyabilir. Ayrıca GPU bir kullanıcının yanıtını üretirken başka bir kullanıcının verilerini aktarabilir; böylece yararlı işlem ve hazırlık işleri eş zamanlı yürütülebilir.

Samsung, belleğin kısmen kullanılabilir olduğu durumları da ele alıyor. Yeni bir talep beş birim alan gerektiriyor ancak yalnızca üç birim boşsa sistem, beş birimin tamamını beklemek yerine sığan kısmı işleme alabilir. Pratik hedef, yoğun dönemlerde sınırlı kaynakları verimli kullanmaya devam etmek. Bu patentli yöntemin ticari olarak kullanıma sunulmasına ilişkin ayrıntılar ile yanıt süresi ve işlem hacmindeki ölçülmüş iyileşmeler açıklanmadı.

Reklam

Samsung'un depolama boşaltma testinde ölçtükleri

Samsung Electronics'in KV önbelleği teknik incelemesi farklı bir yaklaşımı ele alıyor: Yeniden kullanılabilir önbellek verilerini NVMe katı hâl sürücülerinde saklamak. NVMe, depolama aygıtlarının PCIe bağlantıları üzerinden bilgisayarla hızlı iletişim kurmasını sağlayan bir teknolojidir.

Testte sekiz NVIDIA H100 NVL GPU, paralel çalışan sekiz LLaMA-3.1 8B çıkarım hizmeti, vLLM hizmet yazılımı ve yeniden kullanılabilir KV önbellek verilerini yöneten açık kaynaklı bir katman olan LMCache kullanıldı. On Samsung PM1753 sürücüsü, aktarım performansını artırmak amacıyla verileri sürücülere dağıtan RAID-0 dizisinde birleştirildi.

Samsung, kullanıcı yükünü 20'şer kişilik artışlarla ölçerek aynı anda 280 kullanıcıya ulaştı. Her kullanıcı 20 saniyede bir sorgu gönderdi; böylece saniyede bir ila 14 sorgu arasında değişen bir iş yükü oluştu. Dolayısıyla deney, tekrarlanan talepler ve önbellek hareketleri için belirli bir kullanım düzenini test etti.

Bir oturum GPU'lar arasında taşındığında depolama yaklaşımı işe yarıyor. Hedef GPU, uzun bir istemin ilk işlemesini tekrarlamak yerine kaydedilmiş hesaplamaları yeniden yükleyebiliyor. Tek bir makine içinde harici önbellek CPU belleğinde veya depolama biriminde tutulabiliyor. Makineler arasında ise Samsung, önbelleğin ilgili sunucuların erişebileceği ortak bir kaynakta tutulması gerektiğini belirtiyor.

Daha hızlı başlangıç ve daha fazla metin üretimi

Samsung, hizmet performansının iki yönünü ölçtü: ilk token'a kadar geçen süre ve saniye başına token sayısı. İlk ölçüm, yanıt görünmeye başlamadan önce kişinin ne kadar beklediğini gösteriyor. İkincisi ise sistemin zaman içinde ne kadar metin ürettiğini ölçüyor.

Depolama boşaltma etkinleştirildiğinde test, aynı anda 240 kullanıcıya kadar ilk token'a ulaşma süresini bir saniyenin altında tuttu. Boşaltma kullanılmadığında gecikme 140 kullanıcının üzerinde artmaya başladı. Samsung bunu, benzer gecikme düzeyinde 1,7 kat daha fazla kullanıcıya hizmet verilmesi olarak tanımlıyor. Boşaltma kullanılan yapılandırmada 20 ila 140 kullanıcı aralığında ilk bekleme süresi yaklaşık yarım saniye oldu.

240 kullanıcıda depolama boşaltma kullanan sistem yaklaşık 1,5 kat daha fazla çıktı token'ı üretti. Boşaltma kullanmayan yapılandırma yaklaşık 160 kullanıcıda doygunluğa ulaşmaya başlarken, kaydedilmiş önbelleği yeniden kullanan sistem talep arttıkça çıktı miktarını artırmayı sürdürdü.

Reklam

Samsung, bu kazanımı istemlerin tekrar tekrar işlenmesinin azalmasına bağlıyor. Dil modeli önce girdiyi işler; bu aşamaya ön doldurma (prefill) denir. Ardından çözümleme (decode) adı verilen aşamada yanıtını token token üretir. Kaydedilmiş hesaplamaları yeniden kullanmak, yanıt üretimi için GPU kapasitesinin daha büyük bölümünü kullanılabilir kılar.

Ek depolama ne zaman maliyetini karşılıyor?

Samsung'un maliyet analizi, yoğun talep altında verimliliği artırsa bile ek donanımın bir maliyeti olduğunu gösteriyor. Aynı anda sıfır ila 160 kullanıcı aralığında iki yapılandırma da benzer token işlem hacmi sağlarken, NVMe bileşenlerinin eklenmesi nedeniyle boşaltma kullanılan yapılandırmanın maliyeti yaklaşık yüzde 4 daha yüksek oldu.

180 kullanıcının üzerinde daha yüksek çıktı, ek depolama maliyetini telafi etti. Samsung'un hesaplamasına göre 240 kullanıcıda işletme süresi üç yıl olarak alındığında dolar başına saniyede üretilen token sayısıyla ölçülen maliyet verimliliği yaklaşık 1,5 kat arttı.

Başka bir ifadeyle, dolar başına çıktının 1,5 kat artması bu hesaplamada çıktı birimi başına maliyetin yaklaşık üçte bir azalmasına karşılık geliyor. Karşılaştırma, Samsung'un test ettiği ekipman ve iş yüküyle sınırlı. Bir hizmetin gerçek maliyetleri ayrıca modeline, görüşme uzunluklarına, trafiğine ve ekipman fiyatlarına bağlı.

Bu nedenle bulut işletmecileri için pratik tercih, talebin düzeyine göre değişiyor. Mevcut GPU kapasitesi iş yükünü rahatça karşılıyorsa ek depolama ilk maliyeti artırabilir. Süregelen yoğunluk dönemlerinde önbelleği yeniden kullanmak, yeni bir sunucu gerekmeden aynı GPU kurulumunun daha fazla iş yükünü desteklemesini sağlayabilir.

Enerji tasarrufu soğutma fanlarını da kapsıyor

Samsung, depolama deneyinde daha düşük elektrik tüketimi de ölçtü. 240 kullanıcıda watt başına performans yaklaşık 2,9 kat arttı. Toplam sistem gücü, boşaltma kullanılmayan yapılandırmanın yaklaşık yüzde 53'üne indi; bu da yaklaşık yüzde 47'lik bir azalmaya karşılık geliyor.

Teknik incelemeye göre ek NVMe sürücüleri güç tüketimini yaklaşık yüzde 6 artırdı. Ancak GPU ve soğutma gereksinimlerindeki düşüş bu artışı fazlasıyla telafi etti. İş yükü yoğun ön doldurma hesaplamalarının tekrarından uzaklaştıkça Samsung, GPU kullanım oranının yaklaşık yüzde 49 olduğunu kaydetti.

Reklam

Soğutma fanlarında da aynı değişim görüldü. Boşaltma kullanılmadığında tüm sistem fanları beklenen en yüksek hızları olan dakikada 15.000 devirde çalıştı. Boşaltma kullanıldığında CPU, bellek ve depolama birimlerine hizmet veren fanlar dakikada yaklaşık 7.800 devirde, GPU tarafındaki fanlar ise yaklaşık 9.800 devirde çalıştı.

Sonuç, bir bileşenin yerel olarak elektrik talebini artırırken sunucu genelindeki tüketimi nasıl azaltabileceğini gösteriyor. Bu deneyde kaydedilmiş hesaplamaları geri getirmek için enerji harcanması, hesaplamaları yeniden yapmanın ve ortaya çıkan ısıyı gidermenin daha yüksek enerji maliyetini düşürdü.

Depolama yoğun veri akışlarını karşılamalı

Samsung'un ölçümleri, bu yaklaşımın yalnızca boş sürücü kapasitesi gerektirmediğini de gösteriyor. Depolama sistemindeki toplam ortalama aktarım hızı saniyede 37 GB'a kadar ulaştı; GPU'lardan gelen eş zamanlı talepler ise tepe talebini ortalamanın neredeyse iki katına çıkarabildi.

İşlemdeki depolama işlemlerinin sayısı genellikle 160 civarındaydı, ancak zaman zaman 800'e çıkabiliyordu. Samsung, bu ani yükleri karşılayıp yanıt hızını korumak için depolama bant genişliğinin ortalama gereksinimin en az iki katı olmasını öneriyor.

PM1753'ün teknik özelliklerinde sıralı aktarım hızı saniyede 14,5 GB'a, rastgele okuma işlemi hızı ise saniyede 3,3 milyon işleme kadar veriliyor. Test edilen iş yükünde depolama etkinliğinin yaklaşık yüzde 92'si okuma, yüzde 8'i yazma işlemlerinden oluştu. LMCache, yaklaşık 33 MB'lık büyük önbellek bloklarını taşıdı.

Aynı anda büyük blokları okuyan birden fazla hizmet, iç içe geçmiş bir talep akışı yaratabilir. Bu nedenle depolama alt sistemi, çok sayıda kullanıcı aynı anda etkinleştiğinde aktarım performansını korumalı. Önbellek kapasitesi, aktarım hızı ve zamanlama, kaydedilmiş bilgilerin yararlı olacak kadar hızlı biçimde GPU'ya ulaşıp ulaşmayacağını birlikte belirliyor.

Samsung SDS hesaplamayı belleğe taşıyor

Samsung SDS, veri hareketini başka bir yolla ele alıyor. IEEE HPCA 2025'te sunulan PIM-Accelerated Inference Scheduling Engine adlı sistem, PAISE araştırma yazısında anlatılıyor. PAISE, bazı hesaplamaların verinin saklandığı yerde yapılabilmesi için hesaplama birimlerini bellek yongalarının içine yerleştiren bellek içi işlemeyi (PIM) kullanıyor.

Samsung SDS sistemi Samsung'un Aquabolt-XL PIM donanımı üzerinde uygulayıp doğruladı ve GPT-2, OPT ile Llama2 modelleri üzerinde değerlendirdi. Şirket, çıkarım hızında yüzde 48,3'e varan artış ve güç tüketiminde yaklaşık yüzde 11,5 azalma bildiriyor.

Reklam

PAISE, hangi işlemlerin bellekte yürütülmesi gerektiğine karar veriyor ve verileri donanıma uygun şekilde düzenliyor. Ayrıca küçük dikkat hesaplamalarını gruplandırarak paralel biçimde daha verimli yürütülmelerini sağlıyor. Samsung SDS, KV önbellek güncellemelerinin hızlandığını ve birlikte işlenen talep gruplarını ifade eden daha büyük toplu iş boyutlarında kazanımların arttığını bildiriyor.

Üç proje sunucunun farklı noktalarında çalışıyor. Patent, GPU ve CPU belleği arasındaki talepleri ve veri aktarımlarını zamanlıyor. Depolama deneyi, önbelleği daha sonra yeniden kullanmak üzere sürücülerde saklıyor. PAISE ise seçili hesaplamaları bellek donanımına taşıyor. Birlikte değerlendirildiğinde bu çalışmalar, Samsung'un yapay zekâ yanıtlarının arkasındaki bilgileri taşımak veya yeniden oluşturmak için harcanan zamanı ve enerjiyi azaltmanın çeşitli yollarını araştırdığını gösteriyor.

Öne Çıkanlar

  • Samsung'un yayımlanan patent başvurusu, yapay zekâ taleplerini bekleme sürelerine, aktarım maliyetlerine ve beklenen bellek gereksinimlerine göre zamanlıyor.
  • Patentli yöntem, mevcut GPU'larla daha fazla kullanıcıya hizmet vermeyi hedefliyor; ticari performans rakamları açıklanmadı.
  • Samsung'un ayrı depolama testinde, boşaltma kullanılmadığında gecikmenin 140 kullanıcının üzerinde artmaya başlamasına karşılık, aynı anda 240 kullanıcıya kadar ilk yanıt bekleme süresi bir saniyenin altında tutuldu.
  • 240 kullanıcıda depolama boşaltma, token çıktısını ve maliyet verimliliğini yaklaşık 1,5 kat artırırken watt başına performansı 2,9 kat yükseltti.
  • Ek depolama, daha düşük yüklerde maliyetleri yaklaşık yüzde 4 artırdı; bu nedenle talep, maliyet hesabında önemli bir unsur.
  • Samsung SDS, ayrı PAISE sisteminin bellek içi hesaplama kullanarak çıkarım hızını yüzde 48,3'e kadar artırdığını bildiriyor.
Bu haberi paylaş

Bunlar da ilginizi çekebilir