Alibaba, Video Anlama ve Konuşma Çıktısı Sunan Qwen3 Omni'yi Apache 2.0 Lisansıyla Yayımladı

13 dakikalık okuma
Alibaba Plans Qwen 3 AI Model Release in Mid-April, Following Qwen2.5 ...

Okuyan, izleyen, dinleyen ve konuşan bir model

Alibaba; metin, görüntü, ses ve video alan, metin ya da doğal konuşmayla yanıt veren çok modlu bir yapay zekâ modeli olan Qwen3 Omni'yi tanıttı. Apache 2.0 lisansıyla yayımlanan model, geliştiricilere modeli ticari amaçlarla kullanma, değiştirme ve yeniden dağıtma; ayrıca kendi altyapılarında çalıştırma izni veriyor.

İçindekiler
  1. Okuyan, izleyen, dinleyen ve konuşan bir model
  2. Üç sürüm ne yapıyor?
  3. Thinker ve Talker birlikte nasıl çalışıyor?
  4. Akış hızının kaynağı
  5. Ses ve video becerilerinin arkasındaki eğitim
  6. Dil kapsamı ve bağlam sınırları
  7. Alibaba'nın kıyaslama sonuçları ne gösteriyor?
  8. GPT 4o, Gemini ve Gemma ile karşılaştırması
  9. API fiyatları ve ücretsiz kota
  10. Görme ve konuşmanın yararlı olabileceği alanlar
  11. İşletmelerin modeli kendi bünyesinde çalıştırarak elde ettikleri
  12. Güvenlik ve altyapı test edilmeli
  13. Öne Çıkanlar

Bu sürüm; video anlama, sesli etkileşim ve sistemi çalıştırmak için gereken öğrenilmiş parametreler olan model ağırlıklarına erişimi bir araya getiriyor. Alibaba, Qwen3 Omni'yi yerel ve uçtan uca bir omni model olarak konumlandırıyor. Bu, konuşma veya görüntü yeteneklerinin sonradan eklenmesi yerine modelin farklı bilgi türlerini birlikte işleyecek şekilde tasarlandığı anlamına geliyor.

Alibaba, modelin metin için 119 dili, konuşma girdisi için 19 dili ve konuşma çıktısı için 10 dili desteklediğini söylüyor. Kapsamında Kantonca gibi yaygın diller ve lehçeler de bulunuyor. Şirket ayrıca ilk paket gecikmesinin ses için yaklaşık 234 milisaniye, video için 547 milisaniye olduğunu bildiriyor. Buna göre yanıtın başlaması sırasıyla yaklaşık çeyrek saniye veya yarım saniye sürüyor.

Açık modelleri GPT 4o ve Gemini 2.5 Pro gibi tescilli sistemlerle karşılaştıran işletmeler için erişim önemli bir fark. Ekipler Qwen3 Omni'yi kendi sunucularında barındırabilir, uyarlayabilir ve kullanıcı başına lisans ücreti ödemeden ya da tek bir sağlayıcının platformuna bağlı kalmadan ürünlerine entegre edebilir. Ancak modeli çalıştırmak için yine de bilişim altyapısı gerekiyor.

Üç sürüm farklı görevleri hedefliyor: Metin ve konuşmayla sohbet için Instruct, metin yanıtlarıyla karmaşık akıl yürütme için Thinking ve ses açıklamaları için Captioner. Geliştiriciler model ağırlıklarını büyük model platformlarından edinebilir, API kullanabilir ya da modeli belirli bir alana ve üsluba göre ince ayarlayabilir. API'deki Flash seçeneği daha hızlı yanıtları ve aynı anda daha fazla isteği hedefliyor.

Reklam

Üç sürüm ne yapıyor?

Alibaba Cloud, üç sürümü Qwen3 Omni 30B A3B ailesi kapsamında yayımladı. Aralarındaki farklar önemli; çünkü sohbet asistanı, akıl yürütme aracı ve ses açıklama hizmetinin ihtiyaç duyduğu çıktılar birbirinden farklı.

  • Instruct, Thinker ve Talker bileşenlerini birleştiriyor. Metin, görüntü, ses ve video alıp hem metin hem konuşma üretiyor.
  • Thinking aynı girdi türlerini kabul ediyor, ancak yalnızca metin çıktısı veriyor. Karmaşık akıl yürütmeye ve uzun düşünce zincirlerine odaklanıyor.
  • Captioner, halüsinasyonları, yani gerçekte olmayan ayrıntılar uyduran açıklamaları azaltmaya odaklanarak ses altyazıları ve açıklamaları üretiyor. Medya analizi, erişilebilirlik ve içerik denetimi hedeflenen kullanım alanları arasında.

API'deki Flash sürümü daha düşük gecikme ve daha yüksek eşzamanlılık için tasarlandı. Gecikme, yanıt gelmeden önce geçen süre; eşzamanlılık ise bir sistemin aynı anda işleyebildiği istek sayısıdır. Çok sayıda müşterinin aynı anda geldiği durumlarda bir destek hizmetinin veya alışveriş asistanının her ikisine de ihtiyacı olabilir.

Thinker ve Talker birlikte nasıl çalışıyor?

Qwen3 Omni, anlama ve konuşma üretme işlerini koordineli iki bileşene ayırıyor. Thinker; metin, görüntü, ses ve videodaki bilgileri eşleştirip bir araya getiriyor, bunlar üzerinde akıl yürütüyor ve yanıtı yönlendiren token düzeyinde temsiller üretiyor. Token'lar, modelin işlediği bilgi parçalarıdır.

Konuşmayı Talker üretiyor. Talker'ın koşullandırma süreci, Thinker'ın çıktısını yalnızca yazılı metin olarak tüketmek yerine ses ve görsel özellikleri de içeriyor. Bu, konuşma zamanlamasını, ses karakterini ve prozodiyi, yani konuşma dilinin ritmini ve vurgusunu, sistemin gördükleri ve duyduklarıyla eşleştirmesine yardımcı oluyor. Bu tasarım; çeviriyi ve tempo, vurgu, duygusal ton gibi seslendirme özelliklerini destekliyor.

Bu ayrım, Talker konuşmayı üretmeden önce harici modüllerin Thinker çıktısını etkilemesine veya filtrelemesine de olanak tanıyor. Geliştiriciler bu sürece politika kontrolleri, bilgi getirme adımları veya güvenlik filtreleri ekleyebilir; böylece yanıt konuşulmadan önce kontrol edilebilir ya da ek bilgilerle desteklenebilir.

Her iki bileşen de Uzmanlar Karışımı (Mixture of Experts) yöntemini kullanıyor. Bir yönlendirme ağı, her token'ı küçük bir uzman ağ seçkisine gönderiyor; böylece o token için model parametrelerinin yalnızca bir kısmı çalışıyor. Alibaba, işlem hacmini artırmak, çıkarım maliyetlerini düşürmek ve istekler aynı anda geldiğinde ya da donanım kaynakları kısıtlı olduğunda yanıtların akışını sürdürmek için bu yaklaşımı kullanıyor.

Reklam

Akış hızının kaynağı

Talker, çoklu kod kitabı otoregresif bir yöntemle ayrık akustik token'lar tahmin ediyor. Daha basit bir ifadeyle, kompakt bir ses temsilini oluşturan ardışık parçalar üretiyor. Code2Wav adlı hafif bir evrişimli ağ, daha sonra bu parçaları duyulabilir bir ses dalga biçimine dönüştürüyor.

Alibaba, ilk paket sürelerinin ses için yaklaşık 234 milisaniye, video için 547 milisaniye olduğunu bildiriyor. Bu değerler, akış hâlindeki bir yanıtın başlangıcını ifade ediyor. Özellikle uzun yanıtlar için bir hizmetin, kararlı içeriğin ne hızda geldiğini ve yanıtın tamamlanmasının ne kadar sürdüğünü de ölçmesi gerekiyor.

Şirket, birden fazla isteği işlerken bile sistemin gerçek zaman faktörünün birin altında kaldığını söylüyor. Bu, bir sesli yanıtı üretmenin, yanıtı yüksek sesle oynatmaktan daha kısa sürdüğü anlamına geliyor. Bu hızda akış, hızlıca araya girmesi, açıklama istemesi veya konuşmayı devretmesi beklenen asistanlar için önemli.

Destek görüşmeleri ve mobil rehberler, bu gecikmelerin deneyimi doğrudan etkilediği kullanım alanları arasında. Yanıt vermeye hızla başlayabilen bir model, her şeyi toplu olarak işleyip kullanıcıyı bekleten bir sistemden daha uygun. Flash API seçeneği de yoğun trafik sırasında aynı hız ihtiyacına yönelik.

Ses ve video becerilerinin arkasındaki eğitim

Alibaba, yaklaşık 600 milyon parametreli yeni bir Audio Transformer kodlayıcısı geliştirdi ve bunu yaklaşık 20 milyon saatlik denetimli veriyle eğitti. Bu verilerin çoğu Çince ve İngilizce otomatik konuşma tanımayla ilgili; ek diller ve görevler ise sesin anlaşılmasına odaklanıyor.

Kodlayıcı, gecikmeyi azaltmak için akış önbelleklerini destekliyor; uzun kayıtları analiz etmek gibi görevler için çevrimdışı da çalışabiliyor. Çıktısı, diğer biçimlerin yanı sıra ses bilgisinin de kullanılabilmesi için hizalama aşamalarından geçerek çok modlu çekirdeğe aktarılıyor.

Eğitimde tekil biçimlerden gelen verilerle farklı biçimleri birbirine bağlayan veriler harmanlandı; ardından ön eğitim ve eğitim sonrası aşamalar ölçeklendirilmeye devam edildi. Ön eğitim üç aşamadan oluştu ve kodlayıcı hizalamasıyla başladı: Dil modeli dondurulmuş, yani parametreleri değiştirilmeden tutulurken görsel ve ses kodlayıcıları eğitilip hizalandı.

Genel eğitimde metin, ses, görüntü, bir miktar video ve eşleştirilmiş ses-video verilerinden alınan yaklaşık 2 trilyon token'a geçildi. Uzun bağlam eğitimi, daha fazla uzun ses ve video dizisi eklerken azami dizi uzunluğunu 8.192 token'dan 32.768 token'a çıkardı.

Reklam

Thinker'ın eğitim sonrası süreci; denetimli ince ayarı, daha güçlü öğretmen modellerden damıtmayı ve kurallar ile model değerlendirmelerinin yönlendirdiği politika optimizasyonunu içerdi. Damıtma, daha güçlü bir modelin yararlı davranışlarını başka bir modele aktarır. Talker ise halüsinasyonları azaltmak ve ses kalitesini iyileştirmek amacıyla, yüz milyonlarca çok modlu konuşma örneğinin yanı sıra sürekli ön eğitimi kullanan dört aşamalı bir eğitim sürecinden geçti.

Dil kapsamı ve bağlam sınırları

Qwen3 Omni'nin dil desteği göreve göre değişiyor: metin için 119 dil, gelen konuşma için 19 dil ve sesli yanıtlar için 10 dil. Bu nedenle okuma veya yazma için kullanılabilen bir dilin dinleme ya da konuşma desteği farklı olabilir.

Thinking Mode'un bağlam penceresi 65.536 token; Non Thinking Mode ise 49.152 token destekliyor. Bağlam penceresi, modelin bir etkileşim sırasında kullanabildiği çalışma alanıdır. Yayımlanan sınırlar ayrıca giriş için en fazla 16.384, çıkış için de 16.384 token olarak belirtiliyor; en uzun düşünce zinciri ise 32.768 token'a ulaşıyor.

Bu kapasitenin transkriptler, uzun toplantılar, kod tabanları ve aksi takdirde daha küçük parçalara bölünmesi gereken belgelerde yardımcı olması amaçlanıyor. Eğitim sırasında kullanılan daha uzun diziler de uzun ses ve videolarla çalışmayı destekliyor.

Alibaba'ya göre Thinking ve Non Thinking modlarının API fiyatları aynı. Ses çıktısı yalnızca Non Thinking Mode'da sunuluyor. Bu nedenle akıl yürütme modunu seçen geliştiricinin gerekli yanıt biçimini de hesaba katması gerekiyor.

Alibaba'nın kıyaslama sonuçları ne gösteriyor?

Alibaba, Qwen3 Omni'nin 36 kıyaslamanın 22'sinde en yüksek puanı aldığını, açık kaynaklı modeller arasında ise 32 kıyaslamada öne geçtiğini bildiriyor. Şirketin sonuçları metin, akıl yürütme, konuşma, ses, görüntü, video ve müzik alanlarını kapsıyor. Model, rekabetçi metin ve görüntü performansını korurken özellikle ses ve ses-görüntü anlama alanlarında güçlü.

Metin ve akıl yürütme alanında şirket, GPT 4o'nun 26,7 puanına karşılık AIME25'te 65,0 puan bildiriyor. ZebraLogic'de Qwen3 Omni, Gemini 2.5 Flash'ın 57,9 puanına karşı 76,0 puan alıyor. WritingBench'te puanı 82,6; GPT 4o'nun puanı ise 75,5.

Konuşma tanıma sonuçlarında, yaygın Wenetspeech testlerinin iki bölümündeki kelime hata oranları 4,69 ve 5,89. GPT 4o'da bu oranlar 15,30 ve 32,27. Daha düşük kelime hata oranı, daha az transkripsiyon hatası anlamına geliyor. Librispeech other testinde Qwen3 Omni 2,48 puan alıyor; bu, karşılaştırılan modeller arasındaki düşük sonuçlardan biri.

Reklam

Görüntü ve görsel akıl yürütme alanında Alibaba, HallusionBench'te 59,7, MMMU pro'da 57,0 ve MathVision full'da 56,3 puan bildiriyor; üç sonuç da şirketin karşılaştırmasında GPT 4o'nun üzerinde. Video anlama kıyaslaması MLVU'da Qwen3 Omni 75,2 puan alıyor; Gemini 2.0 Flash'ın 71,0 ve GPT 4o'nun 64,6 puanını geride bırakıyor.

Müzik sonuçları arasında GTZAN'da 93,0 ve RUL MuchoMusic'te 52,0 puan bulunuyor. Bu testler birlikte, modelin diğer yeteneklerinin yanı sıra ses ve videoyu dinleyip anlama becerilerine odaklandığını gösteriyor.

Alibaba'nın açıkladığı değerler kontrollü değerlendirmelerden geliyor. Veri kümesi seçimleri ve puanlama yöntemleri belirli eğitim bileşimlerine avantaj sağlayabilir; gerçek hizmetlerde ise aksanlar, gürültülü mikrofonlar, net olmayan telefon kamerası görüntüleri ve hızla değişen bağlamlarla karşılaşılır. Kuruluşlar modeli, kullanıcılarının ürettiği kayıtlar, görüntüler ve isteklerle test ederek daha doğrudan değerlendirebilir.

Bir modeli birçok biçimde eğitmek, öncelikli olarak metin için geliştirilmiş daha büyük modellerle karşılaştırıldığında bazı metin performansını da düşürebilir. Uygulamada, daha küçük bir çok modlu modelin dinleyip görmesi, rapor veya e-posta taslaklarının yazımının ise daha büyük bir metin modeline bırakılması tercih edilebilir. Apache 2.0, kısıtlayıcı bir model lisansının yol açtığı benzer tedarik zorlukları olmadan bu tür bir birleşime izin veriyor.

GPT 4o, Gemini ve Gemma ile karşılaştırması

OpenAI'ın GPT 4o'su; metin, görüntü ve sesin birbiriyle yakından bağlantılı işlenmesi ve doğal konuşma konusunda beklentileri belirledi. Qwen3 Omni'nin girdi listesinde video analizi de bulunuyor. Google'ın tescilli Gemini 2.5 Pro modeli video analizi sunarken, Google'ın açık modeli Gemma 3n metin, görüntü, ses ve video alıyor, ancak yalnızca metin çıktısı üretiyor.

Qwen3 Omni, bu dört girdi biçimini hem metin hem konuşma çıktısıyla birleştiriyor. Bu özellik, kullanım alanlarını sesli çeviri, etkileşimli yardım ve çağrı merkezlerinde otomatik sistemlerle insanlar arasındaki devir işlemlerine genişletiyor.

Lisanslama da bir başka ayrım noktası. Apache 2.0 ticari kullanıma, değişiklik yapmaya ve yeniden dağıtıma izin veriyor; patent lisansı içeriyor ve lisansı alan tarafın kaynak kodunu yayımlamasını ya da modelin çalıştırılması için lisans ücreti ödemesini gerektirmeden modelin tescilli ürünlere entegre edilmesine olanak tanıyor. Tescilli sistemler ücretli erişim gerektiriyor ve kullanımı sağlayıcının platformuna bağlıyor.

Reklam

Buradaki açık erişim, model ağırlıklarını ve kullanım kodunu kapsıyor. Seçilmiş eğitim verileri ve tüm eğitim kodları dâhil olmak üzere modeli sıfırdan yeniden oluşturmanın eksiksiz tarifi genellikle bu tür yayımlara dâhil değil. Modeli çalıştırmak, ince ayar yapmak ve entegre etmek isteyen işletmeler bu pratik özgürlüklere kavuşuyor; tüm eğitim sürecini yeniden üretmek ise farklı bir iş.

Alibaba, ilk paket sürelerini önde gelen sohbet sistemleriyle aynı düzeyde konumlandırıyor. Devreye alınan bir hizmeti karşılaştırırken API'nin daha hızlı Flash katmanının yanı sıra kararlı içeriğe ulaşma süresi, uzun yanıtların tamamlanma süresi ve yük altındaki performans da dikkate alınmalı.

API fiyatları ve ücretsiz kota

Geliştiriciler Qwen3 Omni'ye büyük model platformlarından indirilebilir ağırlıklar aracılığıyla veya API üzerinden erişebilir. API, etkinleştirme tarihinden itibaren 90 gün boyunca farklı biçimlerde toplam bir milyon token ücretsiz kota sunuyor. Alibaba, model seçeneklerini, bağlam sınırlarını ve hizmet ayrıntılarını Model Studio belgelerinde yayımlıyor.

Belirtilen fiyatlar 1.000 token başına ücretlendiriliyor ve girdi biçimine ve istenen çıktıya göre değişiyor. Bu nedenle metin, ses, görüntü ve video bileşimi, hizmet maliyetini hesaplamanın doğrudan bir parçası.

  • Metin girdisi 1.000 token başına 0,00025 dolara mal oluyor.
  • Ses girdisi 1.000 token başına 0,00221 dolara mal oluyor.
  • Görüntü ve video girdisi 1.000 token başına 0,00046 dolara mal oluyor.
  • Girdi yalnızca metinse metin çıktısı 1.000 token başına 0,00096 dolara mal oluyor.
  • Girdiler görüntü veya ses içeriyorsa metin çıktısı 1.000 token başına 0,00178 dolara mal oluyor.
  • Birleşik metin ve ses çıktısında ses bölümü 1.000 token başına 0,00876 dolara mal oluyor; metin bölümü ücretsiz.

Alibaba, Thinking ve Non Thinking modlarında aynı ücretleri uyguluyor; konuşma çıktısı yalnızca Non Thinking Mode'da sunuluyor. Model Studio, şirketlerin hız, kalite ve maliyete göre model seçmesini sağlıyor. Açıklanan fiyatlar, birçok tescilli hizmete kıyasla nispeten düşük maliyetli denemelere olanak tanırken ağırlıkları doğrudan barındırmak altyapı planlamasını modeli benimseyen kuruma bırakıyor.

Görme ve konuşmanın yararlı olabileceği alanlar

Teknik destek asistanı, Qwen3 Omni'yi kullanarak müşterinin telefon kamerası görüntüsünü inceleyebilir, sorunun tarifini dinleyebilir ve adım adım sesli yönergeler verebilir. Alışveriş rehberi de müşteri talebindeki değişikliklere Flash API üzerinden yanıt verirken aynı bileşimden yararlanabilir.

Reklam

Çok dilli transkripsiyon ve çeviri de hedeflenen kullanım alanlarından. Desteklenen dillerdeki toplantı, görüşme ve dersler yazıya dökülebilir; ardından İngilizce bir özet hazırlanabilir veya desteklenen başka bir dilde sesli yanıt verilebilir. Captioner; medya arama, erişilebilirlik, içerik denetimi ve hak yönetimi iş akışları için arka plan seslerini ve müzikal özellikleri açıklayabilir.

Video anlama, bir klipteki olaylarla ilgili sorular sorulmasına, olayların izlenmesine ve sahnelerin özetlenmesine olanak tanıyor. Görüntü ve dil birlikte çalışarak optik karakter tanıma (OCR), formlardan ve fişlerden alanları çıkarma ve bu alanları bağlamlarına göre kontrol etme görevlerini de yerine getirebilir.

Telefonlardaki veya giyilebilir cihazlardaki tüketici asistanları menüleri çevirebilir, yer işaretlerini tanıyabilir ve erişilebilirlik için çevreyi tarif edebilir. Bu uygulamalar, modelin görsel girdiyi, dil işlemeyi ve konuşma çıktısını bir araya getirmesinden yararlanıyor.

Geliştiriciler sohbet tarzını ve kişiliğini şekillendirmek için sistem istemlerini kullanabilir, ayrıca modeli daha özel gereksinimlere göre ince ayarlayabilir. Araç kullanımı, sistemin bilgi getirme, hesaplama veya veri tabanında arama gibi işlemler için harici hizmetleri çağırmasını sağlıyor. Bir aracı iş akışında model eylem planlayabilir, bir aracı çağırabilir ve sonucu konuşarak aktarabilir.

İşletmelerin modeli kendi bünyesinde çalıştırarak elde ettikleri

Apache 2.0, kuruluşlara Qwen3 Omni'yi ürünlere veya kurum içi iş akışlarına entegre etme, değiştirme ve yaptıkları değişiklikleri gizli tutma olanağı veriyor. Patent lisansı, modelin tescilli sistemlere entegre edilmesindeki hukuki riski azaltıyor.

Açık ağırlıklar, kurum içi sunucularda veya güvenilen bir bulutta dağıtıma da imkân tanıyor. Bu kontrol, bilgilerin nereye aktarıldığını ve etkileşimlerin nasıl kaydedildiğini belirlemesi gereken düzenlemeye tabi sektörler için cazip olabilir. Kuruluşlar, altyapının sorumluluğunu üstlenerek modeli sağlayıcıya model lisans ücreti ödemeden çalıştırabilir.

Şirketler ihtiyaçlarına uygun olduğunda Qwen3 Omni'yi daha büyük bir tescilli modelle birleştirebilir veya platform kısıtlamalarını azaltmak için tamamen açık modellerden oluşan bir koleksiyon seçebilir. Video anlayan ve esnek bir lisansla konuşma üreten bir model, uzun lisans görüşmelerine gerek kalmadan geliştirilebilecek ürün yelpazesini genişletiyor.

Eğitim sürecinin tamamını açıklayan bir tarifin kamuya açık olmaması, topluluğun modelin tüm geliştirme sürecini yeniden üretme imkânını sınırlıyor. Dağıtım, özelleştirme ve hizmet hedeflerine odaklanan işletmeler için öncelikli mesele, yayımlanan modelin sağlayabilecekleri donanım ve kontrollerle gereksinimlerini karşılayıp karşılayamayacağı.

Reklam

Güvenlik ve altyapı test edilmeli

Ses ve video hassas bilgiler içerebilir; yanıt yanlışsa veya dayanağı yoksa sesli çıktılar yanıltıcı olabilir. Alibaba'nın tasarımı, Talker sesi üretmeden önce harici modüllerin Thinker çıktılarını araya girerek denetlemesine olanak tanıyor. Böylece karşıt senaryolara yönelik güvenlik testlerinde kullanılan politika kontrolleri, bilgi getirme ve filtreler uygulanabiliyor.

Kuruluşların yine de içerik güvenliğini kendi ortamlarında ve bölgelerinde doğrulaması gerekiyor. Bu doğrulama; gizlilik kontrollerini, kayıt veya analiz için alınan izinleri ve girdinin sistemi amaçlanan talimatlardan uzaklaştırmaya çalıştığı istem enjeksiyonuna karşı savunmaları kapsıyor.

Aksanlar, uzmanlık gerektiren sözcükler ve arka plan gürültüsü konuşma tanıma doğruluğunu düşürebilir. Düşük ışık ve hareket bulanıklığı görüntü anlamayı zayıflatabilir. Araç temelli iş akışlarında hatalı araç çağrıları ve sistemin yararsız bir eylemi tekrar tekrar gerçekleştirdiği döngüler gibi ek riskler ortaya çıkar.

Kayıt tutma, insan incelemesi ve geri alma prosedürleri sorunları araştırma ve değişiklikleri geri çevirme imkânı sunuyor. Altyapı planlamasında ayrıca işlem hacmi, grafik işlemci belleği, ani trafik artışları, uzun bağlam önbellekleri ve hizmet aşırı yüklendiğinde gelen işleri sınırlayan yük azaltma da hesaba katılmalı.

Uzmanlar Karışımı her token için gereken hesaplama miktarını azaltıyor; ancak konuşma hizmetlerini büyük ölçekte çalıştırmak yine de yeterli donanım ve dikkatli kapasite planlaması gerektiriyor. Modeli benimseyenler için uygulamadaki temel sınama, Qwen3 Omni'nin kendi verileri üzerinde beklenen talep altında doğru, güvenli ve zamanında yanıt verip veremediği.

Öne Çıkanlar

  • Alibaba'nın Qwen3 Omni modeli metin, görüntü, ses ve video alıyor; Apache 2.0 lisansı altında metin ve konuşma üretiyor.
  • Instruct tam sohbeti destekliyor, Thinking metin çıktısıyla akıl yürütmeye odaklanıyor, Captioner ise ses açıklamaları konusunda uzmanlaşıyor.
  • Alibaba, ilk paket gecikmesinin ses için yaklaşık 234 milisaniye, video için 547 milisaniye olduğunu bildiriyor.
  • Model metin için 119 dili, konuşma girdisi için 19 dili ve konuşma çıktısı için 10 dili destekliyor.
  • Eğitimde ses kodlayıcısı için yaklaşık 20 milyon saatlik veri, genel çok modlu eğitimde ise yaklaşık 2 trilyon token kullanıldı.
  • Alibaba, modelin 36 kıyaslamanın 22'sinde en yüksek sonucu aldığını, açık kaynaklı modeller arasında ise 32'sinde öne geçtiğini bildiriyor.
  • API, etkinleştirmeden sonraki 90 gün boyunca farklı biçimlerde toplam bir milyon ücretsiz token sunuyor; indirilebilir ağırlıklar bağımsız barındırmaya imkân tanıyor.
  • İşletmeler dağıtım ve özelleştirme üzerinde kontrol kazanırken altyapı, gizlilik, güvenlik ve performans testlerinin sorumluluğunu üstleniyor.
Bu haberi paylaş

Bunlar da ilginizi çekebilir