Metin veya sesle yanıt veren dört tür girdi
Alibaba Cloud, metin, görüntü, ses ve videoyu tek bir sistemde kabul eden ve metin ya da doğal konuşmayla yanıt veren bir yapay zekâ modeli olan Qwen3-Omni'yi tanıttı. 24 Eylül 2025 itibarıyla yayımlanan model, geliştiricilere ücretsiz indirme, değiştirme ve ticari kullanıma izin veren esnek bir lisans olan Apache 2.0 kapsamında çok modlu bir asistana erişim sunuyor.
İçindekiler
- Metin veya sesle yanıt veren dört tür girdi
- Yapay zekâ rekabetinde bu sürümün yeri
- Ne kadar hızlı yanıt verebiliyor?
- İş bölümü: Thinker ve Talker
- Ses, görüntü ve metinle eğitim
- Üç model ve farklı sınırlar
- Alibaba'nın kıyaslama sonuçları ne gösteriyor?
- Geliştiriciler neler geliştirebilir?
- Apache 2.0 işletmeler için neyi değiştiriyor?
- Barındırılan hizmetin fiyatlandırması ve dağıtıma geçiş
- Gizlilik, doğruluk ve koruma önlemleri
- Öne çıkanlar
Alibaba, metin için 119 dili, konuşma girdisi için 19 dili ve konuşma çıktısı için 10 dili desteklediğini bildiriyor. Şirket ayrıca geniş kapsamlı değerlendirmelerde önde gelen sonuçlar elde ettiğini öne sürüyor: 36 ölçütün 22'sinde en yüksek puanları, açık kaynaklı modeller arasında ise 32'sinde liderliği. Bu veriler, çok dilli iletişim ile ses ve video anlama yeteneklerinin lansmanın odağında olduğunu gösteriyor.
Qwen3-Omni, farklı türdeki bilgileri birlikte işlemek üzere tasarlandı. Bir asistan, sesli bir soruyu dinleyip görüntüyü veya videoyu inceleyebilir ve ardından yanıtını sesli olarak verebilir. Ürettiği çıktılar, oluşturulmuş görüntü ya da video yerine metin ve sesle sınırlı; böylece yanıt süreci konuşmaya odaklanıyor.
Yayımlanan sürümde üç herkese açık model bulunuyor: Farklı türde girdileri ve sesli yanıtları işleyen Instruct, daha zorlu akıl yürütme görevleri için Thinking ve ayrıntılı ses betimlemeleri sunarken bilgi uydurma eğilimi daha düşük olan Captioner. Geliştiriciler modelleri indirebilir, resmî depodaki örneklerden yararlanabilir veya daha hızlı bir Flash sunum seçeneği de içeren barındırılan API'ye erişebilir.
Alibaba'nın gece geç saatlerdeki lansmanında, metni sese dönüştüren yeni bir Qwen3 TTS sistemi ve bir görüntü düzenleme modeli de tanıtıldı. Bu sürümler birlikte, okuyabilen, görebilen, dinleyebilen ve konuşabilen uygulamalar için gereken bileşenlerin daha fazlasını sunma çabasını gösteriyor. Şirketler için ilk karar, Qwen3-Omni'yi kendi altyapılarında barındırmak ile bir hizmet üzerinden erişim için ödeme yapmak arasında.
Yapay zekâ rekabetinde bu sürümün yeri
OpenAI, GPT-4o aracılığıyla metin, görüntü ve sesi birleştiren asistanların yaygınlaşmasına katkıda bulundu. Google ise bazı ürün paketlerinde Gemini 2.5 ile video analizini geliştirdi. Qwen3-Omni, dört girdi türünü bir arada işlemek üzere baştan tasarlanmış bir sistemle bu rekabete katılıyor.
Alibaba, yaklaşımını girdiden çıktıya kadar tek bir yığınla eğitilmiş sistem olarak tanımlıyor. Model sabit görüntüleri ve belgeleri inceleyebiliyor, optik karakter tanıma yoluyla metni algılayabiliyor, ilgili görüntü bölgelerini belirleyebiliyor ve görsel içerikle ilgili soruları yanıtlayabiliyor. Video yetenekleri sahneleri belirlemeyi ve olayları izlemeyi kapsarken, ses işleme dinleme ve konuşma tanımayı destekliyor.
Erişim, temel farklardan biri. Qwen3-Omni'nin indirilebilir ağırlıkları, yani davranışını belirleyen öğrenilmiş sayısal ayarları, şirketlerin modeli kendi altyapılarında çalıştırmasına ve belirli sektörlere uyarlamasına olanak tanıyor. Tescilli alternatifler, müşterilerin kendi altyapılarında barındırma olanağını kısıtlıyor veya hizmetleri üzerinden yapılan etkileşimler için ücret alıyor.
Lansmanda yapılan karşılaştırmada Qwen3-Omni, aynı çok modlu kapsamı sunmadığı ve metinle sınırlı olduğu belirtilen Google'ın açık Gemma ailesiyle de karşılaştırılıyor. Alibaba, her görev için ayrı sistemler yerine ses, görüntü ve metni tek bir açık modelde bir araya getirmek isteyen kuruluşları hedefliyor.
Deneme aşamasını geride bırakmak isteyen şirketlerin, etkileşim sürerken yanıt verebilen bir asistana ihtiyacı var. Qwen3-Omni bu hedefi, dağıtım yeri, özelleştirme ve harcama üzerinde denetimle birleştiriyor. Rekabetteki iddiası hem bildirilen performansına hem de sistemin nerede çalışacağına karar verme özgürlüğüne dayanıyor.
Ne kadar hızlı yanıt verebiliyor?
Alibaba, ilk paket gecikmesi için teorik değerleri ses tarafında yaklaşık 234 milisaniye, video tarafında ise 547 milisaniye olarak açıklıyor. İlk paket gecikmesi, sistemin yanıtı tamamlamasının ne kadar sürdüğünü değil, yanıtı göndermeye başlamasının ne kadar sürdüğünü ölçüyor.
Bu kısa gecikmeler, sıradan bir konuşmanın akışını desteklemek üzere tasarlandı. Akışlı iletim, asistanın yanıtın hazır olan bölümlerini hemen göndermesine olanak tanıyarak geri kalan yanıt oluşturulurken yaşanan uzun sessizlikleri azaltıyor. Kullanıcılarla sunucular arasındaki mesafe arttığında verimli akış da önem kazanıyor.
Alibaba'nın açıkladığı değerler şirket içi sistemlerden geliyor. Gerçek yanıt süreleri donanıma, eş zamanlı kullanıcı sayısına ve ağ koşullarına bağlı olacak. Yük altında gerçek zaman katsayısının birin altında kalabildiği yönündeki bildirim, sistemin gelen medyayı işleme hızını koruyabildiği anlamına geliyor; bu da canlı konuşmalar için önemli bir gereklilik.
Asistanla konuşan bir müşteri için her iki ölçüt de önemli: yanıtın ne kadar çabuk başladığı ve sistemin yanıt vermeyi sürdürürken tempoyu koruyup korumadığı. Hızlı başlayan ancak sonrasında geciken bir yanıt da konuşmayı zorlaştırır. Bu nedenle dağıtım ekiplerinin, kullanıcıların karşılaşacağı koşullarda etkileşimin tamamını değerlendirmesi gerekiyor.
İş bölümü: Thinker ve Talker
Qwen3-Omni, Thinker ve Talker adı verilen iki ana bileşen kullanıyor. Thinker; metin, görüntü ve ses üzerinden anlama ve akıl yürütme görevlerini üstleniyor. Gelen bilgileri yorumluyor, yanıtı planlıyor ve içeriği oluşturuyor. Talker ise yanıtı, aşamalı olarak iletilebilecek doğal konuşmaya dönüştürmeye odaklanıyor.
Bu iş bölümünde konuşma sistemi kendi temposunda çalışırken dil bileşeni önceden plan yapabiliyor. Her iki bileşende de, modelin çok sayıda uzmanlaşmış ağ içerdiği ancak her belirteç, yani işlediği küçük bilgi birimi için bunlardan yalnızca birkaçını etkinleştirdiği Uzman Karışımı adlı tasarım kullanılıyor.
Bu yaklaşım, her adımda modelin tüm parametrelerini etkinleştirmeden aynı anda çok sayıda istek geldiğinde işleme kapasitesini artırıyor. Amaç, öğrenilmiş yeteneklerden oluşan geniş bir havuzu yanıtın her parçası için daha az etkin hesaplamayla birleştirmek.
Konuşma hattı, ses verisini sırayla üretilen birkaç ayrık kod dizisiyle temsil ediyor. Code2Wav adı verilen hafif bir evrişimli ağ, bu kodları ses dalgalarına dönüştürüyor. Tasarım, bir sesin kendine özgü tınısı ve ritim ile tonlamasını belirleyen prozodisi dâhil ses kalitesini korurken gecikmeyi azaltmayı amaçlıyor.
Talker ayrıca Thinker'ın metin temsillerinden ayrılıyor ve doğrudan ses ve görüntü özelliklerinden yararlanıyor. Böylece sesli yanıtlar, duyulan ve görülenler hakkında bilgiye erişebiliyor; bu da etkileşim sırasında konuşmanın ekrandaki olaylarla uyumlu kalmasına yardımcı oluyor.
Ses, görüntü ve metinle eğitim
Alibaba, gelen sesi modelin işleyebileceği bir biçime dönüştüren bileşen olan Audio Transformer kodlayıcısının, yaklaşık 20 milyon saatlik etiketli ses verisiyle eğitildiğini söylüyor. Denetimli eğitimde, sistemin ne öğrenmesi gerektiğini gösteren bilgilerle eşleştirilmiş örnekler kullanılıyor.
Daha kapsamlı eğitim süreci aşamalar hâlinde yürütüldü. Ekip önce farklı girdileri işleyen kodlayıcıları hizaladı, ardından metin, ses, görüntü ve videoyu kapsayan yaklaşık iki trilyon belirteçle eğitim yaptı. Daha sonraki bir aşamada, sistemin uzun oturumlarda işleyebileceği bilgi miktarı artırıldı.
Sonraki eğitim aşamalarında Thinker ve Talker için denetimli ince ayar, damıtma ve optimizasyon da uygulandı. İnce ayar, seçilmiş örneklerle davranışı iyileştirirken damıtma, başka bir modelden veya eğitim sürecinden yararlı davranışları aktarır. Bu adımlar, geniş metin koleksiyonları ile kapsamlı ses ve görüntü verileri üzerinde yürütülen ilk eğitimin ardından geldi.
Alibaba, Qwen3-Omni'yi yerleşik olarak çok dilli ve çok modlu bir model olarak sunuyor: farklı diller ve bilgi türleri üzerinde birlikte çalışmak üzere eğitilmiş bir sistem. Açıklanan hedef, dil modeli sıradaki adımı planlamayı sürdürürken doğal konuşmayı korumak.
Üç model ve farklı sınırlar
Herkese açık modeller Qwen3-Omni-30B-A3B adını taşıyor. Instruct, ses, video ve metin dâhil farklı medya türlerini işliyor; metin ve ses çıktısı verebiliyor. Thinking, zor akıl yürütme, matematiksel adımlar ve planlamaya odaklanıyor ve metin çıktısı sunuyor. Captioner ise yapay zekânın uydurduğu, kulağa makul gelen bilgiler için kullanılan terim olan halüsinasyonları azaltarak ayrıntılı ses betimlemeleri üretmekte uzmanlaşıyor.
Barındırılan Flash seçeneği, Alibaba Cloud üzerinden daha hızlı etkileşimler sunmak üzere tasarlandı. Modeli kendileri kurup işletmek yerine bir hizmetle başlamak isteyen ekiplere sisteme erişmek için alternatif bir yol sağlıyor.
Dil desteği göreve göre değişiyor. Model metinde 119, konuşma girdisinde 19, konuşma çıktısında ise 10 dili destekliyor; öne çıkarılan diller ve lehçeler arasında Kantonca da bulunuyor. Bu kapsam, farklı alfabeler ve aksanlar kullanan kişilere hizmet vermek isteyen kuruluşlara yardımcı olabilir; ancak konuşmada desteklenen dil sayısı metne kıyasla daha düşük.
Thinking Mode en fazla 65.536 belirteçlik, Non Thinking Mode ise 49.152 belirteçlik bir bağlam penceresi sunuyor. Bağlam penceresi, modelin bir yanıt üzerinde çalışırken erişilebilir tutabildiği bilgi miktarıdır. Thinking sınırı, Non Thinking sınırından 16.384 belirteç, yani yaklaşık üçte bir daha fazla.
Belirtilen en yüksek girdi ve çıktı miktarı 16.384 belirteç; en uzun akıl yürütme zinciri ise 32.768 belirtece ulaşabiliyor. Bu sınırlar bir oturumun farklı bölümlerini tanımlıyor: bağlamda tutulan bilgiyi, girdi ya da çıktı olarak aktarılabilenleri ve zor bir görev için kullanılan iç akıl yürütme dizisini.
Alibaba'nın kıyaslama sonuçları ne gösteriyor?
Alibaba, metin ve akıl yürütme, konuşma ve ses, görüntü ve görsel algı ile ses ve görüntüyü birlikte kullanan video görevlerini kapsayan 36 kıyaslama ölçütündeki değerlendirmelerin sonuçlarını paylaşıyor. Şirket, Qwen3-Omni'nin bunların 22'sinde son teknoloji düzeyinde puanlar elde ettiğini, açık kaynaklı modeller arasında ise 32'sinde lider olduğunu söylüyor.
Şirket ayrıca modelin birçok ses ve görsel-işitsel değerlendirmede GPT-4o ile Gemini 2.5 Pro'yu geride bıraktığını belirtiyor. Görevler arasında konuşma tanıma, ses anlama, video ve ses hakkında soruları birlikte yanıtlama, video betimleme ve ses üretimi bulunuyor. Alibaba'ya göre metin ağırlıklı görevlerde performans, Qwen metin ailesinin üyeleriyle aynı düzeyde.
Her kıyaslama belirli koşullar altında belirli bir görevi ölçüyor. Talimatların ifadesi, puanlama kuralları ve testte kullanılan materyal sonuçları etkileyebilir. Tedarikçiler ayrıca hangi ölçümleri yayımlayacaklarını seçtiğinden, alıcıların amaçladıkları uygulamayla en ilgili kategorileri incelemesi gerekiyor.
Telefon kayıtlarını kullanan bir şirketin karşılaştığı koşullar, temiz bir tanıtım örneğinden farklıdır: arka plan gürültüsü, farklı mikrofonlar, bölgesel aksanlar ve konuşma kesintileri. Video uygulamalarının da hızlı sahne değişimlerini işlemesi gerekir. Kuruluşun kendi örnekleriyle yapılan testler, modelin bu koşullardaki performansını ortaya koyabilir.
Maliyet ve işlem kapasitesi de aynı değerlendirmenin parçası olmalı. Bir ekibin dağıtımının kaç isteği karşılayabildiğini, ne kadar hızlı yanıt verdiğini ve ne sıklıkta yanlış yanıt ürettiğini bilmesi gerekir. Alibaba'nın kapsamlı değerlendirme programı, modelin tasarlandığı görev çeşitliliğini yansıtıyor; belirli bir iş yüküne uygun olup olmadığını ise uygulamalı testler gösteriyor.
Geliştiriciler neler geliştirebilir?
Qwen3-Omni'nin deposunda ve tanıtım materyallerinde yaygın görevler için örnek uygulama tarifleri bulunuyor. Böylece geliştiriciler kapsamlı değişikliklere girişmeden önce çalışan örneklerle başlayabiliyor. Uygulamalar iletişimden belge çalışmalarına, medya analizinden çevresini algılayarak yanıt veren asistanlara kadar uzanıyor.
- Aramalar, toplantılar ve medya için çok dilli konuşma tanıma.
- Yaygın diller arasında, sesli yanıtları da içeren konuşma çevirisi.
- Çevresel seslerin betimlenmesi ve müzik etiketleme.
- Belgeler ve ekran görüntüleri için optik karakter tanıma; ilgili bölgelerle ilişkilendirilmiş yanıtlar.
- Görüntüler, karmaşık şemalar ve gösterge panoları hakkında soru-cevap.
- Uzun videolarda gezinmeye yardımcı olacak video betimlemeleri, öne çıkan anlar ve olay algılama.
- Eğitim, destek ve öğretici içerikler için ses ile videoyu birleştiren sorular.
- Sorunu dinleyen, inceleyen ve onarım sürecini adım adım anlatan canlı teknik destek.
- Görevleri tamamlamak için harici araçları ve API'leri kullanan ajan iş akışları.
Sistem istemleri, asistanın kişiliğini, tonunu ve yanıt biçimini belirleyebiliyor. Akışlı iletim, akıl yürütme sürerken kısmi yanıtlar sunmasına olanak tanıyor; böylece kullanıcılar uzun süre beklemek yerine hızlı açıklamalar alabiliyor.
Hassas uygulamalarda modelin çevresinde koruma önlemleri de gerekiyor. Dağıtım için açıklanan önlemler arasında daha güçlü istem denetimleri, metin ve ses filtreleri ile bağlamı ve kararları kaydeden bir politika motoru bulunuyor. Bu bileşenler, kuruluşların asistanın nasıl yanıt verdiğini yönetmesine ve eylemlerini incelemesine yardımcı oluyor.
Apache 2.0 işletmeler için neyi değiştiriyor?
Apache 2.0 ticari kullanıma, dağıtıma, değişikliğe ve alt lisans vermeye izin veriyor. Ayrıca bir patent lisansı içeriyor; böylece şirketler modeli ürünlerine dâhil ederken tanımlanmış bir patent lisansından yararlanıyor. Kurumlar, her sektör veya kullanım için ayrı bir model lisansı görüşmesi yapmadan Qwen3-Omni'yi uyarlayabiliyor.
Kuruluşlar sistemi özel bilgi işlem kümelerinde veya güvendikleri bulutlarda çalıştırabilir, kendi verileriyle ince ayar yapabilir ve Alibaba'ya model kullanım ücreti ödemeden yazılım dağıtabilir. Sistemi çalıştırmak yine de bilgi işlem altyapısı ve operasyon gerektirirken, barındırılan API erişiminin kendine özgü ücretleri var.
Dağıtım üzerinde denetim, tek bir sağlayıcıya bağımlılığı azaltıyor. Düzenlemeye tabi sektörlerde çok modlu bir sistemi kuruluşun yönettiği altyapıda tutmak, verilerin nerede saklandığı ve işlemenin nasıl denetlendiğine ilişkin gerekliliklere uyumu kolaylaştırabilir.
Alibaba, ilk kontrol noktalarından bu yana yayımlanan yüzlerce model, yüz milyonlarca indirme ve geliştiricilerin herkese açık model depolarında yayımladığı on binlerce türevle büyüyen bir Qwen ekosisteminden söz ediyor. Bu model havuzu ve topluluk çalışmaları, ilk prototipten çalışan bir uygulamaya geçişi hızlandırabilir.
Altyapı tercihleri maliyet açısından önemini koruyor. GPU belleği, ses ve videoyu depolamadan aktarmak için gereken bant genişliği ve akışlı iletim için hızlı ağ bağlantısı, yanıt hızını etkiliyor. İndirilebilir model, bu kararlar üzerinde kuruluşa denetim sağlarken hizmeti işletme sorumluluğunu da beraberinde getiriyor.
Barındırılan hizmetin fiyatlandırması ve dağıtıma geçiş
Alibaba'nın barındırılan API'si, her 1.000 belirteç için belirteç başına ücret alıyor; metin, ses, görüntü veya video girdileri ile metin ya da ses çıktıları için ayrı tarifeler uygulanıyor. Yeni hesaplara etkinleştirmeden sonraki 90 gün boyunca farklı modlarda toplam bir milyon belirteçlik ücretsiz kullanım hakkı veriliyor. Lansman ayrıntılarında kesin ücret tutarları belirtilmiyor.
Başlangıç kotası, fizibilite testlerini, istem geliştirmeyi ve şirket içi veriler üzerinde değerlendirmeyi desteklemek üzere tasarlandı. Ekipler API üzerinden başlayabilir; altyapı uzmanları da kendi işletecekleri dağıtım için gereken kaynakları hesaplayabilir.
Bazı kuruluşlar rutin işler için açık model, sıra dışı durumlar veya özel özellikler içinse tescilli bir API kullanabilir. Bu yaklaşım, harcamayı, esnekliği ve ana sistemlerinin dışındaki yeteneklere erişimi dengelemelerine olanak tanıyor.
Geliştiriciler ağırlıklara ve örneklere GitHub'daki Qwen3-Omni üzerinden erişebilir. Hızlı başlangıç kılavuzu, Transformers ve vLLM gibi araçları kapsıyor. İlk denemeler için Docker imajları ve web arayüzlü tanıtımlar da mevcut.
Model depolarında ince ayar ve değerlendirme için kontrol noktaları ile topluluk rehberleri bulunuyor. Barındırılan erişim, kendi altyapılarına yatırım yapmadan önce akışlı konuşma özelliğini denemek isteyen ekipler için başka bir başlangıç noktası sunuyor.
Gizlilik, doğruluk ve koruma önlemleri
Gören ve dinleyen asistanlara sesler, görüntüler, belgeler ve videolar aracılığıyla hassas bilgiler ulaşabilir. Bu nedenle dağıtım planlarının açık rıza süreçleri, güvenli depolama ve silme politikaları içermesi gerekiyor. Hukuk ekipleri, saklama sürelerinin geçerli kurallarla uyumlu olması için bilgilerin kullanıcının cihazından sunuculara ve kayıtlara nasıl aktarıldığını incelemeli.
Ses sentezi de kötüye kullanım riski taşıyor; model varsayılan olarak belirli bir hedef ses üretmese bile bir konuşma tarzını taklit edebilir. Kuruluşların bu riski, doğal sesli yanıtların yararlarıyla birlikte değerlendirmesi gerekiyor.
Doğruluk testleri, sistemin çalışacağı koşulları kapsamalı. Ses betimlemeleri gürültülü ortamlardaki sesleri yanlış yorumlayabilir. Sahneler değiştiğinde video betimlemeleri bağlamı kaybedebilir. Uzun oturumlarda konuşmaya daha fazla bilgi girdikçe talimatlar zamanla sapabilir.
Önerilen değerlendirmeler arasında koruma önlemlerini zorlamak için tasarlanmış saldırgan istemler, aksan ve lehçe kapsamı ile güvenlik sınırlarını sınayan kırmızı takım testleri bulunuyor. Ekipler ayrıca modele önemli sorumluluklar vermeden önce halüsinasyonları, önyargıyı ve güvenli olmayan içeriği incelemeli.
Kullanıcıların dağıtımdan sonra hataları bildirebileceği bir yol olmalı. Bu bildirimler, kuruluşların tekrarlayan sorunları belirlemesine ve sistemin davranışına ilişkin kayıtları korurken hizmeti iyileştirmesine yardımcı olabilir. Qwen3-Omni'yi benimseyen şirketler için bu sürüm, yetenekli bir çok modlu sistem üzerinde daha fazla denetim sağlarken sistemi hedef kullanıcıları için güvenilir hâle getirme sorumluluğunu da getiriyor.
Öne çıkanlar
- Alibaba Cloud, indirme, değiştirme ve ticari kullanıma patent lisansı kapsamında izin veren Apache 2.0 lisansıyla Qwen3-Omni'yi yayımladı.
- Model metin, görüntü, ses ve videoyu kabul ediyor; akışlı metin veya konuşma çıktısı veriyor.
- Instruct, Thinking ve Captioner sırasıyla konuşma, zorlu akıl yürütme ve ayrıntılı ses betimleme görevlerine hizmet ediyor.
- Alibaba, ilk paket gecikmesinin teorik olarak ses için yaklaşık 234, video için 547 milisaniye olduğunu bildiriyor.
- Dil desteği metinde 119 dili, konuşma girdisinde 19 dili ve konuşma çıktısında 10 dili kapsıyor.
- Alibaba, 36 kıyaslama ölçütünün 22'sinde en yüksek puanları, açık kaynaklı modeller arasında ise 32'sinde liderliği elde ettiğini öne sürüyor.
- Bağlam pencereleri Thinking Mode'da 65.536, Non Thinking Mode'da 49.152 belirtece ulaşıyor.
- Barındırılan erişimde yeni hesaplara etkinleştirmeden sonraki ilk 90 gün boyunca bir milyon belirteçlik kota sunuluyor.
- Kuruluşlar modeli kendi altyapılarında çalıştırabilir; dağıtımın parçası olarak altyapı, doğruluk, gizlilik ve güvenlik denetimlerini ele almaları gerekir.






