Bir yapay zeka destekli video ve ses yerelleştirme aracı Rask AI, yeni Multi-Speaker Lip-Sync özelliğini duyurdu. Yapay zeka destekli lip-sync ile 750.000 kullanıcı, içeriklerini 130’tan fazla dilde anadil konuşucusu gibi akıcı hale getirebilir.

Uzun bir süredir dublajlı içeriklerde dudak hareketleri ile sesler arasında bir senkronizasyon eksikliği bulunmaktadır. Uzmanlara göre bu, dublajın İngilizce konuşulan ülkelerde nispeten popüler olmamasının nedenlerinden biridir. Aslında, dudak hareketleri, yerelleştirilmiş içeriği daha gerçekçi ve dolayısıyla izleyicilere daha çekici kılar.

Linguistik alanındaki çalışmalarıyla tanınan profesör Yukari Hirata tarafından yapılan bir çalışmaya göre, (jestler yerine) dudak hareketlerini izlemek, ikinci dilde zor sesbirim ayrımlarını algılamaya yardımcı olur. Dudak okuma, genel olarak konuşmayı öğrenmenin yollarından biridir.

Bugün, Rask’ın yeni özelliği ile yerelleştirilmiş içerikleri daha doğal hale getirmek mümkündür.

Yapay zeka, referanslara dayanarak alt yüzeyi otomatik olarak yeniden yapılandırır. Konuşmacının nasıl göründüğünü ve ne söylediğini dikkate alarak sonucu daha gerçekçi hale getirir.

Nasıl çalışır:

1. Bir veya daha fazla kişinin bulunduğu bir video yükleyin.
2. Videoyu başka bir dile çevirin.
3. ‘Lip Sync Check’ düğmesine basın ve algoritma, videoyu lip sync uyumluluğu için değerlendirecek.
4. Video kontrolü geçerse, ‘Lip Sync’ düğmesine basın ve sonucu bekleyin.
5. Videoyu indirin.

GÖZAT!  Yapay zeka kampanyası ile VisitDenmark, turistik yerleri yeniden canlandırdı.

Rask AI’ın kurucusu ve CEO’su Maria Chmir’e göre, yeni özellik içerik üreticilerinin kitlelerini genişletmelerine yardımcı olacak. Yapay zeka, dudak hareketlerini görsel olarak ayarlayarak bir karakterin anadil konuşucusu gibi konuşmasını sağlar.

Teknoloji, generative adversarial network (GAN) öğrenimine dayanmaktadır ve bir üreteç ile bir ayırt edici içerir. Hem üreteç hem de ayırt edici, birbirlerini geçmeye çalışarak rekabet eder. Üreteç açıkça içerik üretir (dudak hareketleri), ayırt edici ise kalite kontrolünden sorumludur.

Beta sürümü, tüm Rask abone müşterilere sunulmaktadır.