Boru hattı, herhangi bir video karesinde konuşmacıları bulabilen sofistike yüz tespit teknolojisi ile başlar. Yüzler belirlendikten sonra, sistem, ağız, gözler ve diğer yüz özellikleri etrafında 468 ana nokta haritası çıkararak kesin yüz işaretlerini çıkarır.

Bu ayrıntılı haritalama, sistemin konuşmacının ağzının her anındaki tam şekil ve konumunu anlamasını sağlar ve doğru dudak senkronizasyonu için temel oluşturur. Teknoloji, farklı aydınlatma koşulları, açılar ve hatta çerçevede birden fazla kişi ile güvenilir bir şekilde çalışır.

Ses işleme boru hattı, hedef konuşmayı dudak senkronizasyonu oluşturmayı yönlendiren zamansal özelliklere dönüştürür. Sistemler, mel-spektrogramları (80 mel kutusu, 1024 FFT, 160 hop), MFCC'ler ve Wav2Vec2 gömme (facebook/wav2vec2-base) ve librosa ön işleme ile fonem hizalamalarını çıkarır. Uygulama, dalga formunu librosa.load() ile yükler, librosa.feature.melspectrogram() ile dB ölçeğine dönüştürür, bağlamsal gömme (last_hidden_state) için Wav2Vec2Processor/Wav2Vec2Model üzerinden işler ve hassas viseme zamanlaması için zorunlu hizalamayı (get_phoneme_alignment(audio_path, transcript)) uygular. Dönen dict, spektral zarfları, zamansal fonem sınırlarını ve doğrudan artikülatör ağız kinematiğine karşılık gelen anlamsal konuşma kalıplarını içerir.

Temel dudak senkronizasyonu oluşturma, ses özelliklerini karşılık gelen ağız hareketlerine eşlemek için sofistike sinir mimarileri kullanır. Modern sistemler, hedef sesle eşleşen gerçekçi dudak şekilleri oluşturmak için zamansal konvolüsyonel ağlar, transformerlar ve GAN'ların kombinasyonlarını kullanır.

Teknik Uygulama:

Dudak hareketi oluşturma için zamansal GAN

import torch
import torch.nn as nn

class LipSyncGenerator(nn.Module):
def __init__(self, audio_dim=80, landmark_dim=51, hidden_dim=512):
super().__init__()

# Ses kodlayıcı
self.audio_encoder = nn.Sequential(
nn.Conv1d(audio_dim, hidden_dim, kernel_size=3, padding=1),
nn.ReLU(),
nn.Conv1d(hidden_dim, hidden_dim, kernel_size=3, padding=1),
nn.ReLU(),
)

# Sıralı modelleme için zamansal transformer
self.temporal_transformer = nn.TransformerEncoder(
nn.TransformerEncoderLayer(
d_model=hidden_dim,
nhead=8,
dim_feedforward=hidden_dim * 4
),
num_layers=6
)

# İşaret noktası kodlayıcı
self.landmark_decoder = nn.Sequential(
nn.Linear(hidden_dim, hidden_dim),
nn.ReLU(),
nn.Linear(hidden_dim, landmark_dim),
nn.Tanh() # İşaret noktası koordinatlarını normalize et
)

# Kimlik koruma katmanı
self.identity_encoder = nn.Sequential(
nn.Linear(landmark_dim * 2, hidden_dim), # Mevcut + referans işaret noktaları
nn.ReLU(),
nn.Linear(hidden_dim, hidden_dim)
)

def forward(self, audio_features, reference_landmarks):
# Ses özelliklerini kodlayın
audio_encoded = self.audio_encoder(audio_features)
audio_encoded = audio_encoded.transpose(1, 2) # (B, T, D)

# Zamansal modelleme uygulayın
temporal_features = self.temporal_transformer(audio_encoded)

# İşaret noktası hareketlerini oluşturun
generated_landmarks = self.landmark_decoder(temporal_features)

# Konuşmacı kimliğini koruyun
identity_features = self.identity_encoder(
torch.cat([generated_landmarks, reference_landmarks], dim=-1)
)

# Oluşturulan hareketleri kimlik koruma ile birleştirin
final_landmarks = generated_landmarks + 0.1 * identity_features

return final_landmarks

Üreticiyi başlatın ve eğitin

generator = LipSyncGenerator()
optimizer = torch.optim.Adam(generator.parameters(), lr=1e-4)

Karşıt kayıpla eğitim döngüsü

def train_lip_sync_model(generator, discriminator, dataloader, epochs=100):
for epoch in range(epochs):
for batch in dataloader:
audio_features, reference_landmarks, target_landmarks = batch

# Sahte işaret noktaları oluşturun
fake_landmarks = generator(audio_features, reference_landmarks)

# Karşıt eğitim
real_loss = discriminator(target_landmarks)
fake_loss = discriminator(fake_landmarks)

# Üretici kaybı (karşıt + yeniden yapılandırma)
g_loss = -fake_loss.mean() + nn.MSELoss()(fake_landmarks, target_landmarks)

# Geri yayılım
optimizer.zero_grad()
g_loss.backward()
optimizer.step()

Üretici, ses özelliklerini karşılık gelen ağız hareketlerine eşlemeyi öğrenirken, ayırt edici gerçekçiliği sağlar. Kimlik koruma bileşeni, konuşmacının benzersiz yüz özelliklerini korur.

Yüz yeniden yapılandırma, oluşturulan dudak hareketlerini orijinal yüz özellikleri ile birleştirerek pürüzsüz bir nihai sonuç oluşturur. Bu aşama, yeni ağız bölgelerini mevcut ifadelerle entegre etmek için görüntü tabanlı renderleme, Poisson karıştırma ve zamansal düzeltme kullanır.

Son aşama, profesyonel kalitede çıktı sağlamak için zamansal düzeltme, renk düzeltme ve artefakt kaldırma uygular. Gelişmiş sistemler, tutarlılık kontrolleri için optik akış kullanır ve insan incelemesinden önce potansiyel sorunları tespit etmek için otomatik kalite metrikleri uygular.