파이프라인은 비디오 프레임에서 화자를 찾을 수 있는 정교한 얼굴 감지 기술로 시작됩니다. 얼굴이 식별되면 시스템은 입, 눈 및 기타 얼굴 특징 주위의 468개 주요 포인트를 매핑하여 정확한 얼굴 랜드마크를 추출합니다.

이 상세한 매핑은 시스템이 화자의 입의 정확한 모양과 위치를 이해할 수 있게 하여 정확한 립 싱크의 기초를 만듭니다. 이 기술은 다양한 조명 조건, 각도 및 심지어 여러 사람이 프레임에 있는 경우에도 신뢰성 있게 작동합니다.

오디오 처리 파이프라인은 목표 음성을 립 싱크 생성을 주도하는 시간적 특징으로 변환합니다. 시스템은 mel-spectrogram(80 mel bins, 1024 FFT, 160 hop), MFCC 및 Wav2Vec2 임베딩(facebook/wav2vec2-base) 및 16kHz SR에서 librosa 전처리를 통해 음소 정렬을 추출합니다. 구현은 librosa.load()를 통해 파형을 로드하고, librosa.feature.melspectrogram()을 dB 스케일로 변환하고, Wav2Vec2Processor/Wav2Vec2Model을 통해 맥락적 임베딩(last_hidden_state)을 처리하며, 정확한 비즈음 타이밍을 위해 강제 정렬(get_phoneme_alignment(audio_path, transcript))을 적용합니다. 반환된 dict는 mel_spectrogram, audio_embeddings 및 phoneme_alignment를 포함하여 스펙트럼 봉투, 시간적 음소 경계 및 발음 입술 운동에 직접 매핑되는 의미적 음성 패턴을 캡처합니다.

핵심 립 싱크 생성은 오디오 특징을 해당 입 움직임에 매핑하기 위해 정교한 신경 아키텍처를 사용합니다. 현대 시스템은 시간적 합성곱 신경망, 변환기 및 GAN의 조합을 사용하여 목표 오디오와 일치하는 사실적인 입 모양을 생성하면서 화자의 아이덴티티를 보존합니다.

기술 구현:

시간적 GAN을 사용한 입 움직임 생성

import torch
import torch.nn as nn

class LipSyncGenerator(nn.Module):
def __init__(self, audio_dim=80, landmark_dim=51, hidden_dim=512):
super().__init__()

# 오디오 인코더
self.audio_encoder = nn.Sequential(
nn.Conv1d(audio_dim, hidden_dim, kernel_size=3, padding=1),
nn.ReLU(),
nn.Conv1d(hidden_dim, hidden_dim, kernel_size=3, padding=1),
nn.ReLU(),
)

# 시퀀스 모델링을 위한 시간적 변환기
self.temporal_transformer = nn.TransformerEncoder(
nn.TransformerEncoderLayer(
d_model=hidden_dim,
nhead=8,
dim_feedforward=hidden_dim * 4
),
num_layers=6
)

# 랜드마크 디코더
self.landmark_decoder = nn.Sequential(
nn.Linear(hidden_dim, hidden_dim),
nn.ReLU(),
nn.Linear(hidden_dim, landmark_dim),
nn.Tanh() # 랜드마크 좌표 정규화
)

# 아이덴티티 보존 레이어
self.identity_encoder = nn.Sequential(
nn.Linear(landmark_dim * 2, hidden_dim), # 현재 + 참조 랜드마크
nn.ReLU(),
nn.Linear(hidden_dim, hidden_dim)
)

def forward(self, audio_features, reference_landmarks):
# 오디오 특징 인코딩
audio_encoded = self.audio_encoder(audio_features)
audio_encoded = audio_encoded.transpose(1, 2) # (B, T, D)

# 시간적 모델링 적용
temporal_features = self.temporal_transformer(audio_encoded)

# 랜드마크 움직임 생성
generated_landmarks = self.landmark_decoder(temporal_features)

# 화자 아이덴티티 보존
identity_features = self.identity_encoder(
torch.cat([generated_landmarks, reference_landmarks], dim=-1)
)

# 생성된 움직임과 아이덴티티 보존 혼합
final_landmarks = generated_landmarks + 0.1 * identity_features

return final_landmarks

생성기 초기화 및 훈련

generator = LipSyncGenerator()
optimizer = torch.optim.Adam(generator.parameters(), lr=1e-4)

적대적 손실을 포함한 훈련 루프

def train_lip_sync_model(generator, discriminator, dataloader, epochs=100):
for epoch in range(epochs):
for batch in dataloader:
audio_features, reference_landmarks, target_landmarks = batch

# 가짜 랜드마크 생성
fake_landmarks = generator(audio_features, reference_landmarks)

# 적대적 훈련
real_loss = discriminator(target_landmarks)
fake_loss = discriminator(fake_landmarks)

# 생성기 손실 (적대적 + 재구성)
g_loss = -fake_loss.mean() + nn.MSELoss()(fake_landmarks, target_landmarks)

# 역전파
optimizer.zero_grad()
g_loss.backward()
optimizer.step()

생성기는 오디오 특징을 해당 입 움직임에 매핑하는 방법을 학습하고, 판별기는 사실성을 보장합니다. 아이덴티티 보존 구성 요소는 화자의 고유한 얼굴 특성을 유지합니다.

얼굴 재구성은 생성된 입 움직임과 원래 얼굴 특징을 결합하여 매끄러운 최종 결과를 만듭니다. 이 단계는 이미지 기반 렌더링, 포아송 블렌딩 및 시간적 스무딩을 사용하여 새로운 입 영역을 기존 표정과 통합하면서 자연스러운 외관을 유지합니다.

최종 단계에서는 시간적 스무딩, 색상 보정 및 아티팩트 제거를 적용하여 전문 품질 출력을 보장합니다. 고급 시스템은 일관성 검사를 위한 광학 흐름과 인간 검토 전에 잠재적인 문제를 감지하기 위한 자동화된 품질 메트릭을 사용합니다.