Эмоциональный TTS фильм: сделайте свои нарративы более эмоциональными

Преобразуйте плоские нарративы в эмоциональные шедевры

Что если ваша видео-наррация могла бы передавать не только информацию, но и искренние эмоции? Наш инструмент TTS с улучшенной эмоциональностью берет существующий видеоконтент и усиливает его высокоэнергетическим, эмоционально выразительным синтезом голоса. Используя продвинутую разметку SSML от Azure Cognitive Services и транскрипцию от ElevenLabs, этот инструмент преобразует плоскую, монотонную наррацию в захватывающие, эмоционально резонирующие выступления, которые увлекают аудиторию.

Что делает этот инструмент улучшения эмоций

Этот инструмент на Python представляет собой прорыв в аудиопост-продакшене - он извлекает аудио из существующих видео, точно транскрибирует его, а затем повторно синтезирует каждый сегмент с эмоциональным интеллектом. Результат - новая аудиодорожка, которая сохраняет идеальную синхронизацию губ, добавляя драматическое выражение, энергию и эмоциональные нюансы, которые были невозможны с традиционными системами TTS.

Как работает эмоциональный процесс

Инструмент следует сложному шестишаговому процессу, который преобразует плоскую наррацию в эмоционально вовлекающие выступления, сохраняя идеальную техническую синхронизацию.

clip = VideoFileClip(video_path)
clip.audio.write_audiofile(audio_path, codec='pcm_s16le', logger=None)

resp = requests.post(ELEVENLABS_URL, headers={'xi-api-key': ELEVENLABS_KEY}, files={'file': ('audio.wav', f, 'audio/wav')}, data={'model_id': 'scribe_v1'})

def build_emotional_ssml(text: str) -> str:
    return f'''<speak version='1.0' xmlns='http://www.w3.org/2001/10/synthesis' xmlns:mstts='https://www.w3.org/2001/mstts' xml:lang='en-US'>
  <voice name='{voice}'>
    <mstts:express-as style='advertisement_upbeat' styledegree='2'>
      <prosody rate='+15%' pitch='+8%' volume='+15%'>
        {escaped}
      </prosody>
    </mstts:express-as>
  </voice>
</speak>'''

headers = {'Ocp-Apim-Subscription-Key': AZURE_API_KEY, 'Content-Type': 'application/ssml+xml', 'X-Microsoft-OutputFormat': 'riff-24khz-16bit-mono-pcm'}
resp = requests.post(AZURE_TTS_URL, headers=headers, data=ssml.encode('utf-8'), timeout=30)

def concat_wavs(wav_paths: list[str], out_path: str) -> None:
    params = None
    frames = []
    for p in wav_paths:
        if not os.path.exists(p):
            continue
        with wave.open(p, 'rb') as wf:
            if params is None:
                params = wf.getparams()
            frames.append(wf.readframes(wf.getnframes()))
    if not frames:
        logger.warning('Нет WAV кадров для конкатенации.')
        return
    with wave.open(out_path, 'wb') as out_wf:
        out_wf.setparams(params)
        for f in frames:
            out_wf.writeframes(f)

cmd = ['ffmpeg', '-y', '-i', video_path, '-i', audio_path, '-map', '0:v:0', '-map', '1:a:0', '-c:v', 'copy', '-c:a', 'aac', '-b:a', '192k', '-shortest', out_path]

Наука эмоциональной речи

Традиционные системы TTS производят плоскую, монотонную речь, которая не привлекает внимание аудитории. Наша эмоциональная улучшение использует передовую разметку SSML и нейронный TTS Azure для создания выступлений с естественным эмоциональным разнообразием, динамическим диапазоном и выразительной подачей, соответствующей профессиональному озвучиванию.

<speak version='1.0' xmlns='http://www.w3.org/2001/10/synthesis' xmlns:mstts='https://www.w3.org/2001/mstts' xml:lang='en-US'>
  <voice name='en-US-AndrewNeural'>
    <mstts:express-as style='advertisement_upbeat' styledegree='2'>
      <prosody rate='+15%' pitch='+8%' volume='+15%'>
        Ваш эмоциональный текст здесь
      </prosody>
    </mstts:express-as>
  </voice>
</speak>

Техническая архитектура

Применение в реальном мире

Пример основной реализации

def main():
    if not AZURE_API_KEY:
        logger.error('AZURE_AI_API_KEY not set. Check curify_background/.env')
        sys.exit(1)

    # Step 1: Extract audio
    if not os.path.exists(AUDIO_PATH):
        if not extract_audio(VIDEO_PATH, AUDIO_PATH):
            sys.exit(1)

    # Step 2: Transcribe
    segments = transcribe(AUDIO_PATH)

    # Step 3: TTS per segment
    wav_paths: list[str] = []
    for i, seg in enumerate(segments):
        text = seg['text'].strip()
        if not text:
            continue
        out_path = os.path.join(OUTPUT_DIR, f'segment_{i:03d}.wav')
        if os.path.exists(out_path):
            logger.info('[%02d] Segment WAV already exists, skipping TTS.', i)
            wav_paths.append(out_path)
            continue
        ssml = build_emotional_ssml(text)
        logger.info('[%02d] Generating TTS: %s…', i, text[:60])
        if azure_tts(ssml, out_path):
            wav_paths.append(out_path)

    # Step 4: Concatenate
    if not wav_paths:
        logger.error('No segments synthesised.')
        sys.exit(1)
    concat_wavs(wav_paths, FULL_WAV)

    # Step 5: Mux onto original video
    if not mux_audio_video(VIDEO_PATH, FULL_WAV, OUTPUT_MP4):
        sys.exit(1)

    logger.info('All done!')

Почему эмоциональное улучшение работает

Начало работы

Ожидаемые результаты

Будущее эмоционального улучшения

Мы расширяем эмоциональные возможности с помощью продвинутых голосовых профилей, обнаружения эмоций в реальном времени и интеграции с рабочими процессами видеомонтажа для бесшовного создания контента.