Película TTS Emocional: Haz que tus Narrativas Suenen Más Emocionales

Transforma Narrativas Planas en Obras Maestras Emocionales

¿Y si tu narración en video pudiera transmitir no solo información, sino emoción genuina? Nuestra herramienta TTS mejorada por emociones toma contenido de video existente y lo potencia con síntesis de voz emocionalmente expresiva y de alta energía. Usando el marcado SSML avanzado de Azure Cognitive Services y la transcripción de ElevenLabs, esta herramienta transforma narraciones planas y monótonas en actuaciones cautivadoras y emocionalmente resonantes que cautivan al público.

Qué Hace Esta Herramienta de Mejora Emocional

Esta herramienta de Python representa un avance en la postproducción de audio: extrae audio de videos existentes, lo transcribe con precisión y luego re-sintetiza cada segmento con inteligencia emocional. El resultado es una nueva pista de audio que mantiene un perfecto lip-sync mientras añade expresión dramática, energía y matices emocionales que eran imposibles con sistemas TTS tradicionales.

Cómo Funciona el Proceso Emocional

La herramienta sigue un sofisticado proceso de seis pasos que transforma narraciones planas en actuaciones emocionalmente atractivas mientras mantiene una perfecta sincronización técnica.

clip = VideoFileClip(video_path)
clip.audio.write_audiofile(audio_path, codec='pcm_s16le', logger=None)

resp = requests.post(ELEVENLABS_URL, headers={'xi-api-key': ELEVENLABS_KEY}, files={'file': ('audio.wav', f, 'audio/wav')}, data={'model_id': 'scribe_v1'})

def build_emotional_ssml(text: str) -> str:
    return f'''<speak version='1.0' xmlns='http://www.w3.org/2001/10/synthesis' xmlns:mstts='https://www.w3.org/2001/mstts' xml:lang='en-US'>
  <voice name='{voice}'>
    <mstts:express-as style='advertisement_upbeat' styledegree='2'>
      <prosody rate='+15%' pitch='+8%' volume='+15%'>
        {escaped}
      </prosody>
    </mstts:express-as>
  </voice>
</speak>'''

headers = {'Ocp-Apim-Subscription-Key': AZURE_API_KEY, 'Content-Type': 'application/ssml+xml', 'X-Microsoft-OutputFormat': 'riff-24khz-16bit-mono-pcm'}
resp = requests.post(AZURE_TTS_URL, headers=headers, data=ssml.encode('utf-8'), timeout=30)

def concat_wavs(wav_paths: list[str], out_path: str) -> None:
    params = None
    frames = []
    for p in wav_paths:
        if not os.path.exists(p):
            continue
        with wave.open(p, 'rb') as wf:
            if params is None:
                params = wf.getparams()
            frames.append(wf.readframes(wf.getnframes()))
    if not frames:
        logger.warning('No hay frames WAV para concatenar.')
        return
    with wave.open(out_path, 'wb') as out_wf:
        out_wf.setparams(params)
        for f in frames:
            out_wf.writeframes(f)

cmd = ['ffmpeg', '-y', '-i', video_path, '-i', audio_path, '-map', '0:v:0', '-map', '1:a:0', '-c:v', 'copy', '-c:a', 'aac', '-b:a', '192k', '-shortest', out_path]

La Ciencia del Discurso Emocional

Los sistemas TTS tradicionales producen un discurso plano y monótono que no logra captar la atención del público. Nuestra mejora emocional utiliza un marcado SSML de vanguardia y TTS neural de Azure para crear actuaciones con variación emocional natural, rango dinámico y entrega expresiva que coincide con la actuación de voz profesional.

<speak version='1.0' xmlns='http://www.w3.org/2001/10/synthesis' xmlns:mstts='https://www.w3.org/2001/mstts' xml:lang='en-US'>
  <voice name='en-US-AndrewNeural'>
    <mstts:express-as style='advertisement_upbeat' styledegree='2'>
      <prosody rate='+15%' pitch='+8%' volume='+15%'>
        Tu texto emocional aquí
      </prosody>
    </mstts:express-as>
  </voice>
</speak>

Arquitectura Técnica

Aplicaciones del Mundo Real

Ejemplo de Implementación Central

def main():
    if not AZURE_API_KEY:
        logger.error('AZURE_AI_API_KEY not set. Check curify_background/.env')
        sys.exit(1)

    # Step 1: Extract audio
    if not os.path.exists(AUDIO_PATH):
        if not extract_audio(VIDEO_PATH, AUDIO_PATH):
            sys.exit(1)

    # Step 2: Transcribe
    segments = transcribe(AUDIO_PATH)

    # Step 3: TTS per segment
    wav_paths: list[str] = []
    for i, seg in enumerate(segments):
        text = seg['text'].strip()
        if not text:
            continue
        out_path = os.path.join(OUTPUT_DIR, f'segment_{i:03d}.wav')
        if os.path.exists(out_path):
            logger.info('[%02d] Segment WAV already exists, skipping TTS.', i)
            wav_paths.append(out_path)
            continue
        ssml = build_emotional_ssml(text)
        logger.info('[%02d] Generating TTS: %s…', i, text[:60])
        if azure_tts(ssml, out_path):
            wav_paths.append(out_path)

    # Step 4: Concatenate
    if not wav_paths:
        logger.error('No segments synthesised.')
        sys.exit(1)
    concat_wavs(wav_paths, FULL_WAV)

    # Step 5: Mux onto original video
    if not mux_audio_video(VIDEO_PATH, FULL_WAV, OUTPUT_MP4):
        sys.exit(1)

    logger.info('All done!')

Por qué funciona la mejora emocional

Comenzando

Resultados Esperados

Futuro de la Mejora Emocional

Estamos expandiendo las capacidades emocionales con perfiles de voz avanzados, detección de emociones en tiempo real e integración con flujos de trabajo de edición de video para una creación de contenido fluida.