Film TTS Émotion : Rendez vos narrations plus émotionnelles

Transformez des narrations plates en chefs-d'œuvre émotionnels

Et si votre narration vidéo pouvait transmettre non seulement des informations, mais aussi de véritables émotions ? Notre outil TTS amélioré par l'émotion prend le contenu vidéo existant et le dynamise avec une synthèse vocale énergique et émotionnellement expressive. En utilisant le balisage SSML avancé des Services Cognitifs Azure et la transcription d'ElevenLabs, cet outil transforme une narration plate et monotone en performances captivantes et émotionnellement résonnantes qui captivent le public.

Ce que fait cet outil d'amélioration émotionnelle

Cet outil Python représente une avancée dans la post-production audio - il extrait l'audio des vidéos existantes, le transcrit avec précision, puis re-synthétise chaque segment avec une intelligence émotionnelle. Le résultat est une nouvelle piste audio qui maintient un parfait synchronisme labial tout en ajoutant une expression dramatique, de l'énergie et des nuances émotionnelles impossibles avec les systèmes TTS traditionnels.

Comment fonctionne le pipeline émotionnel

L'outil suit un processus sophistiqué en six étapes qui transforme une narration plate en performances émotionnellement engageantes tout en maintenant une synchronisation technique parfaite.

clip = VideoFileClip(video_path)
clip.audio.write_audiofile(audio_path, codec='pcm_s16le', logger=None)

resp = requests.post(ELEVENLABS_URL, headers={'xi-api-key': ELEVENLABS_KEY}, files={'file': ('audio.wav', f, 'audio/wav')}, data={'model_id': 'scribe_v1'})

def build_emotional_ssml(text: str) -> str:
    return f'''<speak version='1.0' xmlns='http://www.w3.org/2001/10/synthesis' xmlns:mstts='https://www.w3.org/2001/mstts' xml:lang='en-US'>
  <voice name='{voice}'>
    <mstts:express-as style='advertisement_upbeat' styledegree='2'>
      <prosody rate='+15%' pitch='+8%' volume='+15%'>
        {escaped}
      </prosody>
    </mstts:express-as>
  </voice>
</speak>'''

headers = {'Ocp-Apim-Subscription-Key': AZURE_API_KEY, 'Content-Type': 'application/ssml+xml', 'X-Microsoft-OutputFormat': 'riff-24khz-16bit-mono-pcm'}
resp = requests.post(AZURE_TTS_URL, headers=headers, data=ssml.encode('utf-8'), timeout=30)

def concat_wavs(wav_paths: list[str], out_path: str) -> None:
    params = None
    frames = []
    for p in wav_paths:
        if not os.path.exists(p):
            continue
        with wave.open(p, 'rb') as wf:
            if params is None:
                params = wf.getparams()
            frames.append(wf.readframes(wf.getnframes()))
    if not frames:
        logger.warning('Aucun cadre WAV à concaténer.')
        return
    with wave.open(out_path, 'wb') as out_wf:
        out_wf.setparams(params)
        for f in frames:
            out_wf.writeframes(f)

cmd = ['ffmpeg', '-y', '-i', video_path, '-i', audio_path, '-map', '0:v:0', '-map', '1:a:0', '-c:v', 'copy', '-c:a', 'aac', '-b:a', '192k', '-shortest', out_path]

La Science de la Parole Émotionnelle

Les systèmes TTS traditionnels produisent une parole plate et monotone qui n'engage pas les audiences. Notre amélioration émotionnelle utilise un balisage SSML de pointe et le TTS neural d'Azure pour créer des performances avec une variation émotionnelle naturelle, une plage dynamique et une livraison expressive qui correspondent à un jeu vocal professionnel.

<speak version='1.0' xmlns='http://www.w3.org/2001/10/synthesis' xmlns:mstts='https://www.w3.org/2001/mstts' xml:lang='fr-FR'>
  <voice name='fr-FR-AndrewNeural'>
    <mstts:express-as style='advertisement_upbeat' styledegree='2'>
      <prosody rate='+15%' pitch='+8%' volume='+15%'>
        Votre texte émotionnel ici
      </prosody>
    </mstts:express-as>
  </voice>
</speak>

Architecture Technique

Applications Réelles

Exemple d'Implémentation de Base

def main():
    if not AZURE_API_KEY:
        logger.error('AZURE_AI_API_KEY not set. Check curify_background/.env')
        sys.exit(1)

    # Step 1: Extract audio
    if not os.path.exists(AUDIO_PATH):
        if not extract_audio(VIDEO_PATH, AUDIO_PATH):
            sys.exit(1)

    # Step 2: Transcribe
    segments = transcribe(AUDIO_PATH)

    # Step 3: TTS per segment
    wav_paths: list[str] = []
    for i, seg in enumerate(segments):
        text = seg['text'].strip()
        if not text:
            continue
        out_path = os.path.join(OUTPUT_DIR, f'segment_{i:03d}.wav')
        if os.path.exists(out_path):
            logger.info('[%02d] Segment WAV already exists, skipping TTS.', i)
            wav_paths.append(out_path)
            continue
        ssml = build_emotional_ssml(text)
        logger.info('[%02d] Generating TTS: %s…', i, text[:60])
        if azure_tts(ssml, out_path):
            wav_paths.append(out_path)

    # Step 4: Concatenate
    if not wav_paths:
        logger.error('No segments synthesised.')
        sys.exit(1)
    concat_wavs(wav_paths, FULL_WAV)

    # Step 5: Mux onto original video
    if not mux_audio_video(VIDEO_PATH, FULL_WAV, OUTPUT_MP4):
        sys.exit(1)

    logger.info('All done!')

Pourquoi l'Amélioration Émotionnelle Fonctionne

Commencer

Résultats Attendus

Avenir de l'Amélioration Émotionnelle

Nous élargissons les capacités émotionnelles avec des profils vocaux avancés, la détection d'émotions en temps réel et l'intégration avec les flux de travail de montage vidéo pour une création de contenu fluide.