
La sincronización labial con Claude ya funciona en automático. Hemos creado una skill, Voice-Sync, que sustituye las voces de Omni 1.1 Flash en Google Flow por tomas de ElevenLabs V4 y las alinea sílaba a sílaba con los labios de los personajes.
Omni pone a los personajes a hablar en español con acento inglés. Hasta ahora lo arreglábamos a mano, clip a clip. Con la skill descargas el clip, se lo pasas a Claude y recibes el vídeo doblado. Si no le das los audios, Claude los genera en ElevenLabs a través del conector MCP.
En el artículo contamos cómo trabaja la skill por dentro (detección de tramos, alineación por huella acústica, tono de sala) y mostramos el resultado con las primeras escenas del capítulo 3 de Hiro y Yumi.
Lee el artículo completo: Sincronización labial con una skill de Claude.
Imagen de portada generada con IA.

Deja una respuesta