Como sabes, Cléo Velly es uno de mis proyectos de exploración de IA y con el que más me divierto. Con él, estoy investigando las posibilidades y el alcance de Suno, como herramienta de generación de música. Pero también implica el estudio y la prueba de distintas herramientas para crear videoclips con la correspondiente búsqueda de soluciones a los problemas que esto conlleva. Por ejemplo, no solo la resolución de cuestiones técnicas (como la sincronización labial) sino algo que es transversal a todo el trabajo con IA: el coste monetario. Si quieres meterte hasta las cejas tienes que gastarte mucho dinero. Eso es incuestionable. Pero parte de mi empeño es intentar contestar a la pregunta ¿cómo ser eficiente en la inversión? La parte de generación de vídeos es complicada en ese sentido. Y esta semana, he dedicado casi todo el tiempo a encontrar un método viable, económicamente hablando, para crear los videoclips de Cléo Velly. No quiero usar herramientas de código abierto que corren en equipos locales, porque se requiere gran capacidad de procesamiento y almacenamiento, así que la búsqueda de las herramientas se limita al ámbito de plataformas online reconocidas y de pago. Como Higgsfield, que me resistía a probar. Pero debo reconocer que proporciona funciones muy interesantes como la de Genjutsu. He pausado OpenArt que es muy parecida en opciones y precio. Hay dos artículos en Blogpocket que recogen gran parte de mi trabajo llevado a cabo estos últimos días: Cómo crear un personaje con Higgsfield, paso a paso y Prueba de Lip-Sync en HeyGen. Debo decir que todo esto no sería posible sin otro trabajo con la ayuda de Claude: la construcción progresiva de una especie de sistema operativo personalizado. Hablaré de esto en el próximo boletín de mi newsletter. Como decía al principio, Cléo Velly impulsa gran parte de mi trabajo en IA. Ahora está también en La última cassette, lo que me obliga a investigar soluciones a la obtención de voces creíbles (en esto, ElevenLabs es irremplazable) y edición automática con autoducking (atenuación automática) que, como sabes es una técnica de audio que reduce automáticamente el volumen de una pista de sonido (como música o ruido de fondo) cuando detecta otra señal principal con prioridad (como una voz hablando o un locutor). Otro proyecto que impulsa mi dedicación a la IA es Hiro y Yumi que, como el de Cléo Velly, es también transmedia. Ambos, están relacionados: el álbum de Cléo Velly Papier sous la pluie está dedicado a la historia de Hiro y Yumi. Y en el caso de la serie cinematográfica basada en el relato de Hiro y Yumi, en la que estoy inmerso, cada capítulo es un ejercicio de aprendizaje enorme. En el capítulo 3 conseguí, tras muchas pruebas -y siempre con la ayuda de Claude- una escena consistente con la discusión entre Hiro y Yumi. No es un plano secuencia -lo que hubiese sido ideal- sino una toma con cortes (bastante perfecta) pero abarcando toda una escena completa y una unidad narrativa. Algo muy complejo que no se puede hacer sin un motor de construcción de películas, como el que he desarrollado en Claude. Este motor es una skill que usa otras skills (también implementadas por mí) para optimizar los prompts de generación de imágenes y vídeos; y, sobre todo, una skill de sincronización labial, que usa ElevenLabs, para crear los clips donde los personajes hablan de manera creíble. Si te interesa cómo estoy trabajando y el qué estoy haciendo, con el único interés de aprender, lo estoy contando en el blog, en Instagram, en X, Facebook, Threads y Substack. Y en mis estados de WhatsApp 😉