Un nuevo complemento de creación de música utiliza inteligencia artificial para componer canciones sobre la marcha que coinciden con el tono visual y el ritmo de los videos de los creadores.
por PARKER HALL
EN UNA RECIENTE demostración realizada a través de Zoom, vi cómo la aplicación de composición musical Dynascore transformaba el tenor emocional completo de un video corto varias veces en menos de un minuto, todo sin alterar un solo cuadro de las imágenes. Lo que comenzó en mi breve resumen como un anuncio de entrenamiento muy serio con una banda sonora muy seria, algo en lo que esperarías ver un sudor de neón saliendo de la cabeza del atleta detrás de un logotipo de Gatorade, rápidamente cambió de tono a algo un poco más divertido. El motor de inteligencia artificial dentro de Dynascore cambió el tema musical de la película de acción por la sombría Sonata Moonlight de Beethoven, transformando repentinamente el video en una comedia oscura.
Unos pocos toques del mouse en el otro extremo de la ventana de Zoom, unos segundos de renderizado, y estaba viendo el mismo video con una canción pop moderna ahora superpuesta, igualmente ajustada a los primeros planos corpulentos en la pantalla. . Esta vez, el resultado se sintió más como un video musical.
Si alguna vez ha producido un video, ya sea para un cliente que paga o para su propio canal de YouTube, probablemente esté babeando en este momento. Todos los productores de videos saben que las pistas de música en stock (los jingles prefabricados, a menudo sin palabras, comprados en una biblioteca en línea) encajan como un traje prestado. Pero cuando la alternativa ha sido pasar innumerables horas editando canciones más conocidas para que se ajusten al ritmo y la duración de su video, muchos editores de video se han conformado con la opción fácil de seleccionar una pieza de audio enlatada del estante virtual.
El software impulsado por IA de Dynascore es capaz de tomar una pieza musical compuesta, luego cortarla automáticamente y “recomponer” la canción para que se ajuste al video con el que esté trabajando. Los productores pueden probar nuevas canciones de inmediato. Un usuario también puede volver a renderizar cualquiera de los cientos de canciones clásicas y compuestas en casa para adaptarse perfectamente a la duración y el ritmo del mismo video, ya sea dentro de un complemento de Adobe Premiere Pro o mediante la propia aplicación de la empresa. ¿Necesita una transición musical o un golpe final para un logotipo? No hay problema. ¿Te gusta la canción pero necesitas que se desarrolle más lentamente? Entiendo. Debido a que está escrito por un compositor de IA y la música no tiene derechos de autor o está escrita internamente en Dynascore, cada melodía viene con una licencia que permite el uso global ilimitado de la música.
“Creo que es increíble”, dice el camarógrafo profesional Joseph DiGiovanna , quien pasó meses probando el software antes de su lanzamiento. “La verdad es que el campo de juego se ha nivelado al 100 por ciento”, dice, “El chico con el teléfono celular está preparado para el mismo trabajo en Vogue que yo”.
Limonada socialmente distanciada
Dynascore no existiría si 2020 hubiera ido según lo planeado. Desafortunadamente para el músico neoyorquino Greg Jarrett y para Yunus Saatchi, que entonces era investigador en Uber AI Labs, la gente dejó de compartir viajes en masa al mismo tiempo que los teatros de Broadway cerraban sus puertas. Para el dúo, y para muchos en el equipo que ayudaría a crear Dynascore, la vida bajo Covid rápidamente se convirtió en una gran incertidumbre.
Uber cerró la división de inteligencia artificial líder en la industria para la que trabajaba Saatchi, y el espectáculo fuera de Broadway en el que Jarrett estaba trabajando como director musical tuvo una pausa indefinida.
“Nos fuimos el fin de semana pensando que volveríamos el martes”, dice, “y luego dos semanas. Y luego cuatro semanas. Y luego seis meses “.
Saatchi encontró un nuevo trabajo rápidamente, gracias a una reunión con el compositor Peter Lerman durante su tiempo en Uber. El hermano de Peter, Howard, es el emprendedor tecnológico que fundó Yext , una plataforma de búsqueda impulsada por IA. Una idea para una herramienta de música basada en inteligencia artificial le valió a Saatchi un trabajo como parte de Wonder Inventions, una nueva compañía respaldada por el fundador de Yext.
No tuvieron muchos problemas para encontrar músicos para componer melodías; Peter tenía conexiones profundas con la escena musical de Nueva York, y gente como Jarret necesitaba algo para ocupar su tiempo.
Con Jarrett y un pequeño grupo de compositores, arreglistas y orquestadores de Broadway sin licencia para escribir la música, el equipo técnico de Dynascore tropezó con el mejor de los casos en lo que respecta al talento interno. ¿Quién mejor para escribir piezas que evocan drama visual que aquellos a los que ya se les paga por hacerlo todas las noches
El problema humano
Las orejas de oro de los compositores humanos son realmente la clave del éxito final de Dynascore. El problema histórico con la música basada en inteligencia artificial, o “compuesta algorítmicamente”, según Saatchi, fue que principalmente intentaba enseñar a los instrumentos de software a escribir música desde cero, en lugar de reinterpretar piezas que ya habían sido escritas.
“Hacer música que realmente resuene en la gente es un problema humano, así que tienes que empezar con la gente”, dice Saatchi. “La IA es el supercargador para los humanos”.
En los primeros días de Dynascore, Saatchi y el equipo trabajaron para desarrollar una forma de dividir la música original y los clásicos sin derechos de autor (piense en ” Hall of the Mountain King ” de Grieg ) en segmentos que llaman “morfonos”. Le enseñarían una canción a la IA y luego le pedirían que recompusiera algo similar usando los morfones de la canción original como guía. Luego, pedirían a los músicos que criticaran la composición de la IA.
Hacer que la música encaje perfectamente en un video no es tan simple como dividir canciones existentes de manera predecible. Las transiciones orgánicas requieren una comprensión más profunda de la clave, el ritmo y la intensidad, entre otros marcadores musicales. Como tal, los morfonos no solo indican la velocidad y el tono de una canción. También indican varias otras características tonales y musicales, todas las cuales permiten a la IA saber qué tipos de bloques musicales de Lego se unen de qué manera.
Después de desarrollar el sistema morphone, el equipo alimentaría las canciones de IA y las recompondría. Pasó un tiempo antes de que estuviera lo suficientemente alfabetizado musicalmente como para tomar buenas decisiones.
“La IA componía una pieza y los músicos decían, ‘Eso estuvo mal’”, dice Saatchi, riendo entre dientes ante la simplicidad de la prueba. “Obtiene esa retroalimentación y aprende de ella, y llega al punto en que, de repente, crea composiciones coherentes”.
La IA pronto se volvió lo suficientemente inteligente como para adaptarse a transiciones, desvanecimientos, interrupciones y otros cambios de tiempo dictados por el usuario en cada melodía que escribió. Nació la versión de Dynascore que presencié remodelando el Moonlight Sonata.
Quitarse una carga
El logro de Dynascore representa una mejora espectacular de lo que históricamente ha sido un flujo de trabajo engorroso.
“Cuando trabajas como editor o cineasta, pasas mucho tiempo con la música, porque tienes que adaptarla fotograma a fotograma”, dice DiGiovanna, quien ha trabajado en todo, desde largometrajes hasta anuncios de televisión, “Con Dynascore, puedes hacerlo sobre la marcha “.
Una herramienta que permite la composición musical dinámica es particularmente útil cuando se trabaja en proyectos comerciales en los que es posible que sea necesario reducir ciertos elementos. DiGiovanna da un ejemplo de un director que necesita que le quiten la cartera a un anuncio que creó.
“Tienes que quitar cinco segundos de video, y ahora el final de la canción no funciona, la transición a la siguiente canción no funciona”, dice, “Ahí es cuando Dynascore me va a ahorrar mucho tiempo. . “
El nuevo software le ofrece un lujo que la mayoría de los productos nuevos no ofrecen en abundancia: tiempo. Cuando se le pregunta cuánto podría salvarlo de manera realista, se muestra entusiasmado. “Horas, a veces un día entero”.
Una nueva dinámica
En términos del arte en sí, el desarrollo más emocionante que Dynascore aporta a los cineastas aspirantes y establecidos es la cantidad de opciones musicales nuevas que pueden probar para una pieza determinada. Desde ritmos hip-hop hasta reinterpretaciones de obras clásicas sin derechos de autor, los usuarios pueden elegir vibraciones musicales específicas para probar, todo sin los mismos costos de bolsillo en los que podrían haber incurrido de otra manera.
En mi experiencia inicial con Dynascore, pude ver las diferencias en los resultados cuando se colocaron varias canciones diferentes sobre el mismo video. Desde música clásica hasta un ritmo de hip-hop y una canción popular, pude obtener tres versiones distintas de ese anuncio de entrenamiento frente a mí en minutos, cada una de las cuales se ajustaba al video.
Anteriormente, habría tenido que seleccionar música de archivo, y las canciones no habrían sido ajustadas a la forma. La naturaleza personalizada de los sonidos realmente hace que cada video se sienta más profesional y menos como una demostración para un sitio web de música de archivo.
“Es difícil creer cuánto una pieza musical puede cambiar cómo te sientes acerca de lo que estás viendo”, dice el compositor Jarrett, “Puedes hacer algo y puede ser como, ‘¿Quién sabía que podría ser esto también?’ “
Compre una vez, use en cualquier lugar
El hecho de que un motor de inteligencia artificial esté ensamblando la música plantea algunas preguntas sobre cómo se pagará a los compositores internos de Dynascore si, por ejemplo, una de las canciones que compusieron originalmente termina siendo utilizada para un comercial del Super Bowl o en un avance de un película de gran éxito. Por lo general, los grandes proyectos como estos generan grandes recompensas para los compositores. Los líderes de Dynascore dicen que están comprometidos a examinar estos problemas a medida que surjan. Por ahora, los proyectos de mayor presupuesto probablemente continuarán utilizando compositores humanos, pero no es difícil ver cómo la IA podría involucrarse cada vez más en videos como los que aparecen en Instagram, TikTok y YouTube.
De hecho, la licencia global ilimitada es un componente clave para lo que puede hacer que el software sea un éxito, al menos en términos del agnosticismo de plataforma de la música que ofrece.
Tener una única licencia global de su propiedad, a perpetuidad, significa que puede usar las canciones de Dynascore en cualquier lugar que desee, cuando lo desee.
“Por lo general, si se trata de compositores estadounidenses y se trata de canciones que son de dominio público, debería poder comprar todos los derechos necesarios”, dice el abogado y experto de la industria Donald S. Passman, autor de Todo lo que necesita saber sobre el negocio de la música , uno de los libros más emblemáticos sobre licencias.
Afinado
Saatchi tiene una idea clara de lo bueno que quiere que sea la IA. “Mi métrica como oyente es que no deberías saber si una máquina lo hizo o si estaba en un estudio”, dice. Al menos por lo que he visto y oído, Dynascore cumple con ese estándar.
Dada la calidad de la música y la asequibilidad del plug-in (ahora cuesta $ 19 por mes por pistas ilimitadas), es difícil imaginar cómo Dynascore no ganará terreno entre los creadores hambrientos de una experiencia musical más personalizada. La compañía también ha lanzado una API de desarrollador, un conjunto de herramientas que permitirá a los desarrolladores de software de terceros utilizar el motor de música en sus aplicaciones, lo que hace que la creación de contenido sea aún más fácil para aquellos de nosotros sin una suscripción de Adobe.
Incluso DiGiovanna, que en realidad tiene las habilidades musicales para componer su propia música para los videos que crea, ve a Dynascore como una herramienta que deshace los límites creativos del medio. “Es como el cielo”, dice.
Fuente: https://www.wired.com/story/dynascore-ai-music-engine/?utm_source=WIR_REG_GATE
