ChatGPT
Perplexity
Claude
Gemini
Evaluado en 100 briefs de anuncios y 500 videos, Director obtiene los primeros puestos en las tres categorías de calidad y entrega los puntajes generales más consistentes.
OpenArt Director ocupó el puesto #1 en el benchmark Arc Ads de Physion Labs, una evaluación humana independiente de cinco agentes de generación de anuncios con IA. Comparte el primer lugar con Runway.
Un buen anuncio de video reúne un mensaje claro, una historia atractiva y una ejecución pulida. Necesita captar la atención mientras mantiene el producto, la oferta y la dirección creativa fieles al brief.
La evaluación de Physion examina qué tan bien los agentes de IA reúnen estos requisitos. Para OpenArt, los resultados marcan otro hito en el desarrollo de inteligencia creativa que ayuda a las personas a convertir ideas en trabajo creativo terminado.
De un brief publicitario a una pieza creativa terminada
Cada agente recibió los mismos 100 briefs de anuncios, produciendo 500 anuncios de video evaluados con 24 métricas.
Evaluadores humanos verificaron si cada video seguía la historia, el formato, el texto en pantalla, las afirmaciones comerciales y el audio solicitados. También evaluaron la consistencia entre escenas y compararon los anuncios lado a lado para juzgar su ejecución creativa.
Director obtuvo un puesto destacado en las tres categorías:
- Fidelidad y coherencia con el brief: Seguir las instrucciones y mantener la historia, el producto, los personajes y el estilo consistentes.
- Calidad de producción: Producir visuales, movimiento, audio, iluminación y color bien ejecutados.
- Efectividad del anuncio: Evaluaciones humanas de atención, claridad, originalidad, impresión de marca y persuasión.
La categoría de efectividad evalúa el creativo en sí mediante juicios humanos, en lugar de resultados de campañas en vivo.
Los puntajes más altos en cuatro aspectos esenciales de producción
Director obtuvo un puntaje más alto que cualquier otro agente evaluado, incluido Runway, en cuatro medidas individuales:
- Seguir la historia: Incluir las escenas y acciones requeridas en el orden especificado por el brief.
- Entregar el sonido y el diálogo solicitados: Incluye los elementos de audio requeridos y las líneas habladas.
- Renderizar visuales limpias: Evitar rostros, cuerpos, objetos y otros defectos visuales deformes.
- Mantener el audio estable: Mantener niveles estables sin recortes, crujidos, cortes ni silencios no deseados.
Estos son detalles prácticos que determinan si un creativo sigue su brief y cuánta atención puede requerir su ejecución. Los puntajes más altos de Director en estas medidas reflejan su fortaleza para traducir instrucciones en un anuncio coherente y pulido.
Los puntajes generales más consistentes en 100 briefs
Director también registró la menor variación en los puntajes de calidad general entre los cinco agentes evaluados.
Eso importa porque la producción creativa involucra distintos productos, mensajes y requisitos narrativos. Un flujo de trabajo útil necesita rendir en todas esas tareas.
El resultado demuestra la consistencia de Director en los distintos briefs evaluados, además de su mejor posición general en el ranking.
Desarrollando inteligencia creativa para la publicidad
Un brief de anuncio establece lo que un creativo necesita comunicar. Convertirlo en un video terminado requiere decisiones conectadas sobre escenas, ritmo, composición y sonido.
Esta es la inteligencia creativa que estamos desarrollando con Director: entender la intención de un creador y coordinar las decisiones necesarias para expresarla.
Director lleva ese proceso a un flujo de trabajo conversacional, con una línea de tiempo profesional para refinar el resultado. Los creadores pueden desarrollar un concepto, guiar su ejecución y dar forma a la edición final mientras mantienen el brief en el centro del trabajo.
La ambición de OpenArt es liderar el cambio hacia lo agéntico en el trabajo creativo, haciendo que la producción creativa de calidad sea accesible para más personas.
"Nuestra misión es hacer que la creatividad sea accesible. Una buena idea creativa no debería depender de tener un gran presupuesto de producción para hacerse realidad", dijo Coco Mao, CEO de OpenArt. "Estamos desarrollando Director para ayudar a las personas a convertir su visión en trabajo terminado, con control sobre la historia, el mensaje y el resultado final".