ChatGPT
Perplexity
Claude
Gemini
Évalué sur 100 briefs publicitaires et 500 vidéos, Director se hisse en tête des trois catégories de qualité et offre les scores globaux les plus réguliers.
OpenArt Director s'est classé n°1 du benchmark Arc Ads de Physion Labs, une évaluation humaine indépendante de cinq agents de génération de pubs IA. Il partage la première place avec Runway.
Une bonne pub vidéo réunit un message clair, une histoire captivante et une exécution soignée. Elle doit capter l'attention tout en gardant le produit, l'offre et la direction créative fidèles au brief.
L'évaluation de Physion examine à quel point les agents IA réunissent efficacement ces exigences. Pour OpenArt, ces résultats marquent une nouvelle étape dans la création d'une intelligence créative qui aide chacun à transformer ses idées en œuvres abouties.
Du brief publicitaire à la création aboutie
Chaque agent a reçu les mêmes 100 briefs publicitaires, produisant 500 pubs vidéo évaluées selon 24 critères.
Des évaluateurs humains ont vérifié si chaque vidéo respectait le scénario, le format, le texte à l'écran, les arguments commerciaux et l'audio demandés. Ils ont aussi évalué la cohérence entre les scènes et comparé les pubs côte à côte pour juger de leur exécution créative.
Director s'est classé en tête des trois catégories :
- Fidélité au brief et cohérence : Suivre les instructions et garder l'histoire, le produit, les personnages et le style cohérents.
- Qualité de production : Produire des visuels, mouvements, audio, éclairage et couleurs bien exécutés.
- Efficacité publicitaire : Évaluations humaines de l'attention, de la clarté, de l'originalité, de l'impression de marque et du pouvoir de persuasion.
La catégorie efficacité évalue la création elle-même via des jugements humains, plutôt que via les résultats de campagnes réelles.
Meilleurs scores sur quatre essentiels de la production
Director a obtenu un meilleur score que tous les autres agents évalués, y compris Runway, sur quatre critères individuels :
- Respect de l'histoire : Inclure les scènes et actions requises dans l'ordre spécifié par le brief.
- Restituer le son et les dialogues demandés : Inclure les éléments audio et les répliques requis.
- Rendu de visuels nets : Éviter les visages, corps, objets déformés et autres défauts visuels.
- Maintenir un audio stable : Maintenir des niveaux stables sans saturation, grésillement, coupures ni silence involontaire.
Ce sont des détails concrets qui déterminent si une création respecte son brief et le niveau d'attention que son exécution peut nécessiter. Les meilleurs scores de Director sur ces critères reflètent sa capacité à traduire des instructions en une pub cohérente et soignée.
Les scores globaux les plus réguliers sur 100 briefs
Director a aussi affiché la plus faible variation des scores de qualité globale parmi les cinq agents évalués.
C'est important, car la production créative implique des produits, messages et exigences narratives variés. Un workflow utile doit être à la hauteur de toutes ces missions.
Ce résultat démontre la régularité de Director sur l'ensemble des briefs testés, en plus de son meilleur classement global.
Développer l'intelligence créative pour la publicité
Un brief publicitaire définit ce qu'une création doit communiquer. Le transformer en vidéo aboutie exige des choix cohérents sur les scènes, le rythme, la composition et le son.
C'est l'intelligence créative que nous construisons avec Director : comprendre l'intention d'un créateur et coordonner les choix nécessaires pour l'exprimer.
Director intègre ce processus dans un workflow conversationnel, avec une timeline pro pour peaufiner le résultat. Les créateurs peuvent développer un concept, guider sa réalisation et façonner le montage final tout en gardant le brief au cœur du travail.
L'ambition d'OpenArt est de mener le virage agentique de la création, en rendant une production créative de qualité accessible au plus grand nombre.
« Notre mission est de rendre la créativité accessible. Une bonne idée créative ne devrait pas dépendre d'un gros budget de production pour prendre vie », déclare Coco Mao, CEO d'OpenArt. « Nous concevons Director pour aider chacun à transformer sa vision en œuvre aboutie, avec le contrôle sur l'histoire, le message et le résultat final. »