Mixture of Agents : intérêt réel ou simple effet de mode ?

La Mixture of Agents (MoA) consiste à faire répondre plusieurs modèles à la même question, puis à faire combiner leurs réponses par un agrégateur. L’idée : plusieurs regards valent mieux qu’un.

Les résultats de recherche dépendent de leurs tâches et de leurs modèles. Plusieurs appels ajoutent des coûts et des étapes, à mesurer sur ton usage. Pour une TPE ou une PME, deux questions se posent dans l’ordre : « est-ce que ça vaut le coup sur mes tâches ? » puis seulement ensuite « est-ce que ça marche techniquement ? »

Le principe : plusieurs réponses, une synthèse

Le papier de recherche fondateur décrit une architecture en couches : chaque couche contient plusieurs agents LLM, et chaque agent reçoit les sorties des agents de la couche précédente comme information auxiliaire pour générer sa réponse. [32]

En clair : quatre modèles réfléchissent chacun de leur côté, puis un agrégateur combine leurs propositions en une réponse finale qui doit être évaluée face aux réponses individuelles.

Exemple documenté : Together AI envoie une même demande sur les activités à faire à San Francisco à quatre modèles ouverts en parallèle, puis confie leurs quatre réponses à un modèle agrégateur. Une seule réponse mobilise donc au moins cinq appels. Le fournisseur cite la génération de données synthétiques parmi les usages où cette latence supplémentaire reste acceptable. [33]

Ce que disent les chiffres

Le papier MoA de juin 2024 rapporte un score de 65,1 % sur AlpacaEval 2.0 avec sa configuration de modèles ouverts, contre 57,5 % pour GPT-4 Omni dans cette comparaison. [32]

Ce benchmark ne prouve pas que toute combinaison améliore un dossier client. Le coût total additionne les tokens d’entrée et de sortie de chaque appel, au tarif du modèle concerné, y compris l’agrégateur. Le nombre d’agents ne donne pas à lui seul un multiplicateur de prix.

Le vote des modèles

Pour visualiser le mécanisme, regardons une même question posée à plusieurs modèles. Clique sur « Consulter les modèles » pour voir les réponses puis la synthèse de l’agrégateur.

Ce que montre la simulation

• chaque modèle apporte un angle : l’un structure, l’autre précise, le troisième relit, le dernier complète ;
• l’agrégateur combine ces angles en une réponse finale ;
• les quatre réponses et la synthèse représentent cinq appels, chacun avec son propre coût ;
• dans cet exemple parallèle, le délai dépend du plus lent des quatre appels, puis de la synthèse et de l’orchestration.

Le coût réel

Chaque question posée en MoA déclenche plusieurs appels de modèles, autant d’appels facturés. Together AI, qui propose MoA comme service, documente le mécanisme : plusieurs modèles sont consultés puis leurs réponses sont agrégées. [33] L’implémentation de référence, publiée en open source, suit le même principe. [34] Le blog officiel de l’entreprise présente la même architecture comme un moyen de combiner les forces de plusieurs modèles. [35]

Pour une entreprise, la traduction est simple : le coût d’une demande passe de « un appel » à « plusieurs appels ». Son intérêt dépend du gain obtenu, du volume, des tarifs et du délai acceptable.

Quand c’est utile pour une PME

La MoA se justifie quand la qualité de la réponse prime sur la vitesse et le coût :

• une synthèse de devis complexe ou de documents juridiques ;
• une réponse stratégique destinée à un client important ;
• un contenu qui sera publié et qui doit être irréprochable.

Pour une relance standard, une réponse de routine ou un classement, commence par un seul modèle bien outillé. Ajoute des modèles seulement si une évaluation montre un gain utile, après prise en compte du coût et des erreurs supplémentaires possibles.

La règle reste celle du reste de la série : commence simple, mesure le gain réel, et n’ajoute de la complexité que lorsqu’elle paie.

Le résumé utile

La série passe à la vérification : comment tester un agent avant sa mise en production.