Hugging Face intègre les résultats Every Eval Ever

Hugging Face et EEE ont annoncé que les résultats des évaluations Every Eval Ever (EEE) et des Community Evals de Hugging Face sont désormais intercompatibles. Cette intégration permet la publication croisée et l'interprétation des résultats d'évaluation. EEE est un projet lancé en février 2026 par la coalition EvalEval, tandis que Hugging Face a introduit Community Evals pour décentraliser les scores de référence sur sa plateforme.

Avant cette unification, les résultats des évaluations de modèles IA étaient dispersés et difficiles à comparer, apparaissant dans des formats variés tels que des articles, des tableaux de classement ou des blogs. EEE propose désormais un schéma JSON standardisé pour centraliser ces résultats, simplifiant la comparaison et le choix des modèles par les utilisateurs. Hugging Face a également établi des outils pour faciliter les contributions via sa plateforme.

Avec plus de 229,000 résultats d'évaluation rassemblés concernant plus de 22,000 modèles sur 2,200 benchmarks, cette centralisation évite la dispersion des données coûteuses. Le convertisseur développé par Hugging Face permet de transformer les enregistrements EEE en fichiers YAML adaptés à sa plateforme, assurant ainsi que les résultats d'évaluation soient visibles et compréhensibles à la fois sur le modèle card et le classement des benchmarks associés.

Les implications pratiques incluent une attribution améliorée et une vérification facilitée des données. Les contributeurs peuvent soumettre des résultats à la fois à EEE et aux Community Evals de Hugging Face, offrant aux chercheurs, utilisateurs et décideurs une meilleure trace des évaluations. Cette initiative conjointe améliore la transparence et facilite la validation des résultats au sein de la communauté IA.

Comparativement, cette intégration de résultats offre une visibilité accrue et une interprétation simplifiée des capacités des modèles IA pour tous les acteurs impliqués. Plus d'informations sur le fonctionnement et les contributions peuvent être consultées via le site EvalEval AI et le blog de Hugging Face.