Meta потрапила у скандал через маніпуляції з результатами тестів нових моделей штучного інтелекту

Нові моделі штучного інтелекту Llama 4 від Meta, включаючи легку Scout та середньоформатну Maverick, які за заявами компанії перевершують GPT-4o та Gemini 2.0 Flash у популярних тестах, стали об’єктом скандалу через маніпуляції з результатами тестування. Як з’ясувалося, для реклами публічної версії моделі була використана статистика експериментальної версії, недоступної для широкої аудиторії, що викликало обурення серед користувачів та аналітиків.

У пресрелізі Meta було зазначено, що модель Maverick посіла друге місце за рейтингом ELO (1417 балів), перевершуючи GPT-4o від OpenAI і наближаючись до Gemini 2.5 Pro. Ці результати спочатку виглядали вражаючими та сприяли позитивному іміджу нових моделей. Однак користувачі платформи LMArena, де порівнюють різні моделі штучного інтелекту, швидко помітили, що в документації Meta була вказівка на те, що тестувалась не публічна версія моделі, а спеціально налаштована експериментальна версія, створена для оптимізації результатів у чатах.

Meta не відразу розкрила, що для тестування було використано кастомізовану версію Llama-4-Maverick-03-26-Experimental. Після того, як ця інформація стала відома, компанія підтвердила, що статистика, використана для реклами, не відображає реальних характеристик публічної версії моделей, доступної для користувачів. Це викликало критику з боку спільноти, яка вважає такі маніпуляції недопустимими.

Керівництво LMArena в свою чергу звинуватило Meta в тому, що компанія не дотрималась стандартів чесного тестування, що підірвало довіру до їхньої платформи як індикатора реальної продуктивності моделей ШІ. У відповідь на скандал, LMArena вже оголосила про намір змінити свої правила, щоб уникнути подібних ситуацій у майбутньому. Вони зазначили, що постачальники, які можуть надати спеціально оптимізовані версії своїх моделей для тестування, а потім випускати інші публічні версії, порушують прозорість і об’єктивність тестування.

Поділитися:

АКТУАЛЬНО

ЦІКАВЕ ЗА ТЕМОЮ
У ФОКУСІ

Переговори щодо зняття блокади українського кордону мають позитивні тенденції і динаміку

Шмигаль повідомляє, що досягнув прогресу щодо зняття блокади кордону на переговорах із Туском у Варшаві. “Сьогодні я можу сказати, що ми точно маємо прогрес щодо зняття блокади, але головне – щодо вирішення всіх критичних питань, які призводять до таких блокад”, – сказав Шмигаль на брифінгу після переговорів. За його словами, план розв’язання цих питань виконується, […]

Мюнхенська конференція з безпеки: “Амбіції Москви перекреслили всі плани”

Мюнхенська конференція з безпеки представила річну доповідь з оцінки ситуації у світі під назвою “Lose-Lose?” (“Програють усі?”). Автори доповіді вказують, що звичайний порядок міжнародної співпраці виявився неефективним у вирішенні нових політичних криз. Зокрема, країни світу все менше співпрацюють і все частіше дотримуються лише своїх власних інтересів. В результаті цього у більшості поточних криз “програють усі […]

Україна та США готові підписати стратегічну угоду щодо корисних копалин

США та Україна вийшли на фінальний етап укладення рамкової угоди щодо корисних копалин, нафти, газу та інфраструктурних активів. Про це заявив міністр фінансів США Скотт Бессент 27 лютого в ефірі Fox Business. За його словами, документ уже затверджений українським урядом і готовий до підписання президентами обох країн. Очікується, що Володимир Зеленський та Дональд Трамп офіційно […]

Китай: 62-річного чоловіка стратили за напад на людей біля спортивного центру

У Китаї 62-річного Фаня Вейцзю стратили за те, що він у листопаді 2024 року на своєму автомобілі в’їхав у натовп людей біля спортивного центру в місті Чжухай, спричинивши численні жертви. Цей випадок став одним із багатьох сплесків насильства в Китаї, що привернули увагу громадськості та влади. Суд в Чжухаї виніс вирок всього через три тижні […]

Польща не буде збивати “невідомі об’єкти” на своїй території, бо її попередили

28 серпня прем’єр-міністр Польщі Дональд Туск на пресконференції повідомив, що союзники країни надали рекомендації щодо обережності у випадках порушення повітряного простору невідомими об’єктами. Це застереження є частиною ширшої стратегії підтримки та координації між країнами-членами НАТО. Туск визнав, що визначити природу невідомого об’єкта на ранньому етапі може бути складно. «Ми не завжди можемо одразу визначити, чи […]

Путін зустрінеться з посланцем Трампа Віткоффом для обговорення України

Президент Росії Володимир Путін планує провести зустріч зі спеціальним представником президента США Дональда Трампа Стівом Віткоффом. Однією з основних тем переговорів стане врегулювання ситуації в Україні. Про це 11 квітня заявив речник Кремля Дмитро Пєсков, повідомляють російські ЗМІ. За словами Пєскова, зустріч вже узгоджена і буде використана для передачі Віткоффу “основних елементів позиції Росії” щодо […]

Володар Золотого м’яча 2018 залишає Реал після 13 років

Легендарний півзахисник мадридського Реала, володар Золотого м’яча 2018 року Лука Модріч, офіційно оголосив про завершення своєї кар’єри в клубі після завершення сезону 2024/25. Про це повідомлено на офіційному сайті клубу, а сам футболіст звернувся до вболівальників із зворушливим прощальним зверненням. Модріч зазначив, що намагався відкласти цей момент якнайдовше, але визнав, що все у футболі і […]

Трамп розглядає кандидатів на своє місце: фаворити на вибори 2028 року

Президент Сполучених Штатів Дональд Трамп активно працює над питанням свого можливого наступника на майбутніх виборах 2028 року, про що повідомляє портал Axios. Згідно з інформацією видання, основними кандидатами, яких розглядає Трамп, є віцепрезидент Джей Ді Венс та державний секретар Марко Рубіо. Хоча президент вважає Венса своїм фаворитом, він все частіше відзначає заслуги Рубіо як у публічни...