Meta потрапила у скандал через маніпуляції з результатами тестів нових моделей штучного інтелекту

Нові моделі штучного інтелекту Llama 4 від Meta, включаючи легку Scout та середньоформатну Maverick, які за заявами компанії перевершують GPT-4o та Gemini 2.0 Flash у популярних тестах, стали об’єктом скандалу через маніпуляції з результатами тестування. Як з’ясувалося, для реклами публічної версії моделі була використана статистика експериментальної версії, недоступної для широкої аудиторії, що викликало обурення серед користувачів та аналітиків.

У пресрелізі Meta було зазначено, що модель Maverick посіла друге місце за рейтингом ELO (1417 балів), перевершуючи GPT-4o від OpenAI і наближаючись до Gemini 2.5 Pro. Ці результати спочатку виглядали вражаючими та сприяли позитивному іміджу нових моделей. Однак користувачі платформи LMArena, де порівнюють різні моделі штучного інтелекту, швидко помітили, що в документації Meta була вказівка на те, що тестувалась не публічна версія моделі, а спеціально налаштована експериментальна версія, створена для оптимізації результатів у чатах.

Meta не відразу розкрила, що для тестування було використано кастомізовану версію Llama-4-Maverick-03-26-Experimental. Після того, як ця інформація стала відома, компанія підтвердила, що статистика, використана для реклами, не відображає реальних характеристик публічної версії моделей, доступної для користувачів. Це викликало критику з боку спільноти, яка вважає такі маніпуляції недопустимими.

Керівництво LMArena в свою чергу звинуватило Meta в тому, що компанія не дотрималась стандартів чесного тестування, що підірвало довіру до їхньої платформи як індикатора реальної продуктивності моделей ШІ. У відповідь на скандал, LMArena вже оголосила про намір змінити свої правила, щоб уникнути подібних ситуацій у майбутньому. Вони зазначили, що постачальники, які можуть надати спеціально оптимізовані версії своїх моделей для тестування, а потім випускати інші публічні версії, порушують прозорість і об’єктивність тестування.

Поділитися:

АКТУАЛЬНО

ЦІКАВЕ ЗА ТЕМОЮ
У ФОКУСІ

США ведуть переговори про створення групи союзників для надання Україні допомоги до $50 мільярдів

За інформацією від агентства Bloomberg, Сполучені Штати Америки активно ведуть переговори зі своїми партнерами з метою створення групи союзників, яка буде надавати Україні допомогу в розмірі до $50 мільярдів. План, запропонований Штатами, передбачає використання прибутку від заморожених російських активів для надання допомоги. Цей план обговорюють країни “Великої сімки”, водночас США наполягають на укладенні угоди на […]

Дві країни ЄС блокують план подвоєння допомоги Києву

Італія та Іспанія, дві з найбільших економік Європейського Союзу, заявили про свою неготовність підтримати план збільшення військової допомоги Україні до 40 мільярдів євро у 2025 році. Про це стало відомо під час зустрічі міністрів закордонних справ ЄС, що відбулася 17 березня, повідомляє Reuters. Пропозицію про збільшення допомоги висунула голова дипломатії ЄС Кая Каллас. Однак Італія […]

Палата представників США цього тижня розгляне питання допомоги Україні

Палата представників США цього тижня розгляне питання допомоги Україні, заявив голова комітету з розвідки, республіканець Майк Тернер. “Росія починає завойовувати позиції. Україна починає втрачати здатність захищати себе. США повинні активізуватися і надати Україні зброю, якої вона потребує. І я думаю, що цього тижня ми побачимо переважну підтримку в цьому питанні в Палаті представників”, – сказав […]

Зеленський і Вучич обговорили співпрацю між Україною та Сербією

Президент України Володимир Зеленський повідомив про телефонну розмову з президентом Сербії Александром Вучичем, під час якої сторони обговорили розвиток двосторонніх відносин та питання співпраці між країнами. Зеленський висловив вдячність Сербії за фінансову та гуманітарну підтримку, а також відзначив важливість координації зусиль на шляху до ЄС. Вучич, у свою чергу, привітав український народ з новорічними святами […]

Корупційний скандал в КМДА за участю чиновника

Як повідомляє ТГ канал Хрещатик 36  один з ТОП-чиновників КМДА Пасько Ілля Миколайович, який контролював усі будівельні тендери районних управлінь освіти, отримуючи “відкати” від підрядників, наразі затриманий правоохоронцями. Нагадаємо, Ілля Пасько входить у ТОП-5 найбагатших чиновників КМДА. Детально про корупційні схеми Іллі Пасько та розмір відкатів, який Пасько збирав з підрядників та ділився зі своїм “покровителем” Валентином […]

Що відомо про Андрія Білоусова, який очолить міноборони РФ

У неділю російський президент Володимир Путін оголосив про проведення кадрових змін у військово-політичному керівництві Російської Федерації. Однією з ключових подій стала зміна на посаді міністра оборони, де Сергія Шойгу замінив колишній перший помічник Путіна, Андрій Білоусов. Про причини таких змін поки невідомо, проте залишається на посаді начальник генерального штабу Валерій Герасимов. Андрій Білоусов, 65-річний новий […]

РФ за допомогою нових союзників обходить західні санкції

За останніми даними, оприлюдненими у The Wall Street Journal, Росія активно залучає нових союзників для обхідних маневрів у контексті західних санкцій, введених проти неї у зв’язку з різними аспектами її зовнішньої політики. Новими союзниками в цьому контексті виявилися Іран та Габон. Невеликі держави вже давно пропонують судновласникам дешевші реєстраційні збори, нижчі податки і менш суворі […]

США вислали найбільшу кількість мігрантів за останнє десятиліття

У 2024 фінансовому році США вислали з країни 271,5 тисячі мігрантів до 192 країн. Це майже вдвічі більше, ніж у 2023 році, коли депортовано 142,6 тисяч осіб. Поточний показник став рекордним із 2014 року, коли з країни вислали майже 316 тисяч нелегальних мігрантів. Переможець президентських виборів Дональд Трамп публічно заявив, що після своєї інавгурації має […]