Meta потрапила у скандал через маніпуляції з результатами тестів нових моделей штучного інтелекту

Нові моделі штучного інтелекту Llama 4 від Meta, включаючи легку Scout та середньоформатну Maverick, які за заявами компанії перевершують GPT-4o та Gemini 2.0 Flash у популярних тестах, стали об’єктом скандалу через маніпуляції з результатами тестування. Як з’ясувалося, для реклами публічної версії моделі була використана статистика експериментальної версії, недоступної для широкої аудиторії, що викликало обурення серед користувачів та аналітиків.

У пресрелізі Meta було зазначено, що модель Maverick посіла друге місце за рейтингом ELO (1417 балів), перевершуючи GPT-4o від OpenAI і наближаючись до Gemini 2.5 Pro. Ці результати спочатку виглядали вражаючими та сприяли позитивному іміджу нових моделей. Однак користувачі платформи LMArena, де порівнюють різні моделі штучного інтелекту, швидко помітили, що в документації Meta була вказівка на те, що тестувалась не публічна версія моделі, а спеціально налаштована експериментальна версія, створена для оптимізації результатів у чатах.

Meta не відразу розкрила, що для тестування було використано кастомізовану версію Llama-4-Maverick-03-26-Experimental. Після того, як ця інформація стала відома, компанія підтвердила, що статистика, використана для реклами, не відображає реальних характеристик публічної версії моделей, доступної для користувачів. Це викликало критику з боку спільноти, яка вважає такі маніпуляції недопустимими.

Керівництво LMArena в свою чергу звинуватило Meta в тому, що компанія не дотрималась стандартів чесного тестування, що підірвало довіру до їхньої платформи як індикатора реальної продуктивності моделей ШІ. У відповідь на скандал, LMArena вже оголосила про намір змінити свої правила, щоб уникнути подібних ситуацій у майбутньому. Вони зазначили, що постачальники, які можуть надати спеціально оптимізовані версії своїх моделей для тестування, а потім випускати інші публічні версії, порушують прозорість і об’єктивність тестування.

Поділитися:

АКТУАЛЬНО

ЦІКАВЕ ЗА ТЕМОЮ
У ФОКУСІ

Як собаки реагують на поганих людей

Собаки, які за даними наукового дослідження в Університеті Кіото в Японії, проявили вражаючу чутливість до людської поведінки, відзначаються відсутністю упереджень і здатністю жити за принципом моменту. Дослідження, у якому брали участь 34 собаки, розкрило, що ці чотириногі тварини ніколи не забудуть випадки обману з боку людини і можуть визначити, наскільки надійна особа. Спостереження показали, що, […]

Ізраїль наближається до завершення операції проти ХАМАС у Секторі Гази

Ізраїльський прем’єр-міністр Біньямін Нетаньягу оголосив про наближення завершення військових дій проти ХАМАС у Секторі Гази, зазначивши, що “ми наближаємося до завершення фази ліквідації ХАМАС”. Він підкреслив, що удари по залишковому потенціалу ХАМАС продовжуються. Згідно з повідомленнями ЗМІ, начальник Генштабу ізраїльської армії Герці Галеві повідомив, що Армія оборони Ізраїлю (ЦАХАЛ) майже завершила операцію проти бойовиків ХАМАС […]

Японія відновлює роботу своєї найпотужнішої атомної електростанції

Регулятор ядерної енергетики Японії вирішив скасувати заборону на експлуатацію атомної електростанції Касівадзакі-Каріва компанії Tokyo Electric Power (Tepco), яка діє під його контролем. Заборона, яка була введена два роки тому через порушення в галузі безпеки, тепер анульована за рішенням регулятора. Електростанція Касівадзакі-Каріва, яка розташована на узбережжі Японського моря, має найбільшу у світі сукупну потужність своїх семи […]

Страхи в ЄС: повернення Трампа може призвести до розпаду НАТО

Страхи в Європейському союзі щодо можливого повернення Дональда Трампа до президентського крісла в Сполучених Штатах у 2024 році обурюють дипломатів та посадовців у ряді європейських країн. За даними американської газети The New York Times, представники ЄС опановані невизначеністю та тривогою, оскільки вони не впевнені, як співпрацювати з можливим 45-м президентом США. Європейські політики висловлюють опаску, […]

Дрони, які атакують російські НПЗ, обладнані штучним інтелектом

Деякі українські далекобійні дрони, що атакують НПЗ у РФ, уже обладнані штучним інтелектом, а цілі Київ обирає заздалегідь разом із союзниками, повідомляє CNN із посиланням на джерела. Використовується різновид ШІ, званий “машинним зором”, який дає змогу дронам краще орієнтуватися й уникати перешкод. “Точність під час перешкод забезпечується за рахунок використання штучного інтелекту. На кожному літаку […]

Урочиста передача трону: Данія вітає нового монарха

У Копенгагені, столиці Данії, 14 січня відбулася урочиста церемонія передачі трону від королеви Маргарет Другої до її сина, кронпринца Фредеріка. Королева Данії повідомила про своє рішення відмовитися від престолу у новорічному телезверненні. Це стало історичною подією, оскільки Маргарет Друга стала першим монархом Данії, що відмовився від престолу протягом майже 900 років. На момент передачі трону […]

Візит президента України до Німеччини

Президент України Володимир Зеленський 28 травня відвідає Німеччину з офіційним візитом, повідомив речник уряду ФРН Штефан Корнеліус. Візит буде присвячено підтримці України з боку Берліна та зусиллям щодо досягнення припинення вогню у війні з Росією. Канцлер Німеччини Фрідріх Мерц прийме главу української держави з військовими почестями в Берліні. Офіційна церемонія відбудеться в будівлі федеральної канцелярії. […]

У Індії планують зведення сонячної електростанції, що перевищує Париж у п’ять разів

У Індії компанія Adani Green Energy Limited (AGEL) розпочала будівництво найбільшої у світі сонячної та вітрової електростанції у штаті Гуджарат, розмір якої перевищує Париж у п’ять разів і становить близько 518 квадратних кілометрів. Ця станція розташована на території соляної пустелі, що є непридатною для іншої діяльності, поблизу кордону з Пакистаном. Після завершення будівництва станція зможе […]