Meta потрапила у скандал через маніпуляції з результатами тестів нових моделей штучного інтелекту

Нові моделі штучного інтелекту Llama 4 від Meta, включаючи легку Scout та середньоформатну Maverick, які за заявами компанії перевершують GPT-4o та Gemini 2.0 Flash у популярних тестах, стали об’єктом скандалу через маніпуляції з результатами тестування. Як з’ясувалося, для реклами публічної версії моделі була використана статистика експериментальної версії, недоступної для широкої аудиторії, що викликало обурення серед користувачів та аналітиків.

У пресрелізі Meta було зазначено, що модель Maverick посіла друге місце за рейтингом ELO (1417 балів), перевершуючи GPT-4o від OpenAI і наближаючись до Gemini 2.5 Pro. Ці результати спочатку виглядали вражаючими та сприяли позитивному іміджу нових моделей. Однак користувачі платформи LMArena, де порівнюють різні моделі штучного інтелекту, швидко помітили, що в документації Meta була вказівка на те, що тестувалась не публічна версія моделі, а спеціально налаштована експериментальна версія, створена для оптимізації результатів у чатах.

Meta не відразу розкрила, що для тестування було використано кастомізовану версію Llama-4-Maverick-03-26-Experimental. Після того, як ця інформація стала відома, компанія підтвердила, що статистика, використана для реклами, не відображає реальних характеристик публічної версії моделей, доступної для користувачів. Це викликало критику з боку спільноти, яка вважає такі маніпуляції недопустимими.

Керівництво LMArena в свою чергу звинуватило Meta в тому, що компанія не дотрималась стандартів чесного тестування, що підірвало довіру до їхньої платформи як індикатора реальної продуктивності моделей ШІ. У відповідь на скандал, LMArena вже оголосила про намір змінити свої правила, щоб уникнути подібних ситуацій у майбутньому. Вони зазначили, що постачальники, які можуть надати спеціально оптимізовані версії своїх моделей для тестування, а потім випускати інші публічні версії, порушують прозорість і об’єктивність тестування.

Поділитися:

АКТУАЛЬНО

ЦІКАВЕ ЗА ТЕМОЮ
У ФОКУСІ

Лукашенко вирушив до Китаю: що він буде обговорювати із Сі Цзіньпіном

Самопроголошений президент Білорусі, Олександр Лукашенко, здійснив поїздку до Китаю для переговорів із главою Китайської Народної Республіки Сі Цзіньпіном. Зустрічі плануються на понеділок, 4 грудня, і обговорять питання торговельно-економічного, інвестиційного та міжнародного співробітництва. Також в програмі візиту передбачені заходи соціально-гуманітарного спрямування. Переговори між Лукашенком та Сі Цзіньпіном у березні 2023 року завершились підписанням домовленостей на суму […]

Дональд Трамп готується анулювати результати виборів 2024

Колишній президент США Дональд Трамп, який балотується на пост глави держави від Республіканської партії, може спробувати оскаржити результати майбутніх виборів, якщо зазнає поразки. Про це повідомляє газета Politico з посиланням на джерела, наближені до експрезидента. Співрозмовники видання стверджують, що Трамп налаштований стати президентом за будь-яких умов і вже готує ґрунт для можливого анулювання результатів голосування. […]

США та ЄС роблять усе для пришвидшення допомоги Україні – Блінкен

У світлі тривалої затримки з наданням допомоги Україні, США та її міжнародні партнери взяли на себе зобов’язання прискорити темпи постачання озброєнь, повідомив державний секретар США Ентоні Блінкен. Блінкен підкреслив, що затримка у затвердженні додаткового бюджетного запиту і постачанні обладнання для України вплинула на обстановку на місцях. “Цього тижня ми виділили Україні оборонне обладнання на суму […]

Брітні Спірс вигадала усиновлення

Співачка Брітні Спірс викликала хвилю обговорень у соцмережах після публікації незвичного допису, в якому оголосила себе мамою дівчинки на ім’я Леннон Лондон Спірс. У короткому відео вона знову танцювала у знайомій обстановці власного будинку, а підпис до ролика викликав справжній резонанс. У дописі артистка з захопленням згадувала сукню з написом “Я тут новенька!” і додала […]

У Києві військовий посадовець та підприємець організували ухилення від служби

Державне бюро розслідувань (ДБР) виявило масштабну незаконну схему ухилення від мобілізації, організовану військовим посадовцем та приватним підприємцем у Києві. Вони налагодили виготовлення фіктивних медичних документів для того, щоб ухилянти могли уникнути служби в армії, отримавши відстрочку або навіть повне “звільнення” від служби. Організатори схеми пропонували дві основні опції для ухилення від мобілізації. Перша з них […]

Росія створила нове угруповання військ

Починаючи з формування двох округів – Московського та Ленінградського, на базі Західного військового округу, триває перегрупування військ. Було створено нове військове угрупування під назвою “Север”, яке об’єднує колишні угрупування прикриття кордону “Брянськ”, “Курск” та “Бєлгород”. Керівником цього нового угрупування став генерал-полковник А. Лапін. Зона відповідальності угрупування розташована на території Брянської, Курської та Бєлгородської областей Російської […]

Новий тренер Манчестер Юнайтед визначився з майбутнім лідером своєї команди

Новий тренер “Манчестер Юнайтед” Рубен Аморім, який нещодавно приєднався до клубу, уже визначився з ключовим гравцем, навколо якого будує своє довгострокове бачення команди. Як повідомляє відомий футбольний інсайдер Фабриціо Романо, португальський наставник зробив несподіваний вибір, віддавши центральну роль у своєму проекті молодому французькому центрбеку Лені Йоро. 19-річний Йоро, який перейшов до “Манчестер Юнайтед” цього літа, […]

США обклали сонячні панелі з Азії рекордними митами

США запровадили нові мита в розмірі до 3521% на імпорт сонячних панелей із чотирьох країн Південно-Східної Азії: Камбоджі, В’єтнаму, Малайзії та Таїланду. Таке рішення стало результатом торгового розслідування, яке виявило, що виробники з цих країн отримують несправедливу перевагу завдяки державним субсидіям та експортують продукцію до США за цінами, нижчими за собівартість. Розслідування було ініційоване американськими […]