Meta потрапила у скандал через маніпуляції з результатами тестів нових моделей штучного інтелекту

Нові моделі штучного інтелекту Llama 4 від Meta, включаючи легку Scout та середньоформатну Maverick, які за заявами компанії перевершують GPT-4o та Gemini 2.0 Flash у популярних тестах, стали об’єктом скандалу через маніпуляції з результатами тестування. Як з’ясувалося, для реклами публічної версії моделі була використана статистика експериментальної версії, недоступної для широкої аудиторії, що викликало обурення серед користувачів та аналітиків.

У пресрелізі Meta було зазначено, що модель Maverick посіла друге місце за рейтингом ELO (1417 балів), перевершуючи GPT-4o від OpenAI і наближаючись до Gemini 2.5 Pro. Ці результати спочатку виглядали вражаючими та сприяли позитивному іміджу нових моделей. Однак користувачі платформи LMArena, де порівнюють різні моделі штучного інтелекту, швидко помітили, що в документації Meta була вказівка на те, що тестувалась не публічна версія моделі, а спеціально налаштована експериментальна версія, створена для оптимізації результатів у чатах.

Meta не відразу розкрила, що для тестування було використано кастомізовану версію Llama-4-Maverick-03-26-Experimental. Після того, як ця інформація стала відома, компанія підтвердила, що статистика, використана для реклами, не відображає реальних характеристик публічної версії моделей, доступної для користувачів. Це викликало критику з боку спільноти, яка вважає такі маніпуляції недопустимими.

Керівництво LMArena в свою чергу звинуватило Meta в тому, що компанія не дотрималась стандартів чесного тестування, що підірвало довіру до їхньої платформи як індикатора реальної продуктивності моделей ШІ. У відповідь на скандал, LMArena вже оголосила про намір змінити свої правила, щоб уникнути подібних ситуацій у майбутньому. Вони зазначили, що постачальники, які можуть надати спеціально оптимізовані версії своїх моделей для тестування, а потім випускати інші публічні версії, порушують прозорість і об’єктивність тестування.

Поділитися:

АКТУАЛЬНО

ЦІКАВЕ ЗА ТЕМОЮ
У ФОКУСІ

Оточення Путіна не вірить у його теорію про зв’язок України і теракту під Москвою

Частина інсайдерів Кремля вважає, що Україна не причетна до теракту у “Крокус Сіті холі” під Москвою, хоча російський диктатор Володимир Путін продовжує висувати обвинувачення. Інформація про це надійшла від чотирьох джерел, близьких до Кремля. Вони стверджують, що наради визнали відсутність доказів зв’язку з Україною у цій трагедії, проте Путін намагається маніпулювати ситуацією для мобілізації громадян […]

Закон про криміналізацію ЛГБТ: Ірак вводить 15 років ув’язнення за одностатеві стосунки

В Іраку парламент затвердив закон, який передбачає кримінальну відповідальність за одностатеві стосунки і надає від 10 до 15 років тюремного ув’язнення. Це рішення було прийняте у суботу 27 квітня. Згідно з текстом закону, його метою є “захист іракського суспільства від морального розкладу та поширення гомосексуальних стосунків, які, за словами законодавців, стали глобальним явищем”. Закон був […]

Як зелений чай сприяє схудненню та підтримці здоров’я

У пошуках ідеального засобу для схуднення багато хто звертається до різноманітних модних напоїв, від лимонної води до яблучного оцту. Проте в питаннях зниження ваги не існує універсального рецепта, і жоден продукт чи напій не може замінити комплексний підхід, який включає збалансоване харчування, регулярні фізичні навантаження та здорові звички сну. У цій статті ми зосередимося на […]

Як мікропластик загрожує нашому організму

У сучасному світі пластикові контейнери та упаковка стали незамінними атрибутами повсякденного життя. Вони забезпечують зручність зберігання продуктів і транспортування рідин. Проте останні наукові дослідження викликають занепокоєння: мікропластик, що потрапляє в організм людини, може мати небезпечний вплив на здоров’я, зокрема – на серцево-судинну систему. Мікропластик – це крихітні частинки (менші за 5 мм), які утворюються через […]

НАТО повинна бути готовою до можливих ракетних атак Російської Федерації

НАТО доведеться підготуватися до можливих ударів Росії по об’єктах по всій Європі, зокрема в Німеччині, якщо Москва почне війну проти Альянсу, пише The Times, з посиланням на високопоставлених генералів. Так, генерал-лейтенант Александр Соллфранк, командувач військовим логістичним центром НАТО в Німеччині, закликав союзників спростити бюрократичні процедури, які зараз ускладнюють переміщення військ і техніки. Також потрібно дозволити […]

“Опенгеймер” триумфує на Золотому Глобусі: найкращі фільми та телесеріали року

На цьогорічній церемонії вручення престижної американської кінопремії “Золотий Глобус” фільм “Опенгеймер” став найбільшим переможцем, визнаним кращим фільмом року. Режисер Крістофер Нолан, ведучи глядачів у захоплюючий світ генії та величі науковця Роберта Оппенгеймера, отримав престижний “Золотий Глобус” за кращу режисуру. Чотири нагороди також дісталися фільму “Опенгеймер” в інших категоріях: Кілліан Мерфі був визнаний кращим актором у […]

Арестович пропонує подати позов разом із РФ проти Заходу: “Прийдемо до Путіна і укладемо мир”

Скандальний ексрадник Офісу президента Олексій Арестович, перебуваючи за кордоном, виголосив нову проросійську заяву, в якій висловив думку про необхідність спільного позову України та Росії проти західних країн після укладання миру. У інтерв’ю російській опозиційній журналістці Юлії Латиніній, Арестович висловив думку, що Україна та Росія повинні спільно подати колективний позов проти Заходу після досягнення мирного врегулювання […]

Росія проведе військові навчання для відпрацювання застосування тактичної ядерної зброї

Російське військове відомство оголосило про намір провести навчання з підвищення готовності нестратегічних ядерних сил до виконання бойових завдань. Згідно з повідомленням Міністерства оборони РФ, це навчання має на меті підготувати військових до ефективної реакції на можливі загрози. Верховний головнокомандувач, президент Росії Володимир Путін, надав доручення щодо проведення цих навчань. Генеральний штаб уже розпочав підготовку, залучивши […]