Baidu: ERNIE 4.5 VL 424B A47B

ERNIE-4.5-VL-424B-A47B — це мультимодальна модель Mixture-of-Experts (MoE) із серії ERNIE 4.5 від Baidu, що має 424 мільярди загальних параметрів з 47 мільярдами активних на один токен. Вона навчається спільно на текстових та графічних даних з використанням гетерогенної архітектури MoE та маршрутизації, ізольованої за модальностями, щоб забезпечити високоякісне крос-модальне міркування, розуміння зображень та генерацію довгого контексту (до 131 тисячі токенів). Модель тонко налаштована за допомогою таких методів, як SFT, DPO, UPO та RLVR, і підтримує режими виведення як з "мисленням", так і без. Розроблена для завдань бачення-мови англійською та китайською мовами, вона оптимізована для ефективного масштабування та може працювати з 4-бітною/8-бітною квантизацією.