Baidu: ERNIE 4.5 VL 28B A3B

Потужна мультимодальна чат-модель на базі архітектури Mixture-of-Experts, що має 28 мільярдів загальних параметрів, з яких 3 мільярди активуються на кожен токен. Вона забезпечує виняткове розуміння тексту та зображень завдяки своїй інноваційній гетерогенній структурі MoE з маршрутизацією, ізольованою за модальністю. Створена з масштабованою інфраструктурою для високопродуктивного навчання та висновків, модель використовує передові методи пост-навчання, включаючи SFT, DPO та UPO, для оптимізованої продуктивності. Вона підтримує вражаючу довжину контексту в 131 тисячу токенів та вирівнювання за допомогою RLVR для чудових міжмодальних можливостей міркування та генерації.