MiniMax: MiniMax-01

MiniMax-01 поєднує MiniMax-Text-01 для генерації тексту та MiniMax-VL-01 для розуміння зображень. Він має 456 мільярдів параметрів, з яких 45,9 мільярда параметрів активуються за одне виведення, і може обробляти контекст до 4 мільйонів токенів. Текстова модель використовує гібридну архітектуру, яка поєднує Lightning Attention, Softmax Attention та Mixture-of-Experts (MoE). Модель зображень використовує фреймворк «ViT-MLP-LLM» і навчається на основі текстової моделі.