Estos modelos, asegura la firma, “establecen una nueva frontera en conocimiento, sentido común, razonamiento, llamada de funciones y eficiencia en la categoría sub-10B, y pueden usarse o adaptarse a una variedad de usos”.
Ambos modelos admiten una longitud de contexto de hasta 128 k y Ministral 8B tiene un “patrón especial de atención de ventana deslizante entrelazada para una inferencia más rápida y con memoria más eficiente”.
“Nuestros clientes y socios más innovadores han estado solicitando cada vez más inferencias locales que prioricen la privacidad para aplicaciones críticas como traducción en dispositivos, asistentes inteligentes sin Internet, análisis locales y robótica autónoma. Los Ministraux se crearon para proporcionar una solución de baja latencia y eficiencia informática para estos escenarios“, detalla la compañía.
Utilizados junto con modelos de lenguaje más grandes, como Mistral Large, los Ministraux también son intermediarios para la llamada a funciones en flujos de trabajo de agentes de varios pasos, y además se pueden ajustar para manejar el análisis de entradas, el enrutamiento de tareas y las llamadas a API según la intención del usuario en múltiples contextos con una latencia y un costo “extremadamente bajos“.
“En Mistral AI, continuamos impulsando lo último en modelos de vanguardia. Ha pasado solo un año desde el lanzamiento del Mistral 7B y, sin embargo, nuestro modelo más pequeño hoy (Ministral 3B) ya lo supera en la mayoría de las pruebas”, concluye.