Intel® oneAPI HPC

Avanzando la Cuantización de Bajos Bits para LLMs: AutoRound x Compresor LLM

La Cuantización de Bajo Bit (Low Bit Quantization) es una técnica de compresión de modelos de Inteligencia Artificial (IA), especialmente relevante en los Modelos de Lenguaje Grande (LLM), que busca conseguir un servicio de LLM más rápido y eficiente sin sacrificar la precisión.

Nos complace anunciar que AutoRound, un algoritmo post-entrenamiento (PTQ) de última generación desarrollado por Intel, está ahora integrado en LLM Compressor. Esta colaboración ofrece:

• Mayor precisión para cuantización de bajo ancho de bits
• Afinación ligera (cientos de pasos, no miles)
• Cero carga adicional de inferencia
• Compatibilidad perfecta con tensores comprimidos y servicio directo en vLLM
• Flujo de trabajo simplificado: cuantizar y servir modelos con solo unas pocas líneas de código

Están por llegar esquemas de cuantización más amplios y cobertura de modelos; pruébalo ahora y ayuda a moldear lo que construimos.