Intel® oneAPI HPC

Avançar a Quantização de Baixos Bits para LLMs: AutoRound x Compressor LLM

A Quantização de Baixo Bit (Low Bit Quantization) é uma técnica de compressão de modelos de Inteligência Artificial (IA), especialmente relevante nos Modelos de Linguagem de Grande Escala (LLMs), que procura oferecer um serviço mais rápido e eficiente sem comprometer a precisão.

Temos o prazer de anunciar que o AutoRound, um algoritmo de pós-treino (PTQ) de última geração desenvolvido pela Intel, está agora integrado no LLM Compressor. Esta colaboração oferece:

• Maior precisão para quantização de baixo número de bits
• Ajuste leve (centenas de passos, não milhares)
• Zero custo adicional de inferência
• Compatibilidade total com tensores comprimidos e serving direto no vLLM
• Fluxo de trabalho simplificado: quantizar e disponibilizar modelos com apenas algumas linhas de código

Em breve estarão disponíveis esquemas de quantização mais abrangentes e maior cobertura de modelos; experimente agora e ajude a moldar o futuro do que estamos a desenvolver.