MELLUM2 THINKING

Uma IA especialmente indicada para programadores.

Recentemente, a JetBrains anunciou que o Mellum2, uma IA para desenvolvimento de software, passa a ser um modelo de pesos abertos (open weights) distribuído sob a licença Apache 2.0, o que permite utilizá-lo, modificá-lo e implementá-lo sem custos de licenciamento.

O que é exatamente o Mellum2 Thinking?

É uma variante do Mellum2, um modelo Mixture of Experts (MoE) com 12 mil milhões de parâmetros no total, embora apenas cerca de 2,5 mil milhões sejam ativados para cada token processado. Está especializado em desenvolvimento de software e foi concebido para resolver algumas das partes mais exigentes da IA em produção: latência, desempenho e custo.

A versão Thinking está otimizada para tarefas que exigem raciocínio em vários passos, como planeamento, análise, depuração ou resolução de problemas complexos, enquanto a versão Instruct dá prioridade a respostas mais diretas e concisas.

Mellum2 pode ser interessante se procura:

Alojá-lo na sua própria infraestrutura

Reduzir custos face a modelos muito maiores

Integrá-lo com IDEs

(Rider, IntelliJ IDEA, Visual Studio Code, Delphi ou outros)

Ter um modelo especializado em código sem depender de serviços cloud

Pode consultar o relatório técnico com os detalhes de desempenho:

Mellum2 Technical Report

Motores de inferência disponíveis

A JetBrains propõe várias opções para carregar e executar o Mellum2 Thinking, facilitando a sua adoção de acordo com cada cenário:

Provavelmente, a opção mais popular para servidores locais. Está otimizada para GPU NVIDIA, oferece elevado desempenho, permite gerir vários pedidos em simultâneo e mantém janelas de contexto amplas. Além disso, o vLLM permite paralelismo entre GPUs para melhorar a concorrência e o desempenho em ambientes exigentes.

Orientado para agentes, workflows complexos e cenários avançados como RAG.

RAG (Retrieval-Augmented Generation) é uma técnica que permite complementar as respostas do modelo utilizando informação proveniente de documentação, bases de conhecimento ou repositórios corporativos.

Alternativa simplificada em que o Docker gere a transferência do modelo, o runtime e a exposição do serviço.

Estes motores vão permitir carregar os pesos do modelo em memória/GPU, receber os prompts, executar a inferência, devolver as respostas e, opcionalmente, usar uma API compatível com o formato de API HTTP popularizado pela OpenAI.

Mellum2 Thinking é especialmente atrativo como modelo local para agentes ACP, porque combina licença aberta, foco em programação e uma dimensão razoável para execução on-premise.

ACP (Agent Client Protocol) é um protocolo aberto que permite ligar agentes de IA a diferentes IDEs e editores, de forma semelhante à forma como o LSP (Language Server Protocol) normalizou a integração de ferramentas de análise de código.

Opções de implementação para Mellum2 Thinking IA para desenvolvimento de software

Dependendo das suas necessidades, pode optar por diferentes abordagens:

Equipamento individual

CPU: Ryzen 9 7900/9900 ou Intel i9 moderno.
RAM: 64 GB.
GPU: 32 GB VRAM ou superior.
SSD NVMe.

Servidor corporativo
(Desde IDEs, ACP ou agentes internos)

CPU: 16-32 núcleos.
RAM: 128 GB.
GPU: 1x RTX 5090 (32 GB) ou 1x A6000 (48 GB).
Linux + vLLM.

Sistemas simples
(instalação com Ollama)

Ryzen 9 ou Intel i9 moderno.
64 GB RAM.
GPU de 32 GB VRAM ou superior.
SSD NVMe.

Implementação simplificada
Utilização do Docker Model Runner

A abordagem com Docker Model Runner é mais simples, uma vez que o Docker se encarrega de transferir o modelo, iniciar o runtime e expor o serviço.

Para começar a trabalhar individualmente ou numa pequena equipa, pode começar com Ubuntu ou Windows, Ollama e Mellum2.

Ollama é uma alternativa muito popular para executar modelos localmente. Simplifica enormemente a instalação e gestão de modelos, pelo que é especialmente adequada para testes, ambientes pessoais e pequenas equipas.

Uma alternativa sólida para IA generativa no desenvolvimento

Mellum2 Thinking representa uma alternativa muito interessante para organizações que pretendem implementar capacidades de IA generativa nas suas próprias infraestruturas.

A sua licença aberta, a sua especialização em desenvolvimento de software e os seus requisitos de inferência reduzidos face a modelos de maior dimensão tornam-no uma opção especialmente atrativa para equipas de desenvolvimento que trabalham com vários IDEs e linguagens de programação.

Quer saber mais sobre Mellum2 Thinking IA para desenvolvimento de software? Contacta-nos!

Mais informação