Durante anos, aumentar a janela de contexto de um grande modelo de linguagem pareceu uma disputa por comprimento: mais tokens de entrada, mais documentos, conversas mais extensas. O número crescia, mas a pergunta difícil ficava escondida. Como fazer o modelo consultar esse histórico sem pagar o mesmo custo por cada trecho, relevante ou não?

O Qwen3.8-Flash-Next, apresentado pelo time Qwen como uma prévia experimental da arquitetura que servirá de base para o Qwen4, oferece uma resposta interessante. Em vez de escolher uma única técnica para toda a rede, o modelo combina atenção linear, atenção esparsa por blocos, múltiplos fluxos residuais com gates e embeddings de n-gramas. O objetivo comum é separar tarefas que costumavam disputar o mesmo mecanismo.

O lançamento tem pesos disponíveis e uma ficha técnica pública. São 125 bilhões de parâmetros no corpo principal, com 6 bilhões ativados por token, além de 51 bilhões em embeddings de n-gramas e 4 bilhões em uma camada de predição de múltiplos tokens. O contexto nativo é de 262.144 tokens e pode ser estendido até 1 milhão. Esses números descrevem capacidade e escala, mas a novidade mais instrutiva está na maneira como o trabalho é dividido.

Atenção linear guarda o fluxo; atenção esparsa procura o detalhe

Na arquitetura anterior do Qwen3.5, o arranjo híbrido alternava Gated DeltaNet, uma forma de atenção linear, com atenção completa dotada de gates. A atenção linear é atraente para sequências extensas porque atualiza um estado compacto em vez de comparar cada token com todos os anteriores. Ela funciona como uma memória corrente: absorve a passagem do texto com custo mais previsível.

O limite aparece quando uma tarefa precisa recuperar um detalhe preciso que ficou muito atrás. Um resumo acumulado pode preservar o sentido geral e ainda perder a informação exata. A atenção completa resolve esse problema consultando diretamente todo o histórico, mas seu custo cresce rapidamente com o comprimento da sequência.

O Qwen3.8-Flash-Next substitui essa segunda parte por Qwen Sparse Attention (QSA). Em vez de varrer todos os tokens ou escolher posições isoladas, um pequeno indexador pontua blocos comprimidos de chaves e seleciona regiões contíguas consideradas relevantes. O orçamento declarado é de 512 blocos, equivalentes a 2.048 tokens. O último bloco incompleto permanece sem compressão.

A analogia mais útil é a de uma biblioteca. A atenção linear acompanha o assunto geral dos livros que passam pela mesa. A atenção esparsa funciona como um catálogo que indica quais estantes merecem uma consulta detalhada. Nenhum dos dois precisa fazer sozinho o trabalho inteiro.

Isso importa para agentes porque seus históricos misturam planos, código, resultados de ferramentas, imagens e tentativas anteriores. Em uma tarefa longa, o modelo precisa manter continuidade sem reler com a mesma intensidade cada caractere acumulado. A combinação sugere uma divisão mais econômica: memória de fluxo para a maior parte da sequência e busca seletiva quando o detalhe interessa.

O caminho entre camadas também virou uma decisão

A arquitetura não altera apenas como tokens consultam tokens. Ela também muda como a informação atravessa as camadas. O chamado Gated Residual amplia o fluxo residual para quatro ramos e usa gates dependentes dos dados para controlar a leitura e a escrita em cada um.

Em redes profundas, a conexão residual tradicional funciona como uma estrada direta ao redor de cada bloco: a informação pode avançar mesmo quando atenção ou Mixture of Experts (MoE, mistura de especialistas) acrescentam uma transformação. Com vários ramos, a rede passa a ter faixas distintas. Os gates decidem quanto ler de cada faixa antes de um bloco e quanto do resultado devolver depois.

O ganho proposto pelo time Qwen não é simplesmente colocar mais parâmetros no caminho. É permitir combinações mais finas sem abandonar a estabilidade que tornou conexões residuais tão importantes. Como se trata de uma arquitetura experimental, ainda será necessário observar avaliações independentes para separar o benefício de cada componente do efeito do treinamento e da escala total.

Nem todo parâmetro precisa entrar na mesma conta

O terceiro movimento são os embeddings de n-gramas. Um embedding comum associa cada token a uma representação. Nesta arquitetura, sequências curtas de dois ou três tokens também indexam uma tabela própria, injetada em uma camada selecionada e processada com uma convolução dilatada.

Isso cria outra forma de especialização. A tabela pode armazenar padrões lexicais frequentes sem ativar uma transformação completa para todos os parâmetros. Segundo a ficha do modelo, essa parte soma 51 bilhões de parâmetros e foi desenhada para ser mais fácil de deslocar entre memória e acelerador do que os especialistas de uma MoE.

É uma distinção importante entre tamanho armazenado e computação ativada. Dizer que um modelo tem 125 bilhões de parâmetros não informa sozinho quanto trabalho cada token exige, assim como o tamanho de um arquivo não revela quantas páginas serão consultadas para responder a uma pergunta. Para estimar custo real, é preciso saber quais componentes ficam residentes, quais podem ser transferidos e quantos entram em cada passo.

Pesos abertos não bastam sem um runtime compatível

Uma arquitetura nova também expõe a distância entre publicar pesos e conseguir executá-los. O tipo qwen4_exp precisou ser incorporado ao Transformers 5.16.0, lançado no mesmo dia. A implementação acrescentou dezenas de arquivos para representar configuração, processamento multimodal, cache, geração e conversão de checkpoints. Pouco depois, o Ollama adicionou suporte no backend MLX.

Essa sequência tem uma consequência prática. Antes de baixar centenas de gigabytes, quem pretende testar o modelo precisa confirmar a versão do runtime, o backend de hardware e o suporte ao processador de imagens. Um carregador que reconhece apenas arquiteturas anteriores não consegue deduzir corretamente as novas camadas a partir dos pesos.

Também convém separar o modelo aberto da oferta hospedada. A ficha informa contexto nativo de 262.144 tokens para o Qwen3.8-Flash-Next e extensão até 1 milhão com técnicas como YaRN. O serviço Qwen3.8-Flash, baseado nessa arquitetura, oferece 1 milhão por padrão e recursos adicionais de produção. São configurações relacionadas, não produtos idênticos.

Contexto longo deixou de ser uma régua

O ponto mais interessante do Qwen3.8-Flash-Next não é apenas alcançar uma janela extensa. É tratar contexto como um problema composto. Uma parte da rede mantém continuidade, outra encontra blocos relevantes, outra controla o transporte entre camadas e outra guarda padrões lexicais com uma relação diferente entre memória e computação.

Esse desenho ainda precisa passar pelo teste mais difícil dos modelos abertos: reprodução independente em runtimes, hardwares e cargas que não foram escolhidos pelo próprio autor. Mas ele ajuda a trocar uma pergunta superficial por uma melhor. Em vez de perguntar apenas quantos tokens cabem, vale perguntar como o modelo decide o que lembrar com precisão, quanto custa recuperar esse detalhe e qual parte da pilha precisa estar pronta para que a promessa funcione.