Reavaliação reduz a vantagem dos modelos de fundação sobre árvores ajustadas na previsão de churn
Preprint refez a comparação com hiperparâmetros ajustados e métricas de lucro: a superioridade relatada antes sobreviveu em duas de cinco bases. O caso expõe um erro de avaliação que não é exclusivo…
11 de novembro de 2026 · 8 min de leitura

Um modelo de previsão de cancelamento existe para responder a uma pergunta estreita: quem a campanha de retenção deve contatar. Na prática, essa escolha costuma sair de um comparativo publicado por terceiros. Um preprint divulgado no arXiv em 6 de novembro de 2026 mostra o que acontece quando o comparativo é refeito com regras mais rigorosas.
O trabalho Tabular Foundation Models vs Tuned Gradient Boosting for Telecom Churn: A Profit- and Calibration-Aware Evaluation, de Ismail Hossain Polas, da Jahangirnagar University, revisita um benchmark que havia concluído que modelos de fundação para dados tabulares superam “de forma coletiva e decisiva” os modelos clássicos e os conjuntos de árvores na previsão de cancelamento. A resposta curta: a vantagem não desaparece, mas encolhe, varia conforme a base de dados e deixa de valer para a maioria dos modelos testados.
Trata-se de um preprint, sem revisão por pares: o arXiv não registra publicação em periódico ou conferência.
O que o estudo refez
O benchmark criticado é identificado no texto: Benchmarking tabular foundation models for churn prediction, de Sobhan Seyedzadeh e Mostafa Karimi, apresentado no 2nd ICML Workshop on Foundation Models for Structured Data, em 2026. Segundo a nova avaliação, aquele estudo testou seis modelos de fundação em nove bases do Kaggle e relatou o TabICL v2 à frente do XGBoost por até 9,23 pontos de PR-AUC.
Dois pontos do desenho são questionados. O XGBoost e a floresta aleatória usados como comparação rodaram com os hiperparâmetros padrão da biblioteca, sem nenhum ajuste. E as métricas eram só de classificação e ordenação, com uma estimativa financeira que multiplicava a diferença de PR-AUC por uma taxa de retenção, em vez de avaliar uma campanha.
O primeiro ponto pesa porque esses modelos chegam prontos: são pré-treinados em tabelas sintéticas e preveem condicionando-se ao conjunto de treino que recebem como contexto, sem busca de hiperparâmetros. Se o concorrente também roda sem ajuste, a diferença medida pode ser só isso.
A reavaliação mudou as duas coisas. Quatro modelos de fundação (TabPFN-2.5, TabPFN-3.5, TabPFN-3.5-Fast e TabICL v2) foram comparados a LightGBM, XGBoost e CatBoost ajustados com Optuna, biblioteca de busca de hiperparâmetros, em cinco bases públicas de churn de telecomunicações, três delas de operadoras reais, ao longo de dez divisões com semente controlada. As 20 comparações principais foram declaradas antes da análise e corrigidas pelo método de Holm, que reduz a chance de um resultado aparecer por acaso quando muitos testes são feitos juntos.
Três perguntas que estavam somadas em uma
Métricas de ordenação medem se quem tem mais chance de cancelar aparece no topo da lista, sem dizer se a probabilidade atribuída está correta nem quanto dinheiro a campanha gera. Lucro máximo esperado, critério proposto por Verbraken e colegas, é o lucro esperado por cliente no ponto de corte que maximiza o retorno da campanha, calculado sob incerteza sobre quantos dos clientes contatados aceitam a oferta. Calibração é a correspondência entre probabilidade e realidade: se o modelo atribui 10% de risco a um grupo de clientes, aproximadamente 10% desse grupo precisa efetivamente cancelar. Sem ela não existe ponto de corte confiável.
O que sobrou da vantagem
O TabPFN-3.5 obteve lucro significativamente maior do que o melhor conjunto de árvores ajustado em duas das cinco bases: 1,9% na Cell2Cell (Holm p menor que 0,001) e 7,6% na Iranian (Holm p igual a 0,003). Nas duas, o ganho se mantém contra cada um dos três modelos de árvores separadamente.
A base da Orange é o caso mais instrutivo: o TabPFN-3.5 ficou à frente nas dez divisões, com diferença de 14,3%, mas o resultado não passou a correção estatística (Holm p igual a 0,155). Direção consistente, evidência insuficiente.
Para os demais, o quadro é mais magro. O TabICL v2, líder do benchmark anterior, superou o melhor conjunto de árvores ajustado apenas na base Iranian, e nem ali venceu os três. O mesmo vale para o TabPFN-2.5. Nas duas bases fictícias de ensino, IBM Telco e Maven, nenhuma diferença sobreviveu à correção. No total, 6 das 20 comparações foram significativas, nenhuma delas a favor das árvores.
Em ordenação, a vantagem relatada antes não foi eliminada, apenas reduzida. Na base de comércio eletrônico que o benchmark anterior usou como resultado principal, o TabICL v2 ficou 6,1 pontos de PR-AUC à frente do XGBoost sem ajuste e 4,0 pontos à frente do melhor modelo ajustado. Ajustar a linha de base removeu cerca de um terço da diferença, e o resto permaneceu.
Ordenar clientes não é o mesmo que decidir em quem agir
Fora da base da Orange, a regra de corte fixo perdeu no máximo 3,1% do lucro atingível sem nenhuma recalibração. Na Orange, um único modelo puxou o resultado: o TabICL v2 sem recalibração previu 2,1 pontos percentuais menos cancelamento do que o observado, sobre uma taxa real de 7,3%, desvio equivalente a cerca de 29% do fenômeno que deveria capturar. A regra construída sobre essas probabilidades perdeu 15,7% do lucro atingível. Recalibrar reduziu a perda para 7,5% com regressão isotônica e para 6,3% com escalonamento de Platt. O TabPFN-3.5 e o TabPFN-3.5-Fast, por outro lado, ficaram dentro de 0,2 e 0,3 ponto percentual da taxa observada em todas as bases.
A leitura prática é direta: um modelo pode ordenar bem e, ainda assim, ser inadequado para definir um ponto de corte. Ordenar por risco produz uma lista. Decidir em quem agir exige probabilidade calibrada e uma função de lucro. É essa diferença que separa um painel de risco de um processo de retenção que se sustenta financeiramente.
A linha de base recebeu o mesmo esforço?
O padrão de erro é mais simples do que a estatística usada para demonstrá-lo: uma alternativa nova, bem configurada, foi comparada a um concorrente mal configurado, e a métrica escolhida não era a que paga a conta.
O estudo trata de previsão de cancelamento e não autoriza conclusões sobre outros tipos de projeto. Ainda assim, a mecânica da comparação desigual não é exclusiva de modelagem estatística, e a pergunta que ela sugere é verificável em qualquer avaliação de ferramenta: o processo atual recebeu o mesmo esforço de configuração que a alternativa em teste, e a métrica comparada é a que importa para a decisão? Essa é uma inferência sobre método, não um resultado do trabalho.
O que o próprio estudo não sustenta
O autor registra limitações que restringem o alcance do resultado. A evidência vem de três bases de operadoras reais, e as dez divisões são reamostragens dos mesmos clientes, não operadoras independentes: medem estabilidade dentro de uma base, não generalização entre operadoras. O poder estatístico é limitado, e o caso da Orange pode se mover em qualquer direção com mais dados. O trabalho também não sustenta que os ganhos se estendam a churn em outros setores, nem a operadoras com milhões de clientes, em que o contexto deixaria de conter todo o conjunto de treino.
Uma restrição não é estatística. Segundo o estudo, os pesos do TabPFN-3.5 utilizados, sob a License v1.0, estão sob licença não comercial que proíbe usar o modelo, seus derivados ou qualquer dado produzido por ele para fins comerciais ou de produção, com definição de saída que inclui previsões, escores e probabilidades. O relatório do modelo explicita a consequência: as saídas não podem ser usadas como insumo de “decisão comercial interna” sem licença comercial. O checkpoint do TabICL v2 está sob licença BSD-3. Os termos foram lidos em 28 de outubro de 2026 e podem mudar.
Daí o impasse descrito no trabalho: o modelo com os ganhos mais consistentes exige acordo comercial, e o de licença aberta superou o melhor conjunto de árvores ajustado em apenas uma das cinco bases.
O que acompanhar
O estudo resume o próprio resultado em um enunciado mais estreito do que o anterior: modelos de fundação compensam para previsão de cancelamento de forma seletiva, e a versão do modelo importa mais do que a classe a que ele pertence. Não é uma demonstração de que essa família seja inútil, e sim de que a vantagem é menor, condicional e, em vários casos, inexistente. O código e as previsões de cada divisão estão em repositório aberto.
Para quem decide com base em comparativo publicado, o item mais acionável não é o ranking. É o protocolo. Verificar se a linha de base foi ajustada, e se a métrica avaliada corresponde à decisão a ser tomada, custa bem menos do que descobrir o problema depois de uma campanha de retenção inteira.
Leia também: Estudo controlado indica que a arquitetura do agente importa menos que a qualidade da implementação


