Acurácia da previsão de demanda: MAPE, WMAPE e viés sem se enganar

A acurácia da previsão de demanda mede o quanto a previsão se aproximou do que de fato foi vendido ou pedido, e se avalia por duas métricas: o tamanho do erro, em geral pelo WMAPE, e a direção do erro, pelo viés. Cada ponto de erro tem preço: previsão acima da demanda vira capital parado em estoque, e previsão abaixo vira venda perdida, hora extra e frete expresso.

Se a sua empresa tem excesso de estoque e ruptura ao mesmo tempo, e comercial e planejamento discutem de quem é a culpa sem um número em comum, medir a acurácia do jeito certo é o primeiro passo. Uma mesma previsão pode parecer ótima ou péssima conforme o nível de agregação, o horizonte e a fórmula escolhida. A seguir: as fórmulas com um exemplo resolvido, os cuidados de medição, como definir metas e como usar o indicador no processo de S&OP.

Por que medir a acurácia: o erro que vira estoque ou ruptura

A previsão de demanda alimenta quase todas as decisões de operações: quanto comprar, quanto produzir, quanto manter em estoque, quanto caixa reservar. Quando ela erra para cima, sobra estoque. Quando erra para baixo, falta produto, o cliente espera e a fábrica corre atrás com hora extra e frete expresso.

Medir a acurácia permite três coisas. Sem medição, a discussão sobre previsão vira troca de opiniões:

• Saber o tamanho do problema e acompanhar a evolução mês a mês.
• Comparar métodos e etapas do processo: a previsão estatística ajudou? O ajuste comercial ajudou ou atrapalhou?
• Dimensionar a proteção necessária, porque o erro da previsão é o principal insumo do cálculo do estoque de segurança.

As seis fórmulas essenciais

Para cada item e período, o ponto de partida é o erro. Aqui adotamos a convenção de erro igual à previsão menos o real, de modo que um erro positivo significa que a previsão ficou acima da demanda. Algumas empresas usam a convenção inversa; o importante é escolher uma, documentar e não mudar.

• Erro absoluto: o valor do erro sem sinal, ou seja, a distância entre previsão e real.
• MAPE (erro percentual absoluto médio): a média simples dos erros absolutos de cada item, cada um dividido pelo real do item.
• WMAPE (MAPE ponderado): a soma dos erros absolutos de todos os itens dividida pela soma do real.
• Acurácia: 1 menos o WMAPE, limitada a zero quando o erro passa de 100%.
• Viés: a soma dos erros com sinal dividida pela soma do real.
• MAD (desvio absoluto médio): a média dos erros absolutos, em unidades.

Exemplo resolvido: MAPE de 90% e WMAPE de 16% na mesma família

Exemplo ilustrativo: uma família com quatro itens em um mês. Os números foram escolhidos para mostrar como um item pequeno distorce o MAPE.

Com esses números, as três métricas ficam assim:

• MAPE = (11,1% + 16,7% + 33,3% + 300,0%) dividido por 4 = 90,3%.
• WMAPE = 265 dividido por 1.655 = 16,0%, ou seja, acurácia de 84,0%.
• Viés = +65 dividido por 1.655 = +3,9%, uma leve tendência a superestimar.

O MAPE de 90% passa a impressão de uma previsão desastrosa, mas quase todo esse número vem do item D, que vendeu 5 unidades. Sem ele, o MAPE dos outros três itens seria de cerca de 20%. O WMAPE, que pondera pelo volume, mostra um erro de 16%, muito mais próximo do impacto real no estoque e no atendimento.

O exemplo mostra também o problema grave do MAPE simples: quando o real é zero, a divisão não é possível, e itens de venda esporádica dominam o resultado. Por isso, o WMAPE costuma ser a métrica principal em empresas com portfólio amplo.

Viés: a direção do erro e o tracking signal

O erro absoluto mostra o tamanho do problema; o viés mostra se ele é aleatório ou sistemático. Uma previsão que erra 10% para cima em um mês e 10% para baixo no outro tem erro relevante, mas sem viés, porque os efeitos se compensam. Já uma previsão que erra 5% para cima todos os meses tem erro menor, mas acumula excesso de estoque mês após mês, o caminho mais comum para o estoque parado.

Em indústrias e distribuidores de médio porte, as causas de viés costumam ser de processo, e não de estatística:

• Meta disfarçada de previsão: o comercial informa o número que gostaria de vender, e não o que espera vender.
• Medo de faltar produto, que leva a inflar a previsão por precaução.
• Medo de ser cobrado, que leva a previsões conservadoras para bater a meta com folga.
• Promoções e lançamentos sistematicamente superestimados.

Um instrumento útil para detectar viés é o tracking signal (sinal de rastreamento): a soma acumulada dos erros com sinal dividida pelo MAD. Exemplo ilustrativo: em seis meses, os erros de uma família foram de +50, +80, +40, +70, +60 e +30 unidades. A soma é 330, o MAD é 55 e o tracking signal é 330 dividido por 55, ou seja, 6.

Como todos os erros foram positivos, o indicador cresce um ponto por mês. É comum adotar um limite de alerta, como 4 para mais ou para menos, a partir do qual a família é revista com prioridade.

Nível de agregação e horizonte de medição

Agregação: meça no nível em que a decisão é tomada

O erro cresce à medida que a previsão desce de nível: o total da empresa erra menos que a família, que erra menos que o item, que erra menos que o item por filial ou por cliente. No exemplo acima, o erro no total da família foi de 65 unidades, ou 3,9%, contra um WMAPE de 16% medido item a item. Os erros dos itens se compensaram no agregado.

Por isso, medir só no total costuma esconder o problema. A regra é medir no nível em que a decisão é tomada.

Horizonte, ou lag: meça a previsão que apoiou a decisão

O segundo cuidado é o horizonte. A previsão que importa é a que estava valendo quando a decisão foi tomada, e não a última versão. Se um item importado tem prazo de reposição de três meses, a compra de março foi decidida com a previsão feita em dezembro.

Medir a acurácia com a previsão atualizada em março, às vésperas do mês, mostra um número bonito e inútil. Esse intervalo entre a previsão e o mês previsto é chamado de lag.

É comum acompanhar mais de um lag: um curto, para a execução, e um longo, para as decisões de compra e capacidade. Os dois devem aparecer no painel, cada um ligado à decisão que apoia.

Metas de acurácia: segmentar antes de cobrar

Não existe uma acurácia ideal válida para todas as empresas. Existe a acurácia possível para cada tipo de item, no nível e no horizonte em que ele é medido. Por isso, antes de definir metas, segmente o portfólio:

• Itens de alto valor e demanda estável permitem erros menores e merecem metas mais exigentes.
• Itens de demanda variável pedem metas intermediárias e atenção às premissas comerciais.
• Itens de demanda errática ou intermitente terão sempre erro percentual alto. Para eles, a decisão relevante costuma ser outra: produzir sob encomenda, centralizar o estoque ou aceitar um nível de serviço menor.

A segunda referência é a previsão ingênua. Uma forma prática de saber se a previsão agrega valor é compará-la com um método sem inteligência nenhuma, como repetir a venda do mês anterior ou a do mesmo mês do ano passado. Essa comparação é chamada de FVA (forecast value added, ou valor agregado da previsão).

Exemplo ilustrativo: a previsão ingênua tem WMAPE de 30%, e a previsão estatística chega a 24%, o que significa que ela agrega 6 pontos. Depois dos ajustes comerciais, o WMAPE sobe para 26%: os ajustes tiraram 2 pontos de precisão.

A conclusão não é eliminar o comercial do processo, e sim descobrir quais ajustes erram, por que erram e quais premissas costumam acertar. Modelos mais sofisticados, como os de previsão de demanda com inteligência artificial, devem passar pelo mesmo teste: se não superam a linha de base em testes retroativos, não se justificam.

Sete armadilhas na medição da acurácia

• Medir só no total, onde os erros dos itens se compensam.
• Usar MAPE simples em portfólio com muitos itens de baixo volume.
• Medir contra a venda faturada em vez da demanda, ignorando as rupturas.
• Medir a última versão da previsão em vez da que apoiou a decisão.
• Trocar a fórmula sem avisar, o que torna a série histórica incomparável.
• Olhar só o erro e ignorar o viés, ou o contrário.
• Medir e não discutir. Um indicador que não aparece em nenhuma reunião não muda nada.

Como usar a acurácia no ciclo de S&OP

O lugar natural do indicador é a revisão de demanda, primeira reunião do ciclo mensal de S&OP. Uma pauta prática:

1. WMAPE e viés por família, com a tendência dos últimos meses.
2. Os dez itens que mais contribuíram para o erro em unidades ou em valor, e não em porcentagem.
3. FVA de cada etapa: estatística e ajustes comerciais.
4. Famílias com tracking signal fora do limite.
5. Ações: revisar método, limpar histórico, rever premissas ou mudar a política do item.

O erro medido também precisa sair da reunião e chegar aos parâmetros de estoque. O desvio padrão do erro da previsão é o insumo mais adequado para dimensionar a proteção de cada item, como mostramos no artigo sobre como calcular o estoque de segurança. Quando a acurácia melhora, os parâmetros devem ser recalculados, e é aí que o ganho aparece no caixa.

Como a Reinaux & Partners pode ajudar

Estruturamos a medição da acurácia a partir dos dados da sua empresa: fórmulas, níveis e horizontes, tratamento de rupturas, linha de base ingênua e painel por família e por item. Depois, trabalhamos lado a lado com comercial e planejamento até o indicador virar rotina na revisão de demanda e se refletir em parâmetros de estoque atualizados.

Veja como funciona o projeto de S&OP e estoques. Se quiser saber quanto o erro de previsão está custando à sua operação, agende uma conversa com um sócio, confidencial e sem compromisso.

Perguntas frequentes