Comparação antes e depois: os três motivos pelos quais ela produz ganhos que não existem

Antes da mudança, junho: 14,2% de retrabalho. Depois da mudança, agosto: 9,8%. Queda de 31,0%, apresentada como resultado do projeto.

A série completa dos 24 meses anteriores tinha média de 11,3% e desvio padrão de 2,1 — o que coloca a faixa natural do processo entre 5,0% e 17,6%. Os dois números da comparação estão confortavelmente dentro dela.

Nada aconteceu. O processo produziu 14,2 em um mês e 9,8 em outro exatamente como vinha produzindo valores entre 5 e 17,6 nos dois anos anteriores, e a mudança foi creditada por uma variação que já existia.

Os dados desta página descrevem situações-tipo construídas para o argumento: os valores são coerentes entre si e não vêm de uma empresa específica.

O que a comparação de dois períodos é, e o que ela não é

Comparar antes e depois é subtrair dois números e atribuir a diferença a uma causa. É a análise mais usada em gestão e a que exige mais premissas — todas elas quase sempre implícitas.

Ela é uma forma legítima de detectar mudanças muito grandes em processos muito estáveis, quando os dois períodos são longos e comparáveis. É raro, e quando acontece a diferença é tão evidente que a análise formal vira formalidade.

Ela não é demonstração de causa. Dois pontos não descrevem comportamento: descrevem dois pontos. E entre eles cabe qualquer coisa — oscilação normal, sazonalidade, uma tendência que já existia, um evento sem relação nenhuma com o projeto.

Se a mudança foi melhoria é outra pergunta, com página própria: está em minha mudança é uma melhoria?. Aqui interessa por que essa comparação específica não responde a ela.

Motivo 1: regressão à média

É o mais poderoso dos três e o menos conhecido, e ele decorre de como o “antes” é escolhido.

Projetos não começam em meses aleatórios. Começam depois de um mês ruim — foi o mês ruim que chamou atenção, gerou a reunião e justificou a ação. O “antes” é, por construção, um ponto alto da série.

E pontos altos de um processo estável são seguidos, em média, por pontos mais baixos. Não porque algo melhorou: porque o valor alto era em parte oscilação, e a oscilação não se repete sistematicamente.

Nos 24 meses do exemplo, sete estavam acima de 13,4% — a média mais um desvio. A média desses sete meses altos foi de 15,1%. A média dos sete meses imediatamente seguintes foi de 10,6%, e em seis dos sete casos o mês seguinte foi menor.

Isso é uma queda aparente de 29,8%, produzida sem nenhuma intervenção, apenas pela escolha de começar a contar depois de um mês ruim. É praticamente o mesmo número que o projeto reivindicou.

Motivo 2: sazonalidade

Uma operação comparou dezembro, antes da mudança, com fevereiro, depois: queda de 22% no volume de chamados.

A série de três anos mostrava que fevereiro fica sistematicamente entre 20% e 25% abaixo de dezembro, todos os anos, com ou sem projeto. A comparação capturou o calendário e atribuiu ao trabalho.

O erro é fácil de evitar e continua acontecendo porque a escolha dos meses raramente é deliberada — ela segue o cronograma do projeto, e o cronograma do projeto segue o ano fiscal. Comparar o mesmo mês de anos diferentes, ou usar a série inteira, resolve. Comparar meses adjacentes em processos com sazonalidade conhecida não resolve nunca.

Motivo 3: tendência preexistente

É o mais sutil, porque aqui o indicador realmente melhorou — só não por causa da intervenção.

Em um caso, o indicador vinha caindo 0,4 ponto por mês nos dez meses anteriores ao projeto, por razões que ninguém tinha mapeado: maturidade da equipe, estabilização de um sistema novo, efeito residual de outra iniciativa.

Seis meses depois da intervenção, a queda acumulada foi de 2,6 pontos, e o projeto reivindicou os 2,6.

A queda esperada sem nenhuma intervenção, mantida a tendência, era de 0,4 × 6 = 2,4 pontos. O efeito atribuível ao projeto é a diferença: 0,2 ponto — menos de um décimo do que foi declarado.

Esse erro é especialmente caro porque produz a conclusão mais difícil de desfazer: a organização acredita ter encontrado uma intervenção que funciona e a replica em outros lugares, onde não havia tendência nenhuma para carregar o resultado.

O que usar no lugar

A série com a data da mudança marcada resolve a maior parte dos três problemas de uma vez, e custa quinze minutos. Como construí-la está em gráfico de tendência, e a separação visual dos períodos antes e depois em como criar fases em um gráfico de tendência.

As regras que transformam essa leitura em decisão — quantos pontos consecutivos de um lado da linha central indicam mudança real, o que conta como tendência — estão em variação estatística, com o instrumento formal em carta de controle. E o dimensionamento da série anterior à mudança está em baseline.

Quando o grupo de comparação salva

Há uma situação em que a série sozinha não basta: quando algo externo mudou para todo mundo no mesmo período — mercado, regulação, sistema corporativo, sazonalidade atípica.

A saída é comparar com um grupo que não recebeu a intervenção. Se a mudança foi implantada em três de dez unidades, as sete restantes são o grupo de comparação — e a pergunta deixa de ser “o indicador caiu?” para ser “ele caiu mais nas três do que nas sete?”.

Não é ensaio controlado nem precisa ser. É uma verificação barata que elimina de uma vez a maior parte das explicações alternativas, e que quase sempre está disponível em organizações com várias unidades, turnos ou equipes fazendo o mesmo trabalho.

Checklist da comparação

Preencha na tela e use a impressão do navegador (Ctrl+P ou Cmd+P) para anexar ao fechamento do projeto — ou para levar à reunião em que o resultado de outra área será apresentado.

Subtrair é fácil; demonstrar é o problema difícil

Calcular a diferença entre dois números leva cinco segundos e não erra. É por isso que a comparação antes e depois é universal: ela produz um resultado percentual, comunicável e aparentemente objetivo, com esforço quase nulo.

A parte difícil é a que nenhuma conta resolve — descartar as explicações alternativas. Regressão à média, sazonalidade e tendência preexistente não aparecem no cálculo, aparecem na série, e olhar a série exige ter a série, o que exige ter decidido medir antes de precisar.

Uma organização que exige série e predição registrada em toda apresentação de resultado descobre duas coisas rapidamente: que parte dos ganhos históricos não existia, e que os projetos seguintes ficam mais lentos e muito mais confiáveis. A primeira descoberta é desconfortável; a segunda é o que faz o método valer a pena.

Conteúdo revisado pelo Master Black Belt Marcelo Petenate, estatístico, formado pela Unicamp, mestre pela USP e especialista em Lean Six Sigma e melhoria contínua. Nesta revisão, o foco foi a quantificação da regressão à média e o desconto da tendência preexistente no ganho declarado.

Ler dados em série, descontar o que já vinha acontecendo e verificar se o efeito se sustenta é o que a formação Green Belt da EDTI desenvolve em projeto real.

Perguntas frequentes

Por que comparar antes e depois não prova que a mudança funcionou?

Porque dois pontos não descrevem comportamento. Entre eles cabem oscilação normal do processo, sazonalidade, uma tendência que já existia e qualquer outro evento da mesma janela. A diferença observada pode ser inteiramente explicada sem nenhuma contribuição da mudança.

O que é regressão à média?

É a tendência de um valor extremo ser seguido por valores mais próximos do centro. Como projetos costumam começar depois de um período ruim, o período seguinte tende a ser melhor por construção — sem que nada tenha mudado no processo.

Quantos pontos preciso antes e depois?

Pelo menos doze antes, como mínimo defensável, e o suficiente depois para reconhecer um sinal pelas regras de série. Não existe número mágico: o que existe é a necessidade de enxergar a faixa natural do processo nos dois períodos.

Como descontar uma tendência que já existia?

Estime a inclinação da série antes da intervenção — quanto o indicador variava por período — e projete essa inclinação para a janela posterior. A diferença entre o observado e essa projeção é o efeito atribuível à mudança, e ele costuma ser bem menor que o ganho bruto.

Comparar o mesmo mês de anos diferentes resolve?

Resolve a sazonalidade e não resolve os outros dois problemas. Ainda restam regressão à média, tendência de longo prazo e mudanças de contexto entre os anos. É melhor que comparar meses adjacentes, e continua sendo comparação de dois pontos.

E quando não dá para ter série longa?

Aumente a frequência da coleta em vez de esperar. Um indicador mensal com poucos pontos vira semanal ou diário com o mesmo esforço na maioria dos casos, e a série necessária fica pronta em meses em vez de anos.

Grupo de comparação é sempre possível?

Não, e quando há várias unidades, turnos ou equipes fazendo o mesmo trabalho, ele quase sempre está disponível sem custo. Implantar a mudança em parte delas primeiro serve de teste e de comparação ao mesmo tempo — e é uma boa razão para não implantar em tudo de uma vez.

Qual o erro mais comum ao apresentar resultado de projeto?

Escolher como “antes” o mês que motivou o projeto. É o erro mais frequente, o mais difícil de perceber e o que produz o ganho mais convincente — porque a queda vem garantida pela própria escolha do ponto de partida. Nos cursos da Escola EDTI, a predição registrada antes da mudança é tratada como a contramedida principal contra isso.