Uma equipe testa uma mudança no processo e o resultado dá “não significativo”. A conclusão que sai da reunião é que a mudança não funcionou, e o projeto segue para a próxima hipótese.
Pode ser que a mudança realmente não tenha efeito. Pode também ser que ela funcione e o teste não tenha tido força para detectar — porque a amostra era pequena, ou porque o efeito é real e modesto. As duas situações produzem exatamente a mesma saída no software, e a equipe tratou uma delas como se fosse a outra.
Essa é a diferença entre os dois erros que todo teste carrega, e entender qual deles você está aceitando é o que separa usar estatística de obedecer a ela.
Os dois erros
Todo teste de hipótese parte de uma suposição de que nada mudou — os dois grupos são iguais, o fator não afeta o resultado, a mudança não teve efeito. O teste pergunta se os dados observados são compatíveis com essa suposição.
A partir daí, existem duas formas de errar.
| Na realidade não há efeito | Na realidade há efeito | |
|---|---|---|
| O teste diz que há | Erro tipo I — falso positivo | Acerto |
| O teste diz que não há | Acerto | Erro tipo II — falso negativo |
O erro tipo I é concluir que existe efeito quando não existe. Você implanta a mudança, gasta o recurso, e o ganho observado era variação normal do processo.
O erro tipo II é concluir que não existe efeito quando existe. Você descarta a mudança que teria funcionado e vai procurar outra coisa.
O primeiro é chamado de alfa, o segundo de beta, e a probabilidade de não cometer o segundo — a chance de detectar um efeito que existe — chama-se poder do teste.
Por que 5% e não outro número
O nível de significância de 5% é uma convenção, não uma lei da natureza. Ela vem da prática de pesquisa acadêmica do século passado e se espalhou porque era um ponto de corte razoável para publicação — não porque 5% seja o risco certo para a sua decisão.
O que ela significa é concreto: ao adotar 5%, você aceita que, em média, uma a cada vinte conclusões de “existe efeito” será falsa quando na realidade não havia nada. Se isso é aceitável depende inteiramente do que a conclusão vai desencadear.
Adotar 5% sem pensar é o comportamento padrão, e ele é defensável na maioria dos projetos de melhoria. Deixa de ser quando o custo de um dos dois erros é claramente maior que o do outro.
A escolha que ninguém faz explicitamente
Aqui está o ponto que muda a decisão: os dois erros não caem juntos. Com a amostra fixa, reduzir o risco de falso positivo aumenta o de falso negativo, e vice-versa. Exigir mais evidência para concluir que há efeito significa deixar passar mais efeitos reais.
Por isso a pergunta útil antes de rodar o teste é qual dos dois custa mais neste caso.
Quando o falso positivo custa mais: a mudança exige investimento alto, parada de linha, alteração em protocolo assistencial ou algo difícil de reverter. Concluir que funciona quando não funciona sai caro, e vale exigir mais evidência.
Quando o falso negativo custa mais: a mudança é barata, reversível, e o que está em jogo é descartar prematuramente uma boa ideia. Numa triagem de fatores, num teste piloto de baixo custo, deixar passar o que funciona é o erro pior — e um critério rígido demais faz o projeto abandonar a hipótese certa.
Há um terceiro caso, comum em segurança: quando o resultado do teste é “o processo está dentro do aceitável”, o falso negativo é o que deixa o risco em operação. Aí a assimetria é evidente e raramente é discutida.
A saída que quase sempre existe: mais dados
A troca entre os dois erros só é obrigatória com a amostra fixa. Aumentar o tamanho da amostra reduz os dois ao mesmo tempo — é a única forma de não escolher.
Isso transforma a conversa. Em vez de discutir se 5% é o número certo, a pergunta passa a ser: quantas observações eu preciso para detectar um efeito do tamanho que me interessa, com o risco que estou disposto a aceitar nos dois lados? Essa conta é feita antes da coleta, não depois — e quando ela mostra que a amostra necessária é inviável, isso também é informação: o teste planejado não vai responder a pergunta, e insistir nele é gastar semanas para produzir um “não significativo” impossível de interpretar.
Decidir quanto coletar, por quanto tempo e com que fatores registrados é o assunto do plano de coleta de dados.
O que “não significativo” não quer dizer
Três leituras erradas aparecem em praticamente toda reunião de projeto, e todas vêm de ignorar o erro tipo II.
“Não significativo” não é “não há diferença”. É “os dados que eu tenho não permitem descartar que não haja”. Com amostra pequena, quase nada é significativo — inclusive efeitos grandes e reais.
“Significativo” não é “importante”. Com amostra muito grande, diferenças minúsculas e irrelevantes na prática ficam estatisticamente significativas. A pergunta que precisa vir junto é sempre o tamanho do efeito: dois minutos a menos no atendimento mudam alguma coisa para o cliente?
Nenhum dos dois estabelece causa. O teste diz se a diferença observada é compatível com o acaso; não diz que a mudança que você fez produziu a diferença. Se outra coisa mudou ao mesmo tempo, o teste não distingue — e é por isso que a distinção em correlação e causalidade continua valendo depois de qualquer p-valor.
O erro que antecede os dois
Há uma terceira forma de errar que não aparece na tabela e é mais frequente que as outras duas: testar sobre dados que não medem o que dizem medir.
Se dois inspetores classificam a mesma peça de formas diferentes, ou se dois setores contam “atraso” com critérios distintos, parte da variação que o teste vai avaliar é variação da medição. O resultado será tecnicamente correto e sobre outra coisa. Verificar isso antes é o papel da análise do sistema de medição, e fixar o critério de contagem é o da definição operacional.
E há uma forma de errar que é anterior a tudo: testar uma diferença que era variação normal do processo. Quando alguém compara o mês pior com o anterior e vai testar a diferença, o teste responde uma pergunta legítima sobre dois pontos — e ignora que o indicador oscila naquela faixa há dois anos. Olhar a série antes evita o teste inteiro, e é o que a carta de controle permite ver em minutos, com o conceito em variação.
Como decidir na prática
Antes de rodar o teste, três perguntas resolvem quase tudo, e levam menos tempo que a análise.
Qual diferença importa? Não a que é detectável — a que muda a decisão. Se uma redução de dois pontos percentuais não justifica a mudança, não há motivo para dimensionar o teste para detectá-la.
Qual dos dois erros custa mais aqui? Se a resposta for o falso positivo, exija mais evidência. Se for o falso negativo, aceite mais risco de concluir a favor e trate o resultado como hipótese a confirmar em escala maior.
Tenho observações suficientes? Se não tiver, saiba disso antes — porque um “não significativo” com amostra pequena não é informação, é a ausência dela.
Essa sequência — decidir o que importa, escolher o risco, dimensionar e só então testar — é a mesma disciplina de testar uma mudança por vez com previsão registrada antes, que é a lógica do PDSA. E é o que uma formação como o Green Belt desenvolve na fase de análise: não qual teste rodar, mas o que o resultado permite concluir. O procedimento do teste em si, com os tipos e quando usar cada um, está em teste de hipótese.
A conclusão que o teste não dá
Vale voltar à equipe da abertura com a pergunta que teria mudado a reunião: com quantas observações nós teríamos detectado um efeito do tamanho que nos interessa?
Se a resposta for “com as que temos”, o “não significativo” é informação real e a hipótese pode ser descartada. Se for “com o triplo”, o que a equipe descobriu não foi sobre o processo — foi sobre o próprio teste. E abandonar a hipótese nesse ponto é tomar uma decisão com base na ausência de evidência, tratando-a como evidência de ausência.
Conteúdo revisado pelo Master Black Belt Marcelo Petenate, estatístico, formado pela Unicamp, mestre pela USP e especialista em Lean Six Sigma e melhoria contínua. Nesta revisão, o foco foi a escolha explícita do risco entre os dois erros e a leitura de resultados não significativos com amostra insuficiente.
O White Belt gratuito da EDTI apresenta a leitura de variação — o filtro que evita testar diferenças que o processo sempre teve.
Perguntas frequentes
Qual a diferença entre erro tipo I e erro tipo II?
O erro tipo I é concluir que existe efeito quando não existe — um falso positivo, que leva a implantar uma mudança inútil. O erro tipo II é concluir que não existe efeito quando existe — um falso negativo, que leva a descartar uma mudança que teria funcionado.
O que significa nível de significância de 5%?
Que você aceita, em média, uma conclusão falsa de “existe efeito” a cada vinte, quando na realidade não há nada. É uma convenção herdada da prática acadêmica, não um valor obrigatório — e ela deixa de fazer sentido quando o custo de um dos dois erros é claramente maior que o do outro.
Posso reduzir os dois erros ao mesmo tempo?
Com a amostra fixa, não: reduzir um aumenta o outro. A única forma de reduzir os dois é aumentar o número de observações — e é por isso que dimensionar a amostra antes da coleta importa mais que discutir qual nível de significância adotar.
“Não significativo” quer dizer que não há diferença?
Não. Quer dizer que os dados disponíveis não permitem descartar que não haja. Com amostra pequena, quase nada é significativo — inclusive efeitos grandes e reais. Concluir ausência de efeito a partir disso é tratar ausência de evidência como evidência de ausência.
O que é o poder de um teste?
É a probabilidade de detectar um efeito que de fato existe — o complemento do erro tipo II. Um teste com poder baixo produz “não significativo” com frequência mesmo quando a mudança funciona, e por isso o resultado dele é pouco informativo nos dois sentidos.
Resultado significativo prova que a mudança causou o efeito?
Não. O teste avalia se a diferença observada é compatível com o acaso; não estabelece qual mudança a produziu. Se outra coisa mudou no mesmo período, o teste não distingue — o que exige controlar as explicações alternativas antes de atribuir a causa.