DOE: o que é delineamento de experimentos e quando ele muda a resposta

DOE é a sigla de design of experiments — delineamento ou planejamento de experimentos. É o conjunto de métodos para planejar quais ensaios rodar e em que combinação, de modo a descobrir quais fatores afetam um resultado com o menor número possível de testes. A definição cabe em uma linha; o que ela não explica é por que o jeito intuitivo de experimentar leva à conclusão errada.

Uma equipe de injeção plástica passou seis semanas atrás de um defeito superficial que atingia 8,5% das peças. O método adotado foi o que todo mundo considera rigoroso: mudar uma variável de cada vez, isolando o efeito de cada uma.

Primeiro, testaram a temperatura do molde. Com o tempo de resfriamento fixo em 12 segundos, subiram de 190 °C para 210 °C e o defeito caiu de 8,5% para 5,2%. Ganho confirmado, temperatura fixada em 210. Depois testaram o tempo de resfriamento: de 12 para 18 segundos, com a temperatura já em 210, o defeito caiu de 5,2% para 4,4%. A conclusão foi registrada, o padrão foi alterado e a predição da equipe era de estabilizar em torno de 4%.

A conclusão estava errada, e o erro não foi de execução. Foi do desenho do experimento.

O que o experimento sequencial não testou

Com dois fatores em dois níveis cada, existem quatro combinações possíveis. A equipe testou três delas e nunca chegou à quarta. Rodando as quatro, com repetição:

A melhor condição é a única que ficou de fora — e ela usa a temperatura mais baixa, exatamente a que havia sido descartada no primeiro teste. Não há contradição nos dados: o efeito da temperatura depende do tempo de resfriamento. Com 12 segundos, subir a temperatura ajuda; com 18 segundos, atrapalha.

Isso se chama interação, e é estruturalmente invisível para quem testa um fator de cada vez. O teste sequencial mede o efeito de cada variável em um único cenário — aquele em que as demais estão travadas — e generaliza esse resultado como se ele valesse sempre. Quando os fatores interagem, ele não erra por pouco: ele aponta para o lado oposto.

O que significa DOE?

DOE quer dizer design of experiments, traduzido no Brasil como delineamento de experimentos ou planejamento de experimentos. Também aparece escrito como D.O.E. ou DoE, e nomeia tanto o campo de conhecimento quanto um experimento específico — “rodamos um DOE” significa que um conjunto planejado de ensaios foi executado.

Vale a desambiguação, porque a sigla é usada em outros contextos sem nenhuma relação com este: DOE também identifica o Departamento de Energia dos Estados Unidos e, no Brasil, o Diário Oficial do Estado.

Na prática industrial, a definição fica mais clara pelo contraste. No teste sequencial, cada ensaio responde a uma pergunta sobre uma variável. No delineamento fatorial, cada ensaio contribui para a estimativa de todos os efeitos ao mesmo tempo, porque as combinações são escolhidas para que os fatores variem de forma balanceada. É a diferença entre quatro perguntas isoladas e um sistema de quatro equações.

Repare no que isso significa em custo: a equipe do exemplo rodou três condições e chegou à resposta errada; o fatorial completo com dois fatores exige quatro. Um ensaio a mais entrega a resposta certa e ainda quantifica a interação. DOE não é o caminho caro — é o caminho organizado.

Efeitos principais e interação

Com a matriz completa, três números saem de contas simples de médias.

O efeito principal da temperatura é a média dos resultados com 210 °C menos a média com 190 °C: (5,2 + 4,4)/2 − (8,5 + 3,1)/2 = 4,8 − 5,8 = −1,0 ponto percentual. Isolado, sugere que aquecer ajuda um pouco.

O efeito principal do resfriamento: (3,1 + 4,4)/2 − (8,5 + 5,2)/2 = 3,75 − 6,85 = −3,1 pontos. É o fator dominante.

A interação mede o quanto o efeito de um depende do outro: (8,5 + 4,4)/2 − (5,2 + 3,1)/2 = 6,45 − 4,15 = +2,3 pontos. Sendo maior que o efeito principal da temperatura, ela é o achado central do experimento — e é o número que nenhum teste sequencial produz, em nenhuma circunstância.

Quando a interação é grande, falar do “efeito da temperatura” sem dizer em que condição de resfriamento é uma afirmação sem sentido operacional. É por isso que padrões de processo definidos por tentativa e erro costumam funcionar por um tempo e falhar quando outra variável muda: o ajuste foi calibrado para um cenário que ninguém registrou.

Fatorial completo e fatorial fracionado

O fatorial completo roda todas as combinações: com k fatores em dois níveis, são 2^k ensaios. Dois fatores dão 4; três dão 8; cinco dão 32. O crescimento é exponencial e rapidamente inviabiliza o experimento em produção.

O fatorial fracionado resolve isso rodando uma fração das combinações escolhida de forma deliberada — com cinco fatores, 16 ensaios em vez de 32, ou 8 se a redução for maior. O preço é o confundimento: alguns efeitos ficam misturados e deixam de ser distinguíveis entre si. A troca costuma valer a pena na fase inicial, quando o objetivo é descobrir quais fatores importam entre muitos candidatos; depois, um experimento menor e completo detalha os poucos que sobraram.

Essa sequência — triagem ampla e barata, depois aprofundamento nos fatores que sobreviveram — é o uso mais comum do DOE em projetos de melhoria, e responde à terceira das perguntas do Modelo de Melhoria: que mudanças vale a pena testar. A montagem prática da matriz, com níveis, réplicas e ordem de execução, está em como implementar um experimento fatorial.

O que o DOE exige antes de começar

Três condições precisam estar resolvidas, e nenhuma delas é estatística.

Sistema de medição confiável. Se a variação da própria medição consome parte relevante da tolerância, os efeitos estimados são ruído com nome de resultado. Verificar isso é assunto do MSA, e vem antes.

Processo razoavelmente estável. Experimentar em um processo com causas especiais atuando produz diferenças entre ensaios que não têm nada a ver com os fatores manipulados. Ler o comportamento do processo ao longo do tempo, com uma carta de controle, é o que separa as duas coisas.

Disciplina experimental. Aleatorizar a ordem dos ensaios, replicar cada condição e agrupar em blocos o que não se pode controlar são exigências do método, não formalidades — rodar todos os ensaios de temperatura baixa pela manhã e os de temperatura alta à tarde confunde o efeito do fator com o efeito do turno. Os quatro princípios que sustentam isso estão em os 4 princípios básicos da experimentação.

Quando o DOE não é a ferramenta

Quando os fatores não são controláveis — dá para observar a umidade do ambiente, mas não para fixá-la em dois níveis —, o caminho é o estudo observacional com análise de dados históricos, não o experimento. Quando o objetivo é apenas comparar dois métodos ou dois fornecedores, um teste de hipótese resolve com menos aparato. E quando cada ensaio é caro ou lento a ponto de inviabilizar o número mínimo de rodadas, a alternativa é testar em pequena escala e em sequência, aprendendo a cada ciclo — que é o percurso do PDSA.

Sobre a execução no software, este artigo para aqui de propósito: a geração do delineamento e a leitura das saídas estão em DOE no Minitab, e o teste estatístico que sustenta a significância dos efeitos é o assunto de ANOVA.

O custo de não experimentar direito

A equipe da injeção não perdeu apenas os 1,3 ponto percentual entre a solução adotada e a melhor condição. Perdeu seis semanas, adotou um padrão que roda com temperatura mais alta — com o gasto energético correspondente — e, o mais caro, saiu convencida de que o assunto estava resolvido. Um processo com uma conclusão errada consolidada é mais difícil de melhorar do que um processo sem conclusão nenhuma, porque ninguém volta a investigar o que já foi “provado”.

Foi uma mudança, e ela até melhorou o número. Mas mudança e melhoria não são a mesma coisa: a melhoria estava na combinação que o desenho do teste tornou invisível. Aprender a planejar o experimento antes de rodá-lo — e a reconhecer quando a resposta depende de uma combinação, não de um fator — é conteúdo central da formação Green Belt, e o raciocínio que o sustenta começa na certificação White Belt gratuita da EDTI.

Conteúdo revisado pelo Master Black Belt Marcelo Petenate, estatístico, formado pela Unicamp, mestre pela USP e especialista em Lean Six Sigma e melhoria contínua. Nesta revisão, o foco foi a interação entre fatores e o que o teste sequencial deixa de enxergar.

Perguntas frequentes

O que significa DOE?

DOE é a sigla de design of experiments, traduzido como delineamento ou planejamento de experimentos. Aparece também como DoE ou D.O.E. É o conjunto de métodos para decidir quais ensaios rodar e em que combinação, de modo a estimar o efeito de vários fatores com o menor número de tentativas.

Qual a diferença entre DOE e testar um fator de cada vez?

O teste sequencial mede cada fator com os demais travados, e por isso não detecta interações. O delineamento fatorial varia os fatores de forma combinada, o que permite estimar efeitos principais e interações — frequentemente com o mesmo número de ensaios.

O que é interação entre fatores?

É quando o efeito de um fator depende do nível de outro. Aumentar a temperatura pode reduzir defeitos em uma condição de resfriamento e aumentá-los em outra. Havendo interação forte, falar do efeito de um fator isolado não tem significado prático.

Quando usar fatorial fracionado em vez de completo?

Quando o número de fatores torna o completo inviável — cinco fatores exigem 32 ensaios, e a fração roda 16 ou 8. Serve bem para a triagem inicial, em que o objetivo é descobrir quais fatores importam. O custo é o confundimento: alguns efeitos ficam misturados e precisam de um experimento posterior para serem separados.

Quantos ensaios são necessários em um DOE?

Depende do número de fatores, dos níveis e da repetição. Com dois níveis, o fatorial completo exige 2 elevado ao número de fatores, e a repetição de cada condição é o que permite estimar a variação natural do processo e separar efeito real de ruído.

Preciso saber estatística avançada para usar DOE?

Para planejar um fatorial simples e interpretar efeitos, não — as contas do exemplo deste artigo são médias. O que exige formação é decidir quantos ensaios rodar, reconhecer quando o processo não está em condição de ser experimentado e traduzir o resultado em mudança sustentada, que é o que as formações Lean Six Sigma da EDTI desenvolvem.