Como testar mudanças: da ideia ao padrão, com modelo de registro

Para testar uma mudança, escreva antes o que você espera que aconteça, aplique a mudança numa escala pequena, colete dados do indicador antes e depois, compare o resultado com a previsão e decida: adotar, adaptar ou abandonar. Depois, repita o teste em condições diferentes antes de transformar a mudança em padrão.

Uma clínica de exames de imagem decidiu mandar uma mensagem de confirmação dois dias antes de cada agendamento, para reduzir as faltas de pacientes, que estavam em 14%. A ideia foi aprovada numa reunião, o sistema de mensagens foi contratado e, em uma semana, todos os agendamentos da rede passaram a receber o aviso. Três meses depois, as faltas estavam em 13%. Ninguém sabia dizer se a mensagem não funcionava, se funcionava só em algumas unidades ou se outra coisa tinha piorado no mesmo período. A mudança tinha sido implantada. Não tinha sido testada.

Como testar mudanças: o caminho da ideia ao padrão

Testar uma mudança não é um evento único. É uma sequência de testes, cada um respondendo a uma pergunta diferente, até que haja confiança suficiente para que a mudança vire parte do processo. O livro Modelo de Melhoria, de Langley e colegas, separa essa sequência em três momentos: testar, implementar e disseminar. Cada um tem um objetivo e um tipo de risco.

A clínica pulou direto para a disseminação. Por isso, quando o resultado decepcionou, não havia como saber em que ponto o caminho falhou.

Os cinco passos de cada teste

Cada teste da sequência é um ciclo PDSA (Plan, Do, Study, Act). O ciclo em si, com suas quatro etapas em detalhe, está em ciclo PDSA. Aqui interessa o que todo teste de mudança precisa ter para produzir uma decisão.

1. Uma pergunta. “A mensagem de confirmação reduz faltas?” é ampla demais. “Nos agendamentos de ressonância da unidade Centro, a mensagem reduz as faltas da próxima semana para menos de 10%?” é uma pergunta que um teste consegue responder.

2. Uma predição registrada antes. Escrever o resultado esperado antes do teste é o que permite aprender com ele. Se a equipe previu 8% e o resultado foi 11%, há algo a entender. Sem previsão, qualquer resultado parece confirmar o que cada um já pensava.

3. A menor escala que ainda ensina. O primeiro teste deve ser pequeno o bastante para que um fracasso custe pouco. Quanto arriscar em cada rodada é o assunto da escala do teste.

4. Dados no tempo, antes e depois. Uma semana com 9% de faltas, comparada com uma semana com 14%, não prova nada se as faltas normalmente variam entre 9% e 18%. O indicador precisa ser lido em sequência, num gráfico de tendência, com a linha de base do período anterior.

5. Uma decisão explícita. Todo teste termina em adotar, adaptar ou abandonar. Teste que termina em “vamos continuar observando” é teste sem pergunta.

Modelo de registro de testes de uma mudança

A planilha abaixo registra a sequência de testes de uma mudança, do primeiro ciclo à implementação. As linhas de exemplo são do caso da clínica. Clique nas células para editar, baixe em CSV para abrir no Excel ou imprima.

Por que testar em condições diferentes antes de implantar

O ciclo 2 da clínica é o que a implantação em massa tinha escondido. A mensagem funcionava bem na unidade Centro, onde a maioria dos pacientes marcava pelo próprio celular. Na Zona Norte, muitos agendamentos eram feitos por familiares ou pela empresa do paciente, e a mensagem chegava a quem não ia ao exame. O efeito médio da rede inteira, 13%, misturava uma unidade em que a mudança funcionava com outra em que ela não chegava ao destinatário.

Testar em condições diferentes não é burocracia. É a forma de descobrir de que a mudança depende para funcionar: tipo de cliente, turno, equipe, volume. Quando essa dependência aparece no teste, ela vira uma adaptação barata. Quando aparece depois da implantação, vira um resultado médio decepcionante sem explicação. O desenho de um teste maior, com grupo de comparação e critérios escritos, é o assunto de projeto piloto.

Quando a mudança testada vira melhoria

Uma mudança testada com sucesso ainda não é uma melhoria. Ela se torna melhoria quando o indicador mostra um patamar novo, melhor, e esse patamar dura. A definição completa, com os critérios de impacto positivo, relevante e duradouro, está em minha mudança é uma melhoria?. Ler esse patamar num gráfico de controle, separando uma semana boa de uma mudança real de nível, é uma das competências da formação Green Belt.

Um caso de advertência

Seis meses depois da implementação, a clínica abriu uma terceira unidade e copiou a mensagem com a opção de remarcar. As faltas da unidade nova ficaram em 16% no primeiro mês. A equipe de lá não tinha feito nenhum teste: recebeu a mudança pronta, sem saber que ela tinha sido ajustada para um perfil de paciente específico. Na unidade nova, a maior parte dos exames era de convênio corporativo, agendada pelo RH das empresas. O registro de testes da Zona Norte mostrava exatamente esse problema, e ninguém da unidade nova tinha lido.

Conteúdo revisado pelo Master Black Belt Marcelo Petenate, estatístico, formado pela Unicamp, mestre pela USP e especialista em Lean Six Sigma e melhoria contínua. Nesta revisão, o foco foi a sequência de testes que leva uma mudança da ideia ao padrão, e o registro que permite aprender com ela.

Testar mudanças com predição, escala e dados no tempo é o núcleo do método científico aplicado à gestão. O curso White Belt gratuito da Escola EDTI apresenta esse método, com um projeto conduzido do início ao fim, com dados, decisões e resultado mensurável, e é por onde faz sentido começar.

Perguntas frequentes

Qual a diferença entre testar e implementar uma mudança?

O teste serve para aprender se a mudança produz o efeito previsto e em que condições. A implementação serve para tornar a mudança parte do processo, com padrão, treino e indicador de processo. Testar admite fracasso; implementar só deve acontecer depois que os testes deram confiança suficiente.

Quantos testes são necessários antes de implementar?

Não há número fixo. São necessários testes suficientes para que o efeito tenha aparecido nas principais condições em que o processo opera, como turnos, unidades e tipos de cliente. Mudanças de risco alto pedem mais ciclos.

Preciso de grupo de controle para testar uma mudança?

Nem sempre. Em muitos testes de melhoria, o próprio histórico do indicador, lido no tempo, serve de comparação. O grupo de controle ajuda quando há outras mudanças acontecendo no mesmo período ou quando o efeito esperado é pequeno.

O que fazer quando o teste não confirma a predição?

Estudar a diferença. Um resultado diferente do previsto mostra que a teoria sobre o processo estava incompleta, e é justamente essa informação que orienta a adaptação da mudança no próximo ciclo.

Como começar a testar mudanças na prática?

Escolha uma mudança pequena, escreva uma pergunta e uma predição, aplique num caso ou num dia e registre o resultado no modelo acima. O curso White Belt da Escola EDTI ensina esse método passo a passo e é gratuito.