Toda decisão precisa de um grupo de controle

Quase toda empresa já viveu esta cena: uma promoção termina, as vendas subiram, e cada área apresenta um número diferente para o que a ação "gerou". O problema raramente é a planilha. É que ninguém combinou, antes de começar, contra o que o resultado seria comparado.

Três tipos de afirmação

Nem todo número pode dizer a mesma coisa. No Signal, cada método carrega um rótulo que acompanha o número em todos os relatórios:

• Descritivo: dimensiona uma oportunidade. A elasticidade de preço por SKU, por exemplo.
• Preditivo: projeta um cenário. Uma simulação de Monte Carlo ou uma previsão testada contra o histórico.
• Causal: mede um efeito. Só este pode prometer um resultado no P&L.

Assim, uma correlação nunca aparece no relatório como se fosse um efeito.

Um contrato antes da decisão

Cada decisão é pré-registrada antes de começar, com:

1. a métrica que vai ser lida;
2. pelo menos duas unidades de tratamento e duas de controle;
3. um início, um fim e uma data de leitura;
4. uma métrica de proteção, ou seja, aquilo que não pode piorar.

Como tudo isso fica fixo antes, ninguém escolhe o resultado depois.

A leitura

Na data marcada, o efeito é lido por diferença em diferenças: pelo menos três períodos antes e dois depois, todas as observações usadas, um intervalo de 95% e uma checagem de tendências paralelas. Quando não existe um grupo de controle limpo, um controle sintético, uma combinação ponderada de unidades parecidas, faz esse papel.

Se o efeito não for mensurável, o relatório diz isso com todas as letras.

Uma leitura é reportada como efeito medido, pendente de validação. Nunca é lançada como valor capturado.

O que o sistema aprende

O que uma leitura ensina vira uma regra candidata, que fica inativa até que uma pessoa a aprove. O sistema só aprende o que as pessoas concordaram em ensinar.

Quer ver o método em detalhe? A página de Medição mostra cada etapa.