/ab-testingGestão & GrowthPlanejar teste A/B que responde alguma coisa
Desenha experimento com hipótese, métrica e critério de parada definidos antes — não depois de olhar o resultado.
Para: Product managers e growth
O que é
A maior parte dos testes A/B que rodam por aí não conclui nada. Não porque a ferramenta falhou, mas porque o experimento foi desenhado errado: sem hipótese clara, sem definir de antemão quanto tempo rodaria, e encerrado no dia em que o número ficou favorável.
Esta skill cuida do desenho — a parte anterior à ferramenta. Ela cobra a hipótese em forma testável, a métrica primária (uma só), o tamanho de amostra necessário e o critério de parada definido antes de começar.
Quando usar
- Antes de rodar qualquer teste — é onde ela serve
- Quando o time discute mudança com base em opinião e ninguém tem dado
- Para revisar um teste que 'deu resultado' e você quer saber se o resultado é confiável
Quando não usar
- Com pouco tráfego: sem volume, o teste não conclui nada e você perde semanas para descobrir isso
- Para decisão óbvia — não se testa se o botão de comprar deve existir
- Quando a mudança é grande demais: se você alterou a página inteira, saber qual elemento causou o efeito é impossível
O erro mais comum
Parar o teste no momento em que a variante está ganhando. Resultado oscila muito no começo, e encerrar na hora favorável transforma ruído em "descoberta". Defina a duração antes e respeite, mesmo quando dá vontade de parar.
O segundo erro é escolher a métrica depois. Se você mede dez coisas e reporta a que melhorou, alguma sempre terá melhorado — por acaso.
Instalação
$ npx skills add anthropics/skillsOutras skills de Gestão & Growth
- /content-strategyDecidir sobre o que escrever, e por quêMonta estratégia de conteúdo ligada a objetivo de negócio — em vez de calendário de posts sem destino.
- /copywritingEscrever copy que diz o que o produto fazTexto de marketing com promessa clara e específica — o oposto do 'transforme seu negócio com nossa solução inovadora'.
- /croAumentar conversão sem inventar truqueAnalisa o funil e aponta atrito real — campo desnecessário, promessa confusa, próximo passo escondido.