Testes A/B

O Engage permite executar 2-4 variantes em uma campanha e promover o vencedor automaticamente. Nos bastidores, usa um modelo bayesiano - que soa intimidador, mas e na verdade mais simples de ler do que os testes t que a maioria das ferramentas de marketing usa.

O que voce pode testar

Como o teste roda

1. Voce anexa 2-4 variantes a uma campanha.
2. Cada destinatario e atribuido a uma variante deterministicamente (seed por customer_id).
3. Conforme eventos de engajamento chegam, Engage atualiza sua crenca sobre o desempenho real de cada variante.
4. Quando cada variante tem pelo menos 500 envios E uma variante tem 95%+ de probabilidade de ser a melhor, o vencedor e travado.
5. Se voce ativou Enviar restante ao vencedor, o resto da audiencia recebe a variante vencedora.

O que Bayesiano realmente significa aqui

Voce pode ter aprendido testes A/B atraves de "valores p" e "significancia estatistica". Essa abordagem (chamada frequentista) pergunta: "se as variantes fossem identicas, com que frequencia eu veria resultados tao extremos?" E uma pergunta util, mas lenta para dar uma resposta clara e facil de usar mal.

A abordagem bayesiana pergunta o que voce realmente quer saber: "Qual a probabilidade da variante B ser melhor que a A?"

Engage da essa probabilidade diretamente:

Variante A: 4,1% de taxa de clique (n=523), 12% de chance de ser a melhor
Variante B: 5,8% de taxa de clique (n=518), 87% de chance de ser a melhor
Variante C: 3,9% de taxa de clique (n=515), 1% de chance de ser a melhor

Quando qualquer variante cruza 95%, esse e seu vencedor.

A Matematica (Explicada Levemente)

Pule essa secao se voce nao e nerd de estatistica - a ferramenta funciona sem ela.

Engage modela cada variante como uma Beta-Binomial:

• A parte Binomial e a mecanica basica - de N envios, alguns tiveram sucesso.
• A parte Beta e uma distribuicao a priori sobre a taxa real de sucesso. Engage usa uma a priori uniforme fracamente informativa.
• Apos observar dados, a posteriori tambem e uma distribuicao Beta.

Para estimar "P(variante B e a melhor)", Engage tira muitas amostras aleatorias de cada posteriori. A amostragem usa o algoritmo Marsaglia-Tsang Gamma, uma forma rapida e numericamente estavel de tirar amostras Beta.

O resultado pratico: voce obtem um numero limpo de probabilidade que atualiza em tempo real, sem p-hacking e sem vies de parada antecipada.

Configurando um Teste A/B

1. No compositor de campanha, clique Variantes A/B.
2. Clique Adicionar Variante.
3. Para cada variante:
   • De um nome
   • Anexe um modelo
   • Defina peso de divisao de trafego
4. Opcional: Reter 10% para grupo de controle.
5. Opcional: Enviar restante ao vencedor.

Salve e envie.

Lendo os Resultados

Quando uma variante atinge 95% e todas tem 500+ envios, voce vera "Vencedor declarado".

Tamanho Minimo de Amostra

O gate de 500 envios por variante existe para impedir vencedores prematuros. Mesmo com framework Bayes forte, 50 envios por variante nao dizem muito.

Se audiencia menor que 500 por variante:

• Teste ainda roda, mas sem vencedor automatico.
• Use Forcar vencedor manualmente.
• Ou pule testes A/B em audiencias pequenas.

Grupos de Retencao

Com Reter 10% ativado, esses 10% nao recebem mensagem alguma. Sua taxa de conversao vira a "baseline".

Lift incremental = taxa de conversao vencedora menos taxa baseline.

Testes A/B em Jornadas

Jornadas nao suportam testes A/B por etapa em v1. Workaround: campanha autonoma com A/B, escolha vencedor, depois embuta no jornada.

Melhores Praticas

• Teste uma coisa de cada vez.
• Seja paciente. Atingir 95% com efeitos realistas geralmente leva 1.000-5.000 envios por variante.
• Observe confounders. Teste so na terca = "terca vs outro dia".
• Documente seu vencedor.

Solucao de Problemas

Divisao de trafego desigual

Determinista por destinatario. Abaixo de ~200 envios por variante, converge lentamente.

Sem vencedor declarado apos 5.000 envios

Geralmente significa que variantes sao genuinamente similares.

Taxa de clique zero em todas variantes

Verificar funil - se delivered tambem zero, despacho quebrado. Se delivered alto e clicked zero, rastreamento de link quebrado.

---