La mayoría de A/B tests en apps producen conclusiones que no son válidas. La prueba terminó demasiado temprano. Múltiples cosas cambiaron a la vez. La muestra no fue lo suficientemente grande. El resultado se vio significativo pero no lo fue.
Ejecutar un A/B test adecuado no es complicado, pero sí requiere seguir algunas reglas consistentemente. Sáltate y optimizarás basado en ruido.
Antes de empezar: calcula tu tamaño de muestra
El error más común en A/B testing de apps es comenzar una prueba sin saber cuánto tiempo necesita para producir un resultado confiable. Si la detienes temprano (porque una variante "parece estar ganando"), obtienes un falso positivo.
Antes de ejecutar cualquier test, calcula el tamaño de muestra mínimo requerido. Esto depende de tu tasa de conversión baseline actual, el tamaño mínimo de efecto que quieres detectar (¿una mejora del 10%? ¿20%?), y tu nivel deseado de confianza (la mayoría de equipos usa 90–95%). Las calculadoras gratuitas (Optimizely, VWO, o cualquier calculadora de tamaño de muestra de A/B test) te dan este número en 60 segundos. Si necesitas 5,000 usuarios por variante y recibes 500 visitantes por semana, la prueba necesita ejecutarse durante al menos 10 semanas. Empezar y parar en la semana 3 no es una prueba válida.
Prueba una variable a la vez
Esto no puede ser exagerado. Si cambias tu titular de paywall, el layout de precios, Y el color del botón CTA simultáneamente, no puedes saber qué cambio causó algún movimiento en conversión. Podrías mantener una combinación que esté obstaculizada por un elemento pobre.
Una variable por test. Siempre. La excepción es un test de "big bang" donde comparas un diseño completamente diferente con el actual — pero en ese caso, estás tomando una decisión directiva amplia, no aprendiendo qué específicamente optimizar.
Ejecuta tests durante un mínimo de 30 días
Incluso si alcanzas tu tamaño de muestra antes de 30 días, mantén el test ejecutándose. Necesitas capturar variación natural: comportamiento entre semana vs. fin de semana, diferentes fuentes de adquisición que llegan en diferentes días, y cualquier ciclo de marketing semanal que afecte quién está en la app.
30 días es el mínimo. Para productos estacionales, considera ejecutar a través de tanto un período pico como fuera de pico antes de concluir.
¿Qué puedes probar en cada plataforma?
App Store (iOS): Screenshots, app icon, y preview video solamente — sin texto. Un experimento a la vez. Los tests se ejecutan hasta 90 días. Tú eliges qué porcentaje de tráfico ve cada variante.
Google Play: Screenshots, icon, short description, long description, y feature graphic. Hasta 5 experimentos simultáneamente — una ventaja significativa que te permite ejecutar tests paralelos en diferentes elementos. Los resultados muestran tasa de instalación y retención.
Nunca apliques resultados entre plataformas. Un icon que aumenta descargas en Android puede dañarlas en iOS. El comportamiento del usuario difiere entre plataformas. Prueba cada una independientemente.
Cómo leer tus resultados adecuadamente
Un test mostrando "no hay diferencia significativa" en general puede esconder resultados reales en segmentos específicos. Segmenta tus resultados de A/B por plataforma (iOS vs. Android), fuente de adquisición (orgánico vs. pago vs. social), y geografía del usuario (los resultados pueden diferir dramáticamente por mercado).
Un test que muestra −2% en general pero +15% para tu fuente de adquisición principal no es un resultado nulo. Trata "no hay diferencia significativa" como información útil también: te dice que ese elemento no es lo que está impulsando o dañando conversión. Avanza y prueba algo con más apalancamiento.
Qué probar primero (priorizado por impacto)
Primer screenshot u pantalla de paywall (apalancamiento de conversión más alto) → texto del botón CTA en el paywall → App icon (alta visibilidad, afecta el click-through antes del listing) → titular del paywall → orden de screenshots → primera oración de descripción (especialmente en Google Play donde es indexada).