Una de las metodologías de experimentación que más están apareciendo estos días en medios especializados es CUPED.
CUPED es un enfoque que se usa para diseñar y analizar experimentos que ayudan a mejorar sistemas complejos como los motores de búsqueda o las recomendaciones online.
Las siglas CUPED se obtienen de (Controlled, Univariate, Parametric, Experimental, y Data-Driven), las principales características de este sistema.
Cuando hablamos de esta metodología se suele mencionar que su origen se remonta a 2013 cuando en Microsoft su equipo de investigación creó esta metodología para mejorar la calidad y el ajuste de experimentos controlados en el ámbito digital. Se puede consultar el informe original aquí.
Pero no ha sido solamente Microsoft. Desde el año de publicación han usado estas metodologías empresas tan punteras en su momento como Netflix.
Efectos de aplicar CUPED. Mejorando el testing A/B
En resumen, esta metodología ayuda a optimizar:
- Intervalos de confianza.
- Valores P (medida estadística que se utiliza en el análisis de datos para evaluar si los resultados de un experimento son significativos o no)
- Tamaños de muestra mínimos.
- Duración de los experimentos.
Cuándo aplicar CUPED
Este tipo de metodología es ideal para experimentos con las siguientes características:
- Se incluyen visitantes que retornan al site.
- Ya existe una primera correlación en un conjunto de datos existente.
Ejemplos de la metodología CUPED aplicada.
Además de Microsoft, en Kameleoon , una plataforma de personalización y pruebas A/B, han publicado recientemente cómo aplicando esta metodología de experimentación han conseguido reducir la muestra necesaria hasta en un 60%.
Si estás interesado en profundizar en el tema te recomendamos este artículo del data scientist Michael Berk en Medium
