2020 nos regaló grandes titulares a quienes trabajamos con datos. Encabezados por palabras como “dolor de cabeza”, “tormenta perfecta” y “reensamblaje”, una vez más, volvimos a ocupar grandes espacios en los portales de tecnología. Fue tal la incertidumbre que hasta Cassie Kozyrkov la Chief Decision Scientist de Google ironizó en este interesante hilo de Twitter sobre que quienes trabajamos en data analytics teníamos que esperar y rogar por algún tipo de perdón. 2020 rompió todos los modelos y eso no es una novedad. ¿Por qué pasó esto? Simple, porque cualquier modelo predictivo se construye sobre datos del pasado, en base a eso identifica características o atributos que permitan generalizar comportamientos en el futuro. En marzo de 2020 hubo un cambio de comportamiento radical y, por ende, todos los modelos construidos dejaron de servir😊 (o al menos se vieron afectados de alguna forma).
Como todo, esto tiene su lado bueno y su lado malo. Lo malo es que nos tocó transitar momentos de mucha incertidumbre y lo bueno es que vivimos una experiencia nunca antes vista de la que aprendimos mucho y vamos a aprender todavía más.
Todo modelo es tan bueno como sus datos. El problema que tuvimos es que los datos previos a la cuarentena no representaban el comportamiento de las primeras semanas de aislamiento ni necesariamente de los meses que estaban por venir. A nosotros nos pasó que muchos de los modelos que habíamos desarrollado y andaban muy bien dejaron de funcionar por completo. A partir del ASPO (acrónimo con el que identificamos en Argentina al “Aislamiento Social Preventivo y Obligatorio”) hubo un cambio de comportamiento radical en nosotros y lo más interesante es que ese cambio tuvo distintas etapas, empezó en marzo de 2020 con una especie de lockdown donde no se movía nada y después, de a poco, empezó a aparecer esa “nueva realidad” que no se parecía en nada a lo anterior.
Entonces, para quienes buscamos generalizar comportamientos y no eventos aleatorios, la cuarentena generó tres tipos de impacto asociados al cambio de conducta de las personas:
Sin cambios: En algunos casos (dichosos aquellos), los cambios de comportamiento asociados a la cuarentena y a la pandemia no generaron ningún impacto en el modelo o en los datos utilizados para modelarlos en primer lugar. Esto se dio, por ejemplo, en los sistemas de recomendación ya que es probable que nuestros gustos no hayan cambiado durante el aislamiento (¡aún cuando probablemente se hayan intensificado!). En este caso los datos y criterios de base que usamos son los mismos, probablemente no sea necesario reentrenar nada, simplemente hay que dejar ejecutar los modelos y monitorearlos de cerca.
Cambios parciales: El fenómeno modelado no cambia, pero es impactado de todas formas por los datos disponibles. Esto se dio, por ejemplo, en los pronósticos del clima. Claramente al clima, un sistema caótico en sí mismo, no le afecta la pandemia. Pero, si consideramos que gran parte de los datos que utiliza son recolectados por vuelos comerciales, como consecuencia se ve impactado: menos datos generan un aumento en la distorsión y en consecuencia disminuye la precisión.
Cambios totales: Donde el fenómeno estudiado cambia su comportamiento por completo y por ende hay que repensar todas las hipótesis de base y, en consecuencia, ponernos a rehacer (casi) todo. “Hay décadas en las que no pasa nada, y hay semanas en las que pasan décadas”, semanas más, semanas menos, definitivamente la frase de Lenin resume de alguna forma el impacto en términos de comportamiento y en un período de tiempo tan corto. Yuval Noah Harari publicó las “Lecciones de un año de Covid” en el Financial Times donde hace un análisis ex post del impacto. Con otra mirada, Thoughtworks, publicó una serie de artículos muy interesantes bajo el título “Social Change Report”.
Lamentablemente a nosotros nos tocó surfear esta última ola con varios de nuestros clientes. ¿Qué hicimos? Básicamente nos replanteamos todo, pero si tuviera que resumirlo en cuatro momentos clave diría que:
1° Nos hicimos una primer pregunta que, de tan básica, asustaba: ¿los datos que tenemos sirven? Y empezamos a discutir diferentes hipótesis, ¿este nuevo comportamiento, refleja una nueva realidad o es sólo turbulencia? ¿podemos eliminar los datos? ¿es válido que lo hagamos? ¿podemos reemplazarlos? ¿podemos mezclar datos de la nueva realidad con la vieja y ver qué pasa? ¿qué tanto podemos sobremuestrar los datos nuevos? ¿podemos crear nuevos features para identificar en qué período de tiempo estamos y con eso ayudar al modelo? Lo cierto es que eran todas preguntas y no teníamos certezas, esto nos llevó al siguiente paso.
2° Repensamos los objetivos. Si los datos son el insumo con el que tratamos de modelar la realidad en un escenario con una realidad en transición y con pocos datos, a veces más que optimizar el modelo, no queda otra que simplificar el objetivo. Entonces en vez de apuntar a algo tan certero como, por ejemplo, predecir una fecha y una franja horaria acotada, apuntamos a predecir algo más simple como lo es un rango de fechas. Hay que tener en cuenta que esto tiene sentido hacerlo si y solo si no tiene grandes costos funcionales asociados. Es decir, tiene que seguir aportando a la resolución del problema en estudio, de otra forma es perder el tiempo.
3° (Intentamos) balancear la incertidumbre. Asumimos que una nueva realidad (aún temporal) iba a llegar pronto. Marzo y abril de 2020 fueron meses de pura incertidumbre, mucha distorsión, mucha amplificación del ruido. Entonces hicimos varias hipótesis a lo largo del tiempo y hoy —sí, ya sé que con el diario del lunes— podemos decir que tuvimos razón.
En un escenario tan incierto y con una realidad tan turbulenta se nos ocurrió que, en vez de usar técnicas sofisticadas con muchos supuestos, podríamos usar algo más transparente, un modelo rústico fácil de probar e implementar y, más importante, que no fuera sensible al ruido. Teníamos bien claro que, ante un escenario así, lo peor que nos podía pasar era tener un modelo sensible, por eso necesitábamos algo que suavizara las distorsiones. Por otro lado, sabíamos que en algún momento y de forma muy paulatina una nueva realidad iba a reconfigurarse y el encierro iba a dejar de ser tal. En un escenario así, algo tan sencillo como el cálculo de medias móviles combinadas con distintas dimensiones de análisis del negocio fue ideal: naturalmente soporta el ruido y suaviza outliers, por lo que a medida que la vida comenzó a “normalizarse”, fueron optimizándose los resultados.
4° Después llegó el momento de monitorear la performance. Constantemente y más que nunca considerando el escenario descripto, el monitoreo de performance fue (y es) clave. Tanto para garantizarnos que seguimos en línea con la realidad modelada, como para identificar nuevas variables y atributos a incorporar al modelo.
Ahora que de a poco, casi con miedo de decirlo, al parecer la pandemia va llegando a su fin, sabemos que gran parte de los esfuerzos del año pasado dejarán de tener sentido. Los modelos naturalmente se irán degradando, ya no de un día para el otro, sino de forma natural y paulatina, acorde a los datos que reflejarán de forma indirecta ese nuevo comportamiento que vamos adoptando todos. Volveremos a tener datos que representarán, de forma directa o indirecta, el fenómeno estudiado y en base a estos modelaremos lo que sea estemos estudiando.
Ahora, pensando a futuro, una pregunta a modo de trabalenguas: sea cuando sea que sea esa nueva normalidad que llegue para quedarse, ¿nos servirán los datos recolectados durante la pandemia?
