Diferentes empresas de distintos perfiles extraen valor de los datos. Incluso una red de pequeñas peluquerías de un barrio puede utilizar Excel como sistema CRM para realizar un seguimiento de sus clientes. Basándose en sus datos, ¿ha elaborado una lista de los clientes que visitaron la peluquería por última vez hace un tiempo? Es hora de enviarles un SMS con un descuento personalizado.
¿En qué momento merece la pena para una empresa crear una plataforma de procesamiento de datos?
De Excel a ML: niveles de madurez del análisis de datos
Al principio de este texto mencionamos una pequeña peluquería. Es un buen ejemplo para seguir hablando de lo que está pasando en el análisis de datos. Para el resto de la historia, digamos que se trata de la red de peluquerías “The Barbershop”.
A continuación se muestra un modelo de madurez para sistemas analíticos basado en Clasificación de GartnerHay cuatro niveles. Solo algunas empresas avanzan linealmente de principio a fin. Algunas empresas saltan rápidamente a los niveles 3 y 4. Lo más importante es tener los recursos necesarios: dinero, especialistas y objetivos comerciales. Y algunas empresas se quedarán en hojas de cálculo de Excel y sistemas de inteligencia empresarial simples. Eso también es normal.
En nuestra “Barbería” repasaremos cada etapa para facilitar la comprensión de las diferencias en los niveles de madurez.
Nivel 1: Descriptivo
Combinaremos los tres primeros elementos en un solo bloque: datos sin procesar y depurados e informes estándar. Este es el nivel más bajo de procesamiento de datos, que se realiza con mayor frecuencia en Hojas de cálculo de Google o Excel.
Así, nuestra peluquería empezó a recopilar datos sobre los clientes que acudían a cortarse el pelo y a contar las visitas. El administrador introduce la información manualmente y algunos datos se extraen del formulario de registro en el sitio web. El gerente puede limpiar los datos duplicados, corregir los errores cometidos durante el registro y estructurar los datos según la cantidad y variedad de servicios prestados mensualmente.
En base a esto, puedes crear informes sencillos. Descubre si el número de clientes aumenta de mes a mes, lo que generó más ingresos durante el verano: cortes de pelo y barba.
Estos datos dan respuesta a la pregunta: ¿qué ha pasado? Se pueden formular hipótesis y tomar decisiones en base a ellas. En la mayoría de los casos, esto se hace de forma manual y con el esfuerzo cognitivo del gerente.
Este nivel también incluye formatos de análisis como informes ad hoc y OLAP. Los informes ad hoc son informes elaborados para una solicitud comercial específica. Por lo general, se trata de algo no estándar que está fuera de los informes habituales. Por ejemplo, el gerente de “La Barbería” determina cuántas ventas se realizaron durante tres meses para un grupo de visitantes calvos pero con barba (desglosadas por día).
Nivel 2: Diagnóstico
En este nivel se utiliza el denominado análisis de autoservicio (BI de autoservicio). Esto implica que especialistas de diversos perfiles, no solo analistas de datos, pueden consultar los datos necesarios y generar informes resumidos. Este enfoque también utiliza sistemas de BI como Power BI, Qlik o Tableau. Los especialistas en datos suelen configurar los cuadros de mando en estos sistemas.
En este caso, los datos dan respuesta a la pregunta: ¿por qué ha ocurrido esto? Describen el estado actual de la empresa y sirven como fuente de conclusiones analíticas. Por ejemplo, los ingresos de “The Barbershop” se han duplicado en comparación con el mes anterior. Los datos muestran que esto se debió a varias publicaciones publicitarias sobre la promoción de la peluquería.
En este nivel, una empresa puede pasar de las hojas de cálculo de Excel a los scripts de Python y las consultas SQL. Además, en este punto, es necesario contar con uno o dos analistas de datos en el equipo.
¿Por qué incluso pasar a herramientas más complejas?
Las razones pueden variar para cada empresa específica:
- Aumento de la carga de trabajo con datos. La empresa ha empezado a contabilizar los beneficios y gastos mensuales, a recopilar datos sobre las actividades de marketing, a registrar la pérdida de clientes, etc. Multiplicar decenas de nuevas hojas de cálculo de Excel se vuelve irracional: es fácil perderse en ellas y resulta difícil correlacionar los acontecimientos.
- La necesidad de automatización. Los empleados pasan mucho tiempo recopilando datos manualmente. Podrían dedicar este tiempo a tareas más útiles para el crecimiento de la empresa.
- Mejorar la calidad de los datos. Cuanto menos automatización haya en los procesos, más margen habrá para los errores humanos. Algunos datos pueden dejar de recopilarse o introducirse con errores. Los sistemas de automatización y de inteligencia empresarial ayudarán a “limpiar” mejor los datos y a encontrar nuevas direcciones para la analítica.
- El número de analistas ha aumentado. Por ejemplo, la empresa ha comenzado a desarrollar en varias regiones. Cada región tiene su propio analista, pero deben consolidar los datos en un solo lugar. Un único sistema de BI y un repositorio común (o al menos una base de datos) pueden unificar herramientas y enfoques.
Optimización gratuita de costos en la nube y gestión mejorada de recursos de ML/AI para toda la vida
Nivel 3: Predictivo y prescriptivo
En este nivel entran en juego conceptos más complejos. Esta etapa implica análisis predictivo y prescriptivo.
En el primer caso, los datos dan respuesta a lo que ocurrirá a continuación. Por ejemplo, es posible pronosticar el crecimiento de los ingresos o la expansión de la base de clientes en seis meses. En este caso, el algoritmo de análisis puede ser la base de un modelo de ML.
El análisis prescriptivo se basa en la pregunta de qué optimizar. Los datos muestran que para aumentar los ingresos de la peluquería en 60%, el presupuesto de publicidad debe aumentarse en 15%.
En esta etapa, no estamos hablando de unos pocos analistas, sino de un equipo completo que puede trabajar en múltiples direcciones de negocio. Por lo general, en este punto, las empresas necesitan plataformas de procesamiento de datos.
Nivel 4
El nivel más avanzado son los sistemas de análisis autónomos basados en inteligencia artificial. En ellos, la máquina propone una solución presuntamente correcta basándose en el análisis de big data y el humano toma la decisión final.
Los bancos pueden utilizar este tipo de sistemas. Por ejemplo, pueden ser sistemas de calificación crediticia para la concesión de préstamos. Nuestra peluquería puede utilizar Lead scoring, una tecnología para evaluar la base de datos de clientes en función de su disposición a comprar los productos de la empresa.
¿Los niveles tercero y cuarto son sólo para big data?
La respuesta corta es no.
El volumen de datos no es tan importante como las tareas a las que se enfrenta la empresa
Por supuesto, cuantos más datos, más representativos serán los resultados. Sin embargo, operar con argumentos como “sólo tengo una base de datos de un millón de personas, todo este procesamiento de la plataforma no es para mí” también es incorrecto.
Puede que la cantidad de datos sea pequeña, pero puede ser muy diversa: registros de conversaciones con clientes, imágenes de cámaras de vigilancia, imágenes de usuarios, etc. Todo esto debe almacenarse sistemáticamente para extraer conocimiento valioso y aplicable al negocio de la empresa.
El volumen de datos no es tan importante como la cantidad de análisis y equipos analíticos.
Si una empresa cuenta con varios equipos analíticos para diferentes áreas de negocio, esto genera problemas. Los equipos pueden utilizar una única fuente de datos, pero tener diferentes herramientas analíticas y sistemas de almacenamiento. A veces pueden analizar lo mismo o calcular el mismo indicador de forma diferente, lo que podría ser más racional. Si se incorpora un nuevo equipo analítico, se corre el riesgo de duplicar parte del trabajo ya realizado.
La heterogeneidad de los procesos analíticos también genera demoras en el cumplimiento de los requisitos comerciales. Un gerente de producto puede solicitar que se arregle un tablero con los ingresos del producto, pero la solución puede entregarse en un plazo de 1,5 meses.
Las empresas consideran las plataformas de procesamiento de datos a medida que aumenta la complejidad de las tareas analíticas y el número de analistas. Proporcionan una base común y convenciones aceptadas: qué herramientas utilizamos para recuperar datos de las fuentes, dónde los almacenamos y cómo organizamos el almacenamiento.
✔️ Si bien existen múltiples formas de gestionar el procesamiento de datos, OptScale, la PRIMERA plataforma MLOps de CÓDIGO ABIERTO, ayuda a los ingenieros de ML y datos a optimizar el rendimiento y los costos de sus experimentos o tareas de producción.
La solución está completamente disponible en Apache 2.0 en GitHub → https://github.com/hystax/optscale.
👆🏻 Desarrollar y entrenar modelos de ML puede ser un proceso complejo y que requiere mucho tiempo, y depurar y crear perfiles de estos modelos suele ser un desafío.
Explora algunos consejos y mejores prácticas para superar los principales desafíos → https://hystax.com/how-to-debug-and-profile-ml-model-training
