Desde el comienzo mismo del desarrollo de OptScale como producto, Hystax ha buscado las mejores y más convenientes formas de Adopción de los principios de FinOps para nuestros clientes. Una de las tareas más importantes y complejas en FinOps es involucrar a los ingenieros en el proceso.
Una forma adecuada de brindar transparencia a los recursos de TI para cumplir con los principios básicos de FinOps
El problema con las herramientas clásicas de gestión de costos de la nube, que están destinadas a ser utilizadas por el equipo de finanzas y solo algunos miembros (generalmente uno o dos) son del departamento de ingeniería, es que brindan una visión de alto nivel de los gastos y las tendencias de uso de la nube, lo que apenas puede ayudar a algunos ingenieros a controlar los gastos de sus recursos de la nube en el trabajo diario.
Es por eso que una de las principales vistas que ofrece OptScale es la vista Recursos:
Con esta vista, se pueden explorar los recursos en todas las cuentas de nube conectadas, los clústeres de Kubernetes o los entornos registrados manualmente, especificando el rango de fechas y aplicando los filtros necesarios. Al mismo tiempo, esta vista proporciona información actualizada sobre los gastos (y los posibles ahorros) de cada recurso específico. Esta información combinada permite a los ingenieros supervisar sus recursos e involucrarlos en el proceso de FinOps.
Optimización gratuita de los costos de la nube. De por vida
Desafíos computacionales con información de recursos y gastos
Si bien es sumamente útil y flexible, la vista Recursos tiene una complejidad computacional significativa. Por un lado, requiere flexibilidad para filtrar decenas de miles de recursos con propiedades dinámicas. Por otro lado, necesita agregar los gastos de todo el conjunto de recursos filtrados en el rango de fechas determinado para mostrar los recursos de mayor consumo y manejar esto en tiempo real.
Durante mucho tiempo, OptScale almacenó la información de recursos y gastos en una base de datos orientada a documentos. Esta decisión arquitectónica nos brindó flexibilidad para almacenar metadatos de recursos en la nube y utilizarlos para filtrar, buscar y procesar recomendaciones. Esta flexibilidad nos permite implementar el soporte para cualquier propiedad de recurso en la nube muy rápidamente y usarlo casi de inmediato para brindar recomendaciones de ahorro de costos y seguridad.
El almacenamiento orientado a documentos también es adecuado para almacenar datos de gastos sin procesar. Cada proveedor de la nube tiene un Estructura diferente de los datos de facturación Además, existen varios formatos de informes de facturación incluso dentro de una misma nube. Por lo tanto, una base de datos orientada a documentos también es un lugar donde OptScale almacena datos de gastos.
Sin embargo, como inconveniente de la flexibilidad de las bases de datos orientadas a documentos, hemos encontrado problemas con el rendimiento de la agregación de gastos. Se pueden resumir fácilmente los gastos de un único recurso, pero ¿qué sucede si se deben agregar cientos de miles de recursos junto con sus gastos a pedido de un usuario? Esto nos obligó a implementar un conjunto de procesos de precálculo que se ejecutaban después de cada importación de datos de facturación desde la nube, agregaban los gastos para diferentes vistas y almacenaban los resultados de los cálculos para su uso posterior. Este enfoque nos permitió proporcionar tiempos de respuesta rápidos para las solicitudes de precálculo, pero introdujo una complejidad adicional en el producto y aumentó los esfuerzos de mantenimiento del código.
Adopción de Clickhouse en OptScale
Paralelamente a eso, comenzamos a adoptar una base de datos orientada a columnas de código abierto interesante y relativamente nueva llamada Casa de clics, implementado inicialmente para el procesamiento de datos en tiempo real en una plataforma de análisis web. Lo usamos para almacenar y manejar en tiempo real los datos de rendimiento de los recursos en la nube, y nos entusiasmó su eficacia: durante nuestras pruebas, obtuvimos resultados de agregación increíblemente rápidos para cada conjunto de datos de rendimiento de recursos en la nube de la vida real que tenemos en producción. También escala bien y tiene una estructura de almacenamiento eficaz, así como requisitos significativos para el rendimiento del almacenamiento subyacente.
Por eso, inmediatamente después de la implementación y las pruebas de campo del almacenamiento de Clickhouse para datos de rendimiento de recursos en la nube, comenzamos a diseñar cómo podemos usarlo para el procesamiento de datos de facturación.
La naturaleza de las bases de datos en columnas es que son realmente buenas para insertar y agregar nuevos datos, pero no lo suficientemente flexibles para cambiar los datos. Y si bien el historial de mediciones de rendimiento no cambia, los datos de facturación pueden cambiar con el tiempo debido a las conciliaciones de informes de facturación en la nube (en AWS, incluso puede elegir cómo se entregará un informe de facturación modificado: como un archivo nuevo o sobrescribiendo una versión anterior). Esto nos impidió usar bases de datos en columnas para datos de facturación antes y, por supuesto, planteó el requisito correspondiente para la base de datos que podríamos usar: el motor de base de datos no solo debe manejar bien los escenarios "INSERT INTO" y "SELECT .. GROUP BY", sino que también debe tener una forma de operar con datos cambiantes. Y, a diferencia de la mayoría de otras bases de datos orientadas a columnas, Clickhouse también cubre estos escenarios para el almacenamiento de datos de facturación, a través del motor de almacenamiento especial llamado Árbol de fusión colapsanteEste motor de almacenamiento nos permite operar con datos que cambian en tiempo real sin afectar la consistencia de la agregación y también proporciona una limpieza en segundo plano eficaz de los datos obsoletos. Se podría decir que esto parece una solución alternativa, pero este escenario parece uno de los casos de uso que los desarrolladores de Clickhouse tenían en mente al implementar el motor de base de datos.
Cómo la implementación de Clickhouse mejoró las capacidades de OptScale
En este momento, la implementación respaldada por Clickhouse del procesamiento de datos de facturación en OptScale se aplica a varios clientes importantes, cada uno de los cuales tiene hasta un millón de recursos en la nube facturados cada mes, y proporciona análisis precisos y muy rápidos con granularidad a nivel de recursos para esas cuentas en la nube.
Como resultado, lo que Hystax finalmente obtuvo con la adopción del motor Clickhouse en OptScale:
- Almacenamiento rápido y escalable para datos de facturación
- Agregación y análisis en tiempo real de grandes conjuntos de datos
- Base de código de producto más simple y fácil de mantener sin necesidad de procesos de precálculo.
Así es como elegir la herramienta adecuada puede mejorar significativamente su producto.
Encuentra las mejores prácticas + consejos útiles para reducir tu factura de AWS → Cómo identificar y eliminar las instantáneas huérfanas y no utilizadas.
