Actualmente la IA/ML se utiliza en la mayoría de los campos o se está empezando a utilizar, y en la la observabilidad también, donde se está integrando en los sistemas de observabilidad a pasos de agigantados, cuestión que vamos a analizar aquí: cómo se está haciendo y qué bondades nos está proporcionando esta alianza.
Los conocimientos basados en IA han revolucionado el mundo de DevOps y se espera que cambien aún más en 2023. La integración de IA en la observabilidad está permitiendo la automatización y optimización de los flujos de trabajo y con información proveniente de la IA, las organizaciones pueden detectar y diagnosticar problemas en tiempo real junto con su posible solución, lo que permite que los equipos de TI respondan rápidamente y eviten más interrupciones en sus sistemas o procesos.
Entendiendo la Observabilidad
Ya sabemos todos lo que es la observabilidad, pero para los que todavía no lo tengan claro vamos a dar un pequeño review.
La observabilidad es la capacidad de medir el estado en un momento del tiempo de un entorno o plataforma basándose en los datos que genera, como logging/registros, métricas y trazas basándose en la telemetría capturada.
- Logging / registros (permite analizar los eventos)
- Metrics (permite ver el rendimiento)
- Tracing (permite estudiar el comportamiento)
El claro objetivo de la observabilidad es entender lo que está ocurriendo en las plataformas o aplicaciones, para poder detectar y resolver los problemas y asi mantener los sistemas y aplicaciones más eficientes y fiables.
Inteligencia artificial (IA) y Machine Learning (ML)
No quiero aburrir con definiciones varias que todo el mundo puede buscar, pero debe quedar claro que es cada elemento y qué función desempeña.
La Inteligencia artificial (IA) se refiere a la capacidad de las máquinas para realizar tareas que normalmente requieren inteligencia humana, como puede ser el razonamiento, el aprendizaje, la resolución de problemas, incluso con la toma de decisiones y el reconocimiento de patrones en los datos. La IA busca replicar la forma en la que una persona humana pensaría y actuaria y puede incluir desde sistemas simples que automatizan tareas repetitivas hasta sistemas más avanzados que pueden aprender y adaptarse a medida que se les proporciona más información.
El Machine Learning (ML) es una rama específica de la Inteligencia Artificial que se enfoca en desarrollar algoritmos y modelos que permiten a las máquinas mejorar su rendimiento en una tarea particular a medida que se les proporcionan más datos. En lugar de ser programadas explícitamente para realizar una tarea pueden llegar a aprender a partir de los datos y las telemetrías por ejemplo en la observabilidad. Esto lleva a poder usar esos patrones para tomar decisiones informadas y realizar predicciones.
En resumen, la Inteligencia artificial (IA) busca crear sistemas inteligentes, mientras que el Machine Learning (ML) es una técnica dentro de la Inteligencia Artificial que se centra en permitir que las máquinas aprendan y mejoren a partir de los datos. El Machine Learning (ML) es una parte fundamental para lograr la Inteligencia Artificial en la que las máquinas pueden aprender y adaptarse automáticamente sin una programación explícita.
Alianza entre IA y Machine Learning con la Observabilidad
Como hemos aclaro antes, el principal objetivo de la observabilidad es entender, detectar y analizar para poder resolver y es aquí donde la IA/ML se está aplicado y está introduciendo nuevas formas de aplicar la observabilidad, agilizando la detección, entendiendo la situación e incluso proponiendo o ejecutando soluciones.
La incorporación de la Inteligencia Artificial (IA) y el Machine Learning (ML) a los Servicios de Software de observabilidad ha revolucionado la forma en que las organizaciones obtienen, analizan y presentan los datos obtenidos. Al aprovechar los algoritmos de aprendizaje automático y el análisis predictivo, los conocimientos basados en IA pueden analizar grandes cantidades de datos e identificar posibles problemas antes de que ocurran. Esto ayuda a los equipos de TI a abordar estos problemas de manera proactiva, reduciendo el tiempo necesario para identificarlos y resolverlos.
Analicemos como la IA/ML mejoran la observabilidad:
- Obtención Mejorada de Datos
- Aprendizaje Continuo
- Análisis Avanzado
- Detección Proactiva de Problemas
- Optimización Automatizada
- Presentación Inteligente de Datos
Obtención Mejorada de Datos
La IA y el ML permiten la recopilación automatizada de datos de diversas fuentes, incluyendo registros de aplicaciones, métricas de infraestructura, eventos y más. Estos algoritmos pueden identificar y obtener datos relevantes para la observabilidad, reduciendo el ruido y centrándose en los datos más importantes. Además, pueden adaptarse a los cambios en el entorno y la estructura de datos, lo que resulta en una recopilación más precisa y ágil.
Aprendizaje Continuo
Una de las características más poderosas de la IA y el Machine Learning es su capacidad de aprendizaje continuo. Estas tecnologías pueden ajustar y mejorar sus algoritmos con el tiempo a medida que se recopilan y analizan más datos. Esto conduce a una observabilidad cada vez más refinada y efectiva a medida que se acumula más experiencia y conocimiento.
En resumen, la incorporación de la IA y el Machine Learning a la observabilidad está cambiando la visión de las organizaciones para gestionar sus sistemas y sus aplicaciones. Estas tecnologías permiten una supervisión más inteligente, predictiva y automatizada, mejorando la detección de problemas, la toma de decisiones y la optimización general del entorno tecnológico
Análisis Avanzado
Las capacidades de análisis de datos de la IA y el Machine Learning son fundamentales para la observabilidad, porque pueden identificar patrones, tendencias y anomalías en los datos obtenidos de las telemetrías. Por ejemplo, pueden detectar cambios de comportamiento en aplicaciones o infraestructura, identificando problemas potenciales antes de que afecten al rendimiento. Los algoritmos de detección de anomalías pueden aprender de los datos históricos y también en tiempo real, adaptándose a las condiciones cambiantes y reduciendo el impacto de los problemas.
Detección Proactiva de Problemas
La IA y el Machine Learning pueden anticipar problemas futuros al analizar patrones históricos. Pueden generar alertas tempranas basadas en indicios sutiles, permitiendo a los equipos de operaciones abordar problemas antes de que se conviertan en fallas importantes. Esta detección proactiva mejora la disponibilidad del sistema y la experiencia del usuario al minimizar el tiempo de inactividad no planificado.
Optimización Automatizada
Los observabilidad que integran IA y Machine Learning pueden ofrecer recomendaciones y acciones automatizadas para optimizar el rendimiento y la eficiencia. Por ejemplo, pueden sugerir ajustes de recursos, cambios en la configuración o la reasignación de cargas de trabajo para maximizar la utilización de recursos y garantizar un rendimiento óptimo.
Presentación Inteligente de Datos
La presentación de datos es crucial para la toma de decisiones informadas. La IA y el ML pueden generar paneles personalizados y resúmenes ejecutivos basados en los roles y las necesidades de los usuarios. También pueden resaltar los datos más relevantes y ayudar a los usuarios a encontrar rápidamente información crucial en medio de grandes volúmenes de datos lo que facilitará la obtención de la visión de la observabilidad a los usuarios.
Integraciones en las principales plataformas de observabilidad.
Ya tenemos claro de que es capaz de hacer al IA y el ML por y en la observabilidad, pero la pregunta es cómo se está aplicando en los distintos softwares actuales.
Uno de los mayores desafíos para las plataformas que quieren empezar a utilizar ML en la observabilidad, es que es saber dónde que quieren aplicar Machine Learning para que este aprenda y se lo mas útil posible. Para ello hay que preparar los datos de la telemetría para la IA en conjunción con el Machine Learning hagan su magia.
La mayoría del software de Observabilidad ya tienen incorporado un área o módulo de Machine Learning, el cual en la mayoría no viene entrenado para nuestro sistema automáticamente por lo que facilitan esa implementación de aprendizaje.
Analicemos algunos de los softwares más utilizados como están integrando la IA/ML en sus productos.
Datadog
Datadog ha incorporado Bits AI en su abanico de posibilidades dentro de su plataforma SAAS y es bastante sencillo y rápido empezar a integrar IA y ML con la observabilidad. Además, ofrece monitoreo y observabilidad end to end, con características de detección de anomalías y alertas basadas en Machine Learning en todas las áreas de la observabilidad. Detección de anomalías que tiene en cuenta las tendencias y la estacionalidad lo que hace que el aprendizaje sea más exacto y previne desvíos.
Dynatrace
Dynatrace ha creado Dynatrace DAVIS que combina, Predictive AI, Casual AI y Generative AI para casos de uso de observabilidad, seguridad y negocios.
- Predictive AI Proporciona pronósticos continuos y predicción de anomalías a través de líneas de base multidimensionales, tráfico de aplicaciones y carga de servicios, consciente de la estacionalidad y los patrones.
- Casual AI Analiza los datos de observabilidad y seguridad en el contexto de la información de topología: agrupa las anomalías, señala las causas raíz y prioriza en función del impacto empresarial de forma automática y ad hoc.
- Generative AI Impulsado por IA predictiva e IA causal, Davis CoPilot crea consultas, cuadernos y tableros para simplificar el análisis y proporciona recomendaciones de flujo de trabajo y automatización.
ElasticSearch Platform
ElasticSearch Platform integra Machine Learning como un servicio que el usuario puede activar bajo demanda. Integra aprendizaje no supervisado y modelos preconfigurados de detección de problemas de observabilidad y seguridad, para no tener que supervisar el entrenamiento del modelo de AI.
Según ElasticSearch Platform no se necesita tener un equipo de ciencia de datos ni diseñar una arquitectura de sistemas, puedes comenzar rápidamente sin necesidad de mover los datos a un marco de trabajo de terceros para el entrenamiento del modelo.
Además, también permite la ingesta desde otras fuentes externas, el único requisitos es realizar la ingesta en ElasticSearch para poder modelar el aprendizaje del Machine Learning de ElasticSearch.
Splunk
Splunk aprovecha Machine Learning en su plataforma para ayudar a los equipos a analizar y visualizar grandes volúmenes de datos a través de su tecnología MLTK.
Este es un kit de herramientas de aprendizaje automático actúa como una extensión de la plataforma Splunk e incluye búsqueda, macros y visualizaciones.
Incluye aprendizaje automático, regresión, clasificación y pronóstico, estando todo enfocado a la seguridad.
AppDynamics
AppDynamics utiliza Cognition Engine es una colección de algoritmos de aprendizaje automático que analiza datos de rendimiento basados en transacciones en topologías de aplicaciones. Esto proporciona un conocimiento completo de las desviaciones de rendimiento de su aplicación junto con información contextual creada para reducir drásticamente el tiempo medio de resolución (MTTR) cuando surgen problemas.
New Relic GROK
New Relic GROK en uno de los primeros asistentes de observabilidad con GenAI.
Está profundamente incrustado en la plataforma de observabilidad que unifica todos los datos, contextos, herramientas y equipos en una sola experiencia integrada. La combinación de los modelos de lenguaje extensos (LLM) de OpenAI con la amplitud de la plataforma de datos de telemetría unificada de New Relic Grok garantiza las respuestas de IA con una calidad más alta y un aprendizaje de IA más rápido.
Algunas de las acciones que podremos exigirle a este asistente virtual:
- En el campo de la Instrumentación e integración podremos hacer búsquedas de lagunas en la instrumentación, mejorar de la cobertura de alertas, realizar integraciones con plataformas Clouds o simplemente agregar un nuevo usuario.
- Además podremos preguntarle sobre los problemas y soluciones como , ¿Qué causó un aumento de CPU?, ¿Por qué paró de enviar datos dese la aplicación o cómo corrijo un error detectado por nosotros.
- También nos da la facilidad de obtener información rápidamente preguntando al Asistente temas como resúmenes de problemas recientes, ¿Cuántos problemas se localizaron en una fecha?, o calcular ingesta de datos para K8s
- En la parte más grafica puedes incluso traducir y exponer los resultados de una consulta a gráfica, crear un resumen ejecutivo o agregar un compañero a un chat de reporte de anomalías.
Logz.io
Logz.io Machine Learning, introduce sus propios algoritmos de detección de anomalías, Algoritmos numéricos basados en datos Detección anómala de APM, detección de anomalías, gestión de tareas de detección de anomalías y pronóstico en la ingestión ValidLogBytes y Cognitive Insights.
En general, Logz.io utiliza algoritmos de aprendizaje automático para detectar anomalías en el comportamiento del sistema automáticamente. Estos algoritmos están entrenados en grandes conjuntos de datos de comportamiento normal y pueden detectar una amplia gama de anomalías diferentes.
Middleware
Middleware tiene integración con la herramienta de IA más poderosa, ChatGPT-4. Y usando ChatGPT-4, el middleware predice la causa raíz del problema y presenta soluciones inteligentes para resolverlo.
Las mejores virtudes que Middleware puede aportar a nuestra observabilidad:
- Detectar automáticamente todos los errores de registro de la infraestructura
- Obtener una lista de todos los recursos que deben repararse.
- Seguimiento del error de la aplicación para encontrar la causa raíz.
- Unificar todos los temas centrales vitales en la plataforma
- Encontrar la solución (recomendación) para cada problema con pasos detallados.
- La visión crítica del problema de la plataforma y los elementos procesables para solucionarlo.
- Historial de errores producidos y una vista de 360 grados de tu infraestructura y aplicaciones
El Futuro de la Observabilidad con IA
Existe mucha especulación sobre cómo evolucionarán las soluciones de observabilidad con la integración de la IA/ML y de cómo esto podría afectar positivamente a la eficiencia y la seguridad en las TI, pero la gran incógnita es ¿Hasta dónde vamos a poder aprovechar la IA? ¿Dónde estará el techo de la confianza de su potencial?
El futuro más cercano está en los asistentes de IA, lo cuales se están entrenando para dar respuesta a cualquier necesidad de cualquiera de nuestras plataformas de TI.
La otra incógnita es si terminaremos en una observabilidad para la propia IA, pues esto es otra de las apuestas del futuro. Ya existen plataformas que vigilan a la IA/ML para evitar desviaciones y errores de la IA, como por ejemplo censius.ai plataforma que es capaz de observar a la propia AI.
Conclusiones de nuestros expertos de knowmad mood
La integración de la inteligencia Artificial (AI) y el Machine Learning (ML) en la observabilidad está cambiando a pasos de gigante la observabildiad y esto está haciendo que las organizaciones aborden la supervisión y gestión de la observabilidad de sus plataformas de TI con más rapidez y sencillez.
La Al nos está permitiendo una detección temprana de problema y una toma de decisiones autónomas con una optimización precisa lo cual están impulsando a la observabilidad a un nivel superior. En un mundo digitalizado en constante cambio, las capacidades predictivas y analíticas del Machine Learning y la IA son un recurso inestimable para las empresas deben de mantener para poder ser ágiles, eficientes y resilientes.