La tecnología In-Memory elimina el proceso de “ir a buscar”, cargando para fines analíticos todos los datos relevantes en memoria RAM, eliminando, por lo tanto, la necesidad de acceder de forma constante al almacenamiento en disco.
Definición y descripción general del in-memory
La solución está formada por varias innovaciones que se complementan a nivel de hardware y de software.
Recuperar datos de almacenamiento en disco es la parte más lenta del proceso de datos. Cuantos más datos se necesitan para trabajar más se ralentiza el proceso de análisis. Sin embargo, este problema no es nuevo.
Tradicionalmente se ha recurrido a soluciones de pre-tratamiento de la información, ya sea mediante procesos batch, creación de cubos o tablas agregadas. En todos estos casos, el objetivo es “ir a buscar” un número menor de registros.
Estos enfoques suelen requerir saber de antemano qué datos deben ser seleccionados y cómo se deben organizar para su análisis.
La tecnología In-Memory elimina el proceso de “ir a buscar”, cargando para fines analíticos todos los datos relevantes en memoria RAM, eliminando, por lo tanto, la necesidad de acceder de forma constante al almacenamiento en disco.
Además, aporta flexibilidad en la manera de consulta y un nivel más profundo de los detalles, ya que estos datos se encuentran en bruto, en lugar de encontrarlos agrupados en análisis predefinidos.
¿Cómo funciona la Tecnología In-Memory?
Hay que tener en cuenta que, en las bases de datos convencionales, las lecturas del disco ocurren en 5 milisegundos, mientras que, gracias a esta tecnología, la misma operación se realiza en 5 nanosegundos, es decir, es un millón de veces más rápido. Como hemos indicado anteriormente, se basa en llevar la base de datos a la memoria RAM, algo que es posible gracias a avances tecnológicos como los señalados por Oracle Exalytics:
- Arquitectura Multi-Core (8x8core CPU por blade).
- Escalado paralelo con multitud de blades.
- Procesadores de 64 bits -2TB en servidores actuales.
- Velocidades de procesamiento de 100GB/s.
- Importante reducción en precio/rendimiento.
La reducción exponencial del coste de la memoria RAM ha jugado un papel importante en la implantación de esta tecnología. Ha posibilitado fabricar equipos que permiten albergar grandes bases de datos en memoria. En el año 2000, 1 MB de RAM costaba un dólar, diez años más tarde, en 2010, este mismo MB solamente costaba un centavo de dólar.
¿Qué es el Software innovador en la tecnología In-Memory?
La tecnología In-Memory viene acompañada de innovaciones en el software que explota sus capacidades, permitiendo realizar cálculos sofisticados en tiempo real en la memoria y otras nuevas formas de gestionar las bases de datos como:
- Almacenamiento en filas y en columnas, búsquedas más rápidas que permiten agrupar la información por conceptos análogos.
- Compresión de los datos hasta un factor de 1 a 5.
- Partición de datos y posibilidad de realizar actualizaciones parciales sobre columnas específicas.
- No hacen falta tablas agregadas: no es necesaria la creación de información agregada que se utilizaba en sistemas tradicionales para incrementar la rapidez de acceso a la información.
- Insertar solamente en Delta: sólo se insertan las modificaciones nuevas, mejora la carga de datos hasta 2,5 veces más rápido.
- Motor de cálculo capaz de realizar cálculos complejos en la base de datos en memoria.
Mientras que en un sistema tradicional es necesario el tratamiento de los datos cuando se pasa la información a un sistema de Business Intelligence (extraer, tratar, cargar cubos, agregar, etc.), en un sistema In-Memory el paso se realiza inmediatamente sin procesos que ralenticen la actualización, no hay pérdidas de tiempo, jobs nocturnos, etc.
Todo esto puede permitir al negocio acortar los tiempos, realizar análisis en tiempo real que le pueden permitir tomar decisiones basándose en análisis cuantitativos, mejorar la cadena de valor añadido en las organizaciones, localizar cuellos de botella y optimizar los procesos.
Te puede interesar: Big Data Analytics o Executive Big Data: ¿qué máster elegir?