Bit - loader

Servicios de Intelligence y Analytics en Microsoft Azure (I)

   Artículo | Data Analytics Bit - Servicios de Intelligence y Analytics en Microsoft Azure (I)
Ángel M. Rayo | 19/05/17

Continuando con la serie de Big Data en Microsoft Azure, en el artículo de hoy veremos los servicios disponibles en Microsoft Azure relacionados con Intelligence y Analytics.

 

Ilustración 1 – Productos y servicios de Intelligence y Analytics en Microsoft Azure

 

Categorías

Dentro de los servicios de Intelligence y Analytics podemos encontrar cuatro categorías de servicios y productos. Éstas son:

  • Almacenes Big Data
  • Análisis de datos
  • Aprendizaje e inteligencia
  • Visualización de datos

 

Almacenes Big Data

Dentro de esta categoría nos encontramos con tres servicios principales: HDInsight, Data Catalog y Apache Spark for Azure HDInsight.

 

HDInsight

 

 

 

HDInsight es una distribución Big Data en la nube de Apache Hadoop. Incluye implementaciones de Apache Spark, HBase, Kafka, Storm, Pig, Hive, Sqoop, Oozie o Ambari entre otros productos y servicios.

 

Ilustración 2 – Productos HDInsight

 

Ofrece la creación de los siguientes tipos de clúster:

  • Apache Hadoop
  • Apache Spark
  • Apache HBase
  • Microsoft R Server
  • Apache Storm
  • Apache Interactive Hive (preview)
  • Apache Kafka (preview)
  • Clústeres Active Directory (preview)
  • Clústeres personalizados con acciones de script con Hue, Giraph, R o Solr

 

Su arquitectura es la siguiente:

 

Ilustración 3 – Arquitectura HDInsight

 

Apache Spark for Azure HDInsight

 

 

 

Apache Spark for Azure HDInsight ofrece un marco de procesado de código Open Source que realiza operaciones de análisis de datos sobre clústeres HDInsight. A diferencia del modelo MapReduce que ejecuta las operaciones a nivel de disco, Apache Spark procesa los datos en memoria consiguiendo mayor velocidad volcando los resultados a disco si fuera necesario.

Spark ofrece un modelo común de ejecución de las operaciones de extracción, transformación, carga (ETL) y consultas tanto en modelo lotes (batch) como interactivo (streaming).

Al motor de Spark (Spark Core Engine) se puede acceder desde diferentes componentes entre los que están Spark SQL, Spark Streaming, MLlib y GraphX.

 

Data Catalog

 

 

 

Azure Data Catalog consiste en un servicio administrado en Cloud utilizado principalmente para presentar diferentes fuentes de datos finales a nivel corporativo.

En un entorno corporativo podemos encontrar dos roles dentro de la operativa de tratamiento de datos: productores y consumidores de datos.

Los productores tienen que dar a conocer sus fuentes de datos a los consumidores y mientras tanto los consumidores desconocen los datos de acceso. Utilizando Azure Data Catalog los productores publicarán sus fuentes de datos en el catálogo y los consumidores accederán al catálogo para conocer los detalles.

Este servicio ofrecerá mejores tiempos de espera, reducirá los fallos de conexión por cambios en la configuración, permitirá descubrir nuevas fuentes de datos y acelerará la toma de decisiones al poder acceder a los datos lo antes posible.

 

Ilustración 4 – Búsqueda en Azure Data Catalog

 

Análisis de datos

Dentro de esta categoría nos encontramos con los siguientes servicios: Stream Analytics, Data Lake Analytics, Log Analytics y Azure Analysis Services

 

Stream Analytics

 

 

 

Analizar los datos generados en todo el mundo con la mayor rapidez posible se ha convertido en un reto hoy en día. La inmediatez y la agilidad en la toma de decisiones ha pasado de ser una necesidad para algunos negocios históricamente, como la Bolsa o las fuentes de noticias, a prácticamente cualquier ámbito como Smart Cities, dispositivos conectados, IoT, etc.

Para cubrir esta necesidad Microsoft ofrece su servicio Stream Analytics, capaz de procesar millones de transacciones en tiempo real de dispositivos IoT, transmisión de millones de eventos por segundo y crear paneles en tiempo real de datos agregados para la toma de decisiones.

Stream Analytics es una alternativa a Apache Storm en HDInsight.

 

Data Lake Analytics

 

 

 

Data Lake Analytics ofrece un servicio capaz de ejecutar trabajos de análisis bajo petición orientados a la toma de decisiones utilizando cuatro lenguajes de programación diferentes que permiten ejecución en paralelo y transformación de petabytes de datos. Estos lenguajes o plataformas son:

  • U-SQL – integrable con Azure Data Lake Store
  • R
  • Python
  • .NET

 

Log Analytics

 

 

 

Log Analytics es un servicio Azure orientado a analizar el comportamiento y el estado de nuestros entornos desplegados en un punto centralizado. Ofrece facilidades para recopilar, almacenar y analizar datos de log y resolver incidencias lo antes posible.

Azure Log Analytics es parte de Operations Management Suite y recopila datos de entornos virtualizados y locales.

 

Ilustración 5 – Azure Log Analytics en OMS

 

Azure Analysis Services

Azure Analysis Services aprovecha toda la potencia probada en Microsoft SQL Server Analysis Services para modelar datos empresariales y la expone a través de un entorno escalable en Cloud. Admite modelos tabulares y es compatible con SQL Server 2016 Analysis Services Enterprise Edition soportando las siguientes operaciones:

  • Traducciones
  • Particiones
  • Seguridad a nivel de fila
  • Relaciones bidireccionales
  • DirectQuery

Podemos utilizar las SQL Server Data Tools (SSDT), Azure PowerShell o SQL Server Management Studio (SSMS) para trabajar con el servicio y permite conectar con fuentes de datos on-premise y Cloud.

 

 

Ilustración 6 – Conexiones Azure Analysis Services

Próximos artículos

En el próximo artículo terminaremos de ver los servicios relacionados con Intelligence y Analytics en Azure.

Conclusión

Como dijo Nathalie Wood (Natalia Nikolaevna Zakharenko), actriz estadounidense conocida por su aparición en Rebelde sin causa y West Side Story entre otras películas: “Not even analysis, by itself, can transform you. You must still do the changing yourself (Ni siquiera el análisis por sí mismo puede transformarte. El cambio lo tienes que hacer tú mismo)”

 


Entradas relacionadas

Cursos relacionados
Nuestro sitio utiliza cookies para análisis. Si no estás seguro de ello, echa un vistazo a nuestra política de privacidad.