Apache Hadoop

El framework original de almacenamiento y procesamiento distribuido de big data.

CategoríaBig Data
DificultadAvanzado
Tiempo de aprendizaje6-8 semanas
Official documentation

¿Qué puedes lograr con esta herramienta?

Los resultados prácticos que desbloquea.

  • Almacenar petabytes de datos distribuidos y tolerantes a fallos con HDFS
  • Procesar datos masivos en paralelo con el modelo MapReduce
  • Sentar la base de infraestructura sobre la que corren Spark, Hive y otros

Descripción

Hadoop popularizó el procesamiento distribuido de big data con su sistema de archivos HDFS y el paradigma MapReduce. Aunque Spark lo superó como motor de cómputo, HDFS y YARN siguen siendo infraestructura común en muchos data lakes empresariales.

Casos de uso

  • Almacenamiento distribuido de datos masivos (HDFS)
  • Procesamiento batch con MapReduce
  • Infraestructura subyacente para Hive, HBase y Spark
  • Data lakes on-premise a gran escala

Instalación

Instalarbash
wget https://downloads.apache.org/hadoop/common/stable/hadoop-3.4.0.tar.gz
tar -xzf hadoop-3.4.0.tar.gz

Ejemplo básico

Ejemplo básicobash
hdfs dfs -mkdir /datos
hdfs dfs -put trips.csv /datos/
hdfs dfs -ls /datos

Ventajas y limitaciones

Ventajas

  • Almacenamiento distribuido probado y tolerante a fallos
  • Base de infraestructura de todo el ecosistema big data clásico
  • Maneja volúmenes de petabytes on-premise

Limitaciones

  • MapReduce es mucho más lento que motores modernos como Spark
  • Configuración y mantenimiento de clústeres son complejos

Alternativas

Herramientas que resuelven un problema parecido de otra forma.