Apache Hadoop
El framework original de almacenamiento y procesamiento distribuido de big data.
CategoríaBig Data
DificultadAvanzado
Tiempo de aprendizaje6-8 semanas
¿Qué puedes lograr con esta herramienta?
Los resultados prácticos que desbloquea.
- Almacenar petabytes de datos distribuidos y tolerantes a fallos con HDFS
- Procesar datos masivos en paralelo con el modelo MapReduce
- Sentar la base de infraestructura sobre la que corren Spark, Hive y otros
Descripción
Hadoop popularizó el procesamiento distribuido de big data con su sistema de archivos HDFS y el paradigma MapReduce. Aunque Spark lo superó como motor de cómputo, HDFS y YARN siguen siendo infraestructura común en muchos data lakes empresariales.
Casos de uso
- Almacenamiento distribuido de datos masivos (HDFS)
- Procesamiento batch con MapReduce
- Infraestructura subyacente para Hive, HBase y Spark
- Data lakes on-premise a gran escala
Instalación
wget https://downloads.apache.org/hadoop/common/stable/hadoop-3.4.0.tar.gz
tar -xzf hadoop-3.4.0.tar.gzEjemplo básico
hdfs dfs -mkdir /datos
hdfs dfs -put trips.csv /datos/
hdfs dfs -ls /datosVentajas y limitaciones
Ventajas
- Almacenamiento distribuido probado y tolerante a fallos
- Base de infraestructura de todo el ecosistema big data clásico
- Maneja volúmenes de petabytes on-premise
Limitaciones
- MapReduce es mucho más lento que motores modernos como Spark
- Configuración y mantenimiento de clústeres son complejos
Alternativas
Herramientas que resuelven un problema parecido de otra forma.