Databricks
La plataforma que unificó ingeniería de datos, ciencia de datos e IA sobre la arquitectura que sus fundadores llaman 'lakehouse'.
Descripción
Fundada por el equipo creador de Apache Spark, Databricks popularizó el concepto de 'lakehouse' (combinar la flexibilidad de un data lake con la estructura de un data warehouse) y se ha convertido en una de las plataformas de datos e IA más usadas por equipos de ciencia e ingeniería de datos en grandes empresas.
¿Qué hace en ciencia de datos?
- Plataforma unificada de ingeniería de datos, ciencia de datos y machine learning
- Desarrollo y mantenimiento de Apache Spark, Delta Lake y MLflow (proyectos open source)
- Infraestructura para entrenar y desplegar modelos de IA generativa sobre datos propios
- Adquisición e integración de tecnología de bases de datos e IA (como MosaicML)
Proyectos y productos destacados
- Databricks Lakehouse Platform
- Apache Spark (motor de procesamiento distribuido, proyecto original de sus fundadores)
- MLflow (plataforma open source de tracking de experimentos de ML)
- Mosaic AI (herramientas para entrenar y ajustar modelos de IA generativa)
Roles de datos que contratan
- Data Engineer
- Machine Learning Engineer
- Data Scientist
- Solutions Architect (datos/IA)
- Research Scientist (Mosaic AI research)
Profesionales destacados
Referencias públicas para inspirarte; los cargos pueden cambiar con el tiempo.
Ali Ghodsi
Cofundador y CEO. Exprofesor/investigador de UC Berkeley, cofundó Databricks junto con el equipo creador de Apache Spark.
Matei Zaharia
Cofundador y Chief Technologist. Creador original de Apache Spark durante su doctorado en UC Berkeley, hoy también profesor en Stanford.
Empresas relacionadas
Snowflake
Plataforma de DatosEl data warehouse nativo de la nube que separó el almacenamiento del cómputo y se convirtió en el estándar de facto para analítica empresarial.
Hugging Face
Infraestructura de IALa plataforma y comunidad que se convirtió en el 'GitHub de los modelos de IA', democratizando el acceso a modelos preentrenados.