¿Cuáles son las habilidades requeridas para un administrador de hadoop?

Hadoop está escrito en Java . Entonces deberías entregar Java
Hadoop se ejecuta en Linux , por lo que debe estar bastante familiarizado con las habilidades básicas de navegación por línea de comandos de Linux
Algunas habilidades crípticas de Linux serán útiles

Lo siguiente debería darle una idea del tipo de roles técnicos que hay en Hadoop y qué cualidades se requieren.
Desarrollador Hadoop
· Capacidad para escribir trabajos MapReduce
· Experiencia en escribir guiones latinos de Pig
· Experiencia práctica en HiveQL
· Familiaridad con las herramientas de carga de datos como Flume, Sqoop
· Conocimiento de flujo de trabajo / planificadores como Oozie
Arquitecto Hadoop
· Amplio conocimiento sobre Hadoop Architecture y HDFS
· Java Map Reduce
· HBase
· Colmena, cerdo
Probador de Hadoop
· Conocimiento de Java para probar trabajos de MapReduce
· Conocimiento del marco JUnit, MRUnit para pruebas
· Conocimiento práctico de colmena, cerdo
Administrador de Hadoop
· Fuertes habilidades de scripting en el entorno Linux
· Experiencia práctica en Oozie, HCatalog, Hive
· Conocimiento de la administración de HBase
Científico de datos
· Conocimiento sólido de la manipulación de datos y análisis de datos.
· Base sólida en las habilidades utilizadas en la ciencia de datos, por ejemplo, Pig, Hive, SQL
· El conocimiento en SAS, SPSS, R es útil

  • Administración de Linux
  • Administración de red
  • Conocimientos básicos de componentes internos de hardware.
  • Scripting (Bash, Perl, etc.)
  • Competente con un lenguaje de programación, probablemente Java
  • Buena resolución de problemas y depuración
  • Capacidad para no volar sus cerebros mientras arregla las configuraciones / protocolos / características más estúpidas, raras e indocumentadas de la pila Hadoop.

El último es probablemente el más importante.