¿Cuáles son las habilidades clave necesarias para ser un desarrollador de Big Data?

Answer 1

Las responsabilidades de los trabajos de desarrollador de Hadoop son escribir programas según los diseños del sistema y deben tener un conocimiento justo sobre la codificación y la programación. La tarea del desarrollador de Hadoop es similar a la del desarrollador de software pero en el dominio de Big Data. El desarrollador de Job of Hadoop también incluye la comprensión y el trabajo para encontrar soluciones a los problemas, el diseño y la arquitectura junto con fuertes habilidades de documentación.

Roles y responsabilidades del desarrollador de Hadoop

• Definiendo flujos de trabajo
• Administrar y revisar archivos de registro de Hadoop
• Servicios de coordinación de clústeres a través de Zookeeper
• Administrar trabajos de Hadoop a través del planificador
• Admite programas MapReduce que se ejecutan en el clúster Hadoop

Habilidades requeridas para el desarrollador de Hadoop:

• Experiencia en escritura de scripts latinos de Pig y HiveQL
• Conocimiento comprobado de flujo de trabajo / planificadores como Oozie
• Capacidad para manejar herramientas de carga de datos como Flume y Sqoop

Experiencia requerida para un perfil de desarrollador de Hadoop

0-5 años

El currículum de desarrolladores de Hadoop debe ser una combinación de las habilidades anteriores para ser seleccionado por las empresas que contratan desarrolladores de Hadoop en la India y en el extranjero y obtener un alto rango de salario para desarrolladores de Hadoop. Para obtener más detalles sobre la certificación de desarrollador de Hadoop por Cloudera, visite los detalles de los cursos de certificación de Cloudera.

Answer 2

Estoy en el mismo autobús que tú. Solo unos 2 años de experiencia JavaEE.
He trabajado en Big Data por un tiempo y aprecio su interés en Big Data.

Trabajo en Apache Cassandra (todos sus recursos de Apache Cassandra en un solo lugar), que es un almacén de datos NoSQL líder.

Big Data no se trata solo de almacenamiento.
Está efectivamente almacenando, procesando, analizando y sacando el valor de los datos.

Es posible que desee buscar en API como Apache Lucene (Búsqueda de texto completo con capacidades de PNL) y Cassandra juntas para almacenar y utilizar datos de una manera valiosa.

He trabajado de cerca con Lucene y Cassandra y podría ayudarte si es necesario.

Answer 3

El área de Big Data es realmente muy grande, por lo que el conocimiento necesario para el desarrollador de Big Data también sería grande. Tengo solo un año de experiencia a nivel del suelo, en base a eso puedo sugerirle algo de lo que se sabe …,

1: – Junto con dbms debe ser una buena mano en los scripts de SQL.

2: – Java es solo uno de python, Scala, java … así que trata de tener buenas manos en los demás también.

3: – Obtenga conocimientos de implementación sobre DataBase y programación (solo el concepto no es suficiente).

4: – Ir para proyectos en big data de Hadoop

5: – Buen conocimiento sobre el manejo de datos (todo se trata del manejo de datos)

5: – Lo más importante es ser bueno con trabajos de investigación, artículos, blogs y certificaciones.

6: – Intenta obtener al menos un proyecto / POC en cada ecosistema de Hadoop (Map Reduce, Hive, Pig, Sqoop, Flume, Zookeeper)

Gracias 🙂

Answer 4

Al estar en el tercer año, todavía tiene mucho tiempo disponible, así que elija un proyecto que implique la codificación en Java utilizando marcos como Hadoop, spark, pig, etc. Hay una gran necesidad de científicos de datos en la industria, ya que el 80% de ellos están falso y ni siquiera sabe lo básico de la codificación.

La única habilidad que no sea la codificación que recomendaría que fortalezcas es la habilidad para resolver problemas, ya que en la vida real cada problema debe manejarse por separado de una manera diferente.

Answer 5

Big data es una de las tecnologías más utilizadas en la actualidad. Las habilidades incluyen Hadoop, Spark, NoSQL y muchas más habilidades clave que son importantes para el mismo.

Answer 6

puedes aprender algunas habilidades aquí

Las 5 habilidades principales para un ingeniero ETL de Big Data (Hadoop)