Soy un desarrollador de BI y web que trabaja en la industria FS Estoy a punto de comenzar a aprender Apache Spark. ¿Sugieres Scala o Python? ¿Que sugieres?

Answer 1

Cuando UTILICE spark, es muy probable que también desee realizar una gran cantidad de trabajo de tipo de utilidad además de usar spark. El ecosistema no es muy maduro. Tiene sentido hacer sus propios pequeños paquetes rápidos de Python para hacer todo tipo de cosas. Las bibliotecas de Python son excelentes para esto. También es muy probable que desee hacer cosas en otras plataformas como experiencias y luego usar la chispa para escalar. Es decir, Python tiene excelentes envoltorios para el proyecto R y cosas similares.

Como usuario de Python, es realmente el mejor lenguaje para este dominio de ciencia de datos. Claro que Scala es lo que sucede debajo de las cubiertas, pero no es difícil de leer, incluso sin saber cómo codificarlo.

Si iba a contribuir a la plataforma Spark, entonces Scala es obligatorio, por supuesto.

Sé ambos idiomas y tengo un sesgo extremo hacia FP. Aprender ambos es bueno, pero si solo me permitieran usar uno, elegiría Python.

Answer 2

Definitivamente Scala. Spark está escrito en Scala, por lo que podrá leer el código y comprender realmente lo que sucede detrás de escena. Honestamente, nunca terminé ninguna solución basada en Spark sin tener una comprensión clara de cómo funciona todo detrás de escena. La documentación está bien, pero cada solución tiene sus peculiaridades. Necesitará una comprensión exacta de la implementación para asegurarse de obtener el resultado esperado.

Answer 3

Sugeriría tanto Python como un lenguaje de tipo estático, como Scala. Esto es lo que hago yo mismo. Me concentro en estos dos. Python es muy muy útil para mucho, excepto para proyectos complejos, multiproceso y a gran escala en los que debe confiar en un sistema de escritura sólido para ayudarlo a hacer las cosas bien.

Scala es bastante complejo y grande, pero muy poderoso una vez que hayas superado lo básico. Recomiendo leer un libro como Programación funcional con Scala de Chiusano y Bjarnasson. Tiene todo lo que necesitas para usar Scala correctamente.