Tengo un ETL construido en Pentaho. ¿Hay alguna forma de alojarlo en la nube (Microsoft Azure) en lugar de ejecutarlo en las instalaciones?

Solía ​​tener un cliente con el mismo problema. Nuestra solución es desarrollar un enfoque lean de trabajar con datos en el backend. Creamos un trabajador en segundo plano que está conectado con una cola que maneja el procesamiento de datos. Sé que ETL solía ser el único enfoque, pero ya no lo es. Permítanme compartirles el enfoque del trabajador de fondo:

  1. Los trabajadores en segundo plano son solo aplicaciones de consola que se ejecutan en el sistema operativo Windows con un planificador detrás
  2. Tiene acceso a bases de datos que desea procesar y colas para cualquier desencadenante
  3. Toda la lógica del procesamiento de datos se activa en la capa de aplicación. Por lo tanto, si tiene Procs almacenados que desea reutilizar, aún es posible.

¿Cómo crear un trabajador en segundo plano e implementarlo en Azure?

  1. Crear una aplicación de consola
  2. Instala Quartz usando Nuget. Quartz es un gran complemento que puede ejecutar su aplicación como trabajador en segundo plano
  3. Defina sus trabajos y conéctelo con su lógica de datos (procesos almacenados)
  4. Implementar en sitios web de Azure como Webjobs. Luego corre continuamente.
  5. Eso es

Es más rentable y tiene un mejor rendimiento. Puede adjuntar Application Insight en su trabajador en segundo plano para obtener datos de Analytics.

No estoy seguro de dónde se encuentra su repositorio de destino, pero si está en las instalaciones, mover el proceso ETL a la nube le brinda algún beneficio.

Si tiene que moverlo a la nube, es posible que desee ver Azure Data Factory ya que SSIS no está disponible para SQLAzure.

El siguiente enlace podría ayudarlo a comparar las funcionalidades de pentaho y ssis

Comparación de herramientas ETL

SSIS tiene sus propios puntos de dolor, aunque es muy efectivo

Azure puede ejecutar máquinas con Windows Server o Linux, por lo que debería poder ejecutar Pentaho perfectamente. En definitiva, tiene que tener sentido, por supuesto.

More Interesting

Soy estudiante de ingeniería petrolera. ¿Existe la necesidad de aprender habilidades técnicas? Por ejemplo: C ++, Java.

Mi amigo olvidó un número. Todo lo que recuerda es que el número tenía 8 dígitos y terminaba con un número impar y tenía exactamente uno 9. ¿Cuántos números posibles tiene que tratar de asegurarse de obtener el número correcto?

Quiero ir de viaje como en la película Yeh Jawaani Hai Deewani. ¿Cuáles serían algunos paquetes turísticos para un viaje como ese?

Tengo problemas de audición y tengo acento. Soy un estadounidense de pura sangre del sur también, pero la gente sigue confundiéndome como asiático. Un amigo asiático también pensó que mi acento sonaba como asiático. ¿Realmente suena extraño?

No puedo conocer a un chico en particular, ¿se necesita ayuda (Ver comentario)?

Tengo tres opciones: VIT (campus de Vellore), Shiv Nadar (Noida) y RVCE (Bangalore) para CSE. ¿Cuál de los tres es el mejor?

Puedo ser demasiado confiado, y generalmente me lleva a problemas. ¿Cómo puedo solucionar esto?

Me cepillo, uso hilo dental y uso enjuague bucal dos veces al día todos los días. ¿Por qué uno de mis dientes es gris con un poco de blanco en el medio? ¿El diente no es saludable?

Acabo de terminar de grabar una canción de metal. ¿Dónde hay un buen lugar para compartirlo?

Acabo de recibir una tableta digitalizadora #wacom (Intuos4) en el trabajo. Tengo problemas con mi muñeca (supongo que son signos reveladores del túnel carpiano). Cuando uso la tableta con lápiz, ¿qué modo ayuda más a aliviar, el modo de lápiz o el modo de mouse? Gracias.