Estoy comenzando una pequeña consultoría de análisis de datos. ¿Con qué herramientas e infraestructura debo comenzar?

Answer 1

Gracias por el A2A.

Hay un dicho en consultoría:

“Si todo lo que tienes es un martillo, todo parece un clavo”

Las herramientas son solo herramientas.

Me he encontrado con consultorías multimillonarias que realizan análisis con nada más que Excel.

Las herramientas y la infraestructura que necesita son las adecuadas para el trabajo de los clientes que atiende.

Dicho esto, lo que puedo agregar es que he visto un gran salto tanto en la madurez como en la aceptación de las herramientas de análisis de código abierto en los últimos 4-5 años y si está buscando algo para comenzar, podría empeorar mucho que echar un vistazo a la encuesta anual de KDnuggets que dirige Quoran Gregory Piatetsky.

Encuesta 2015: R lidera RapidMiner, Python se pone al día, las herramientas de Big Data crecen, Spark se enciende

Existe una gran lista de herramientas, tanto en términos de análisis como de infraestructura, según el tipo de consultoría y el trabajo que se propone realizar.

Sin embargo, tenga en cuenta el muestreo según lo considere:

La participación por región fue: EE. UU. / Canadá (41.5%), Europa (38.4%), Asia (8.2%), América Latina (6.3%), Australia / NZ (3.1%), África / Medio Oriente (2.5%).

Para finalizar, mantengo que la principal necesidad de nuevas consultorías analíticas es el talento que puede hacer tanto el compromiso comercial como la entrega técnica , y los clientes que pagarán.

Las herramientas son solo herramientas.

Answer 2

Estaría cometiendo un error muy grande y muy común al definir la tecnología que tendrá antes de definir el rango de problemas que pretende resolver y la mejor manera de solucionarlo.

La comprensión de los negocios y los datos es lo primero, y estos le permitirán definir los requisitos para la tecnología adecuada.

Los consultores analíticos exitosos vienen en muchos tipos, y usan muchas herramientas, diferentes herramientas. Cuando las respuestas que menciona a Hadoop o Spark, reflejan el trabajo y las preferencias de los encuestados. Pero es posible que no tenga los mismos tipos de clientes o el mismo enfoque para sus problemas.

Muchos consultores analíticos exitosos nunca usan ninguno de los software que se han mencionado aquí hasta ahora. Pierre DeBois de Zimana ofrece consultoría de análisis web para pequeñas empresas. Para eso, una herramienta popular sería Google Analytics, pero hay muchas otras disponibles, cada una con sus propias ventajas. Laura Kippen de Infomaniacs realiza estudios de mercado cuantitativos y cualitativos para marcas de consumo. Ella podría usar SAS o SPSS, pero estas no son las únicas opciones, y no cubren todas las necesidades en este espacio. Si necesita un análisis conjunto sofisticado, por ejemplo, seguramente necesitará otra herramienta, tal vez incluso un socio, para respaldarlo. Oz du Soleil de DataScopic enfoca su práctica en Excel. Y así es como difieren nuestras necesidades y opiniones profesionales: nunca alentaría a nadie a usar hojas de cálculo para análisis, sin embargo, él es un fanático y ha desarrollado una práctica sólida sobre eso. Diferentes analistas prefieren diferentes herramientas.

En Quora, seguramente tendrá noticias de personas que dirán que la tecnología de código abierto, Big Data y centrada en el programador es lo que necesita. Y algunos analistas de datos realmente se enfrentan a los requisitos del cliente que coinciden con esas herramientas. Pero no sabemos lo suficiente sobre sus posibles clientes, sus necesidades o sus capacidades para definir las herramientas que debe utilizar.

Answer 3

1. Laptop (duh!)
2. Acceso a los servidores: es probable que desee, en algún momento, realizar una de las siguientes acciones:

1. entrenar un algoritmo de aprendizaje profundo;
2. usar Hadoop;
3. use Apache Spark o Storm;
4. cree paneles basados ​​en web para sus clientes.

Estos necesitarán servidores, pero probablemente no en una base regular: la demanda fluctuará de acuerdo con el trabajo que está realizando, así que use algo como AWS que le permitirá activar los servidores apropiados a medida que los necesite.
Luego necesitará todas las otras herramientas: cuenta github, software ftp, bibliotecas de python (o java o R o cualquier idioma en el que trabaje) para que todo funcione.

¡¡Buena suerte!!

Answer 4

Puede buscar en línea herramientas gratuitas y software de código abierto. Hice lo mismo y encontré plataformas increíbles como SPAGO BI. Requiere habilidades y un servidor para ejecutarse, le dará dificultades para trabajar pero vale la pena. BTW Data Analytics también forma parte de nuestra cartera.

Answer 5

Herramientas que necesitas
R
Pitón
Spark para análisis de big data s
Tormenta para análisis de big data s
Cuidador de elefantes
puede ser una biblioteca de PNL si quieres hacer análisis de redes sociales

Answer 6

Depende de qué problema resolverá. Elegir tecnología aleatoria y “hacer análisis” no te llevará lejos.