Proyecto de analítica de datos de redes sociales

2 replies [Último envío]
Imagen de carlos
Offline
Joined: 28/12/2005
Puntos: 1620

Estoy planteándome comenzar un proyecto de analítica de datos a partir de interacciones en redes sociales, obteniendo datos a través de las API que proporcionan las redes.

Quiero comenzar con datos de Twitter, siguiendo un poco la idea de del post de Sergio sobre obtención de datos de Twitter con servicios web como Zapier o IFTTT, pero en lugar de utilizar los servicios de estos sitios y volcar los datos sobre hojas de cálculo, quiero utilizar un software de ETL para conectar con las redes sociales y guardar los datos en tablas de bases de datos.

Las herramientas de ETL que me planteo utilizar son Pentaho Data Integrator (Kettle para los amigos) o SQL Server Integration Services, pero aún no tengo claro cuál me va a ir mejor para mis objetivos.

He buscado un poco a ver si encontraba algún ejemplo de cada una que hiciera algo así como una conexión a la API actual de Twitter para recoger datos de Tweets, y guardar los datos que devuelva la API en tablas de mi base de datos, pero no he encontrado un ejemplo con código que me funcionara bien, ya que casi todo lo que hay es para llamar a la API desde PHP , ASP o lenguajes de programación, y por eso planteo aquí la cuestión.

¿Qué me recomendáis, utilizar SSIS o mejor Kettle?

¿Alguien sabe de algún ejemplo, un package de SSIS que conecte con la API v1.1 de Twitter, o un script de Visual Basic o C# que pueda utilizar en una tarea de script de Integration Services? ¿O un archivo .ktr de transformaciones de Spoon que me sirvan para interactuar con Twitter?

 

Matey (no verificado)

Hola

 

En kettle hay varios ejemplos para interactuar con twitter:

 

C:\pdi5\samples\transformations\real-time-streaming\Read a twitter stream.ktr

C:\pdi5\samples\transformations\real-time-streaming\Twitter JSON parsing and hashtag aggregation.ktr

C:\pdi5\samples\transformations\User Defined Java Class - Real-time search on Twitter.ktr

 

Puedes comenzar con ellos para ver si se adaptan a lo que quieres.

De SSIS, ni idea.

 

Ves informando de tus avances, parece interesante.

Imagen de carlos
Offline
Joined: 28/12/2005
Puntos: 1620

Muy buena sugerencia, no sabía que en los samples de PDI había transformaciones que trabajan con Twitter. A ver si encuentro tiempo para probarlas y puedo explicar qué tal funcionan.

Gracias Matey!

 



 

  BI   |    CRM     |    CMS    |    Tendencias en software empresarial    |    Cloud computing  |    Software libre    |   Internet    |    Movilidad y apps