Programas para trabajar con datos (Análisis, transformación, etc)

[CulitoDeRana]

Depende lo que quieras hacer. Describeme tus objetivos y como piensas diseñar el estudio.

[Jaime]

Pues de momento quiero currarme el trabajo de investigación de Sociología de la desviación, y creo que partir de un análisis de un porrón de datos y variables me vendría muy bien. Necesito algo que me permita hacer algo pro, para conseguir la matrícula de honor en esa asignatura.

P.D.: soy muy noob, lo siento. No sé ni si esto me ayudaría realmente, pero estoy dispuesta a aprender.

R o SPSS te pueden servir. Lo malo del primero es que necesitas picar código, lo malo del segundo es que a veces cuesta controlar lo que estás haciendo.

¿Nos puedes poner una captura del dataset y explicarnos lo que te gustaría sacar de él?

[Milk]

Sí, pero primero tengo que terminar de elaborarlo. En cuanto lo tenga os lo paso.

Muchas gracias por el interés

[CulitoDeRana]

Yo generalmente, para transformación de datos siempre recomiendo KNIME, entre otras cosas porque tiene nodos de Java, Python y R. También tiene movidas de ML y análisis chulos. El workflow se controla echándole un ojo, no hace falta leer un log.

Sólo recomiendo SPSS para tratar encuestas.

[Frank Zappa]

Dejando de lado el hecho de que yo de investigación estadística en el campo de las ciencias sociales sé nada y que deberías leer y hacer caso a Jaime y al admin, un pequeño comentario: En mi opinión, qué programa uses no importa tanto. No te pases mucho tiempo buscando el mejor software para tu problema. Agarra uno que funcione, que sea usado en la industria (por eso de poder ponerlo en tu currículum), aprende a usarlo muy mínimamente y simplemente lánzate a hacer cosas con él. Si te concentras más en entender los modelos que usas y la matemática detrás, lo demás es muy accesorio y las diferencias son mínimas y normalmente de comodidad (hacer la tarea X te lleva 2 dos clicks en la plataforma Y y 3 en la plataforma Z).

[CulitoDeRana]

Dejando de lado el hecho de que yo de investigación estadística en el campo de las ciencias sociales sé nada y que deberías leer y hacer caso a Jaime y al admin, un pequeño comentario: En mi opinión, qué programa uses no importa tanto. No te pases mucho tiempo buscando el mejor software para tu problema. Agarra uno que funcione, que sea usado en la industria (por eso de poder ponerlo en tu currículum), aprende a usarlo muy mínimamente y simplemente lánzate a hacer cosas con él. Si te concentras más en entender los modelos que usas y la matemática detrás, lo demás es muy accesorio y las diferencias son mínimas y normalmente de comodidad (hacer la tarea X te lleva 2 dos clicks en la plataforma Y y 3 en la plataforma Z).

Es cierto a medias. La comodidad es vital, y la facilidad de trackear lo que haces es importante, sobre todo cuando trabajas intermitentemente en un proyecto. Te pones una semana, lo dejas otras, lo retomas, así.

Yo insisto, Knime sirve pa tó.

[Frank Zappa]

Dejando de lado el hecho de que yo de investigación estadística en el campo de las ciencias sociales sé nada y que deberías leer y hacer caso a Jaime y al admin, un pequeño comentario: En mi opinión, qué programa uses no importa tanto. No te pases mucho tiempo buscando el mejor software para tu problema. Agarra uno que funcione, que sea usado en la industria (por eso de poder ponerlo en tu currículum), aprende a usarlo muy mínimamente y simplemente lánzate a hacer cosas con él. Si te concentras más en entender los modelos que usas y la matemática detrás, lo demás es muy accesorio y las diferencias son mínimas y normalmente de comodidad (hacer la tarea X te lleva 2 dos clicks en la plataforma Y y 3 en la plataforma Z).

Es cierto a medias. La comodidad es vital, y la facilidad de trackear lo que haces es importante, sobre todo cuando trabajas intermitentemente en un proyecto. Te pones una semana, lo dejas otras, lo retomas, así.

Yo insisto, Knime sirve pa tó.

Puede ser. Y de nuevo, no tengo experiencias con las herramientas de tu campo. Pero en las que tengo experiencia, he notado que la diferencia de comodidad es mínima. Si usas un producto que pasó "la prueba de la industria," lo más probable es que sea productivo, que sea fácil de aprender y que usarlo de manera eficiente sea cosa de simplemente ponerse. Y especialmente cuando empiezas, a menudo no hace falta encontrar la herramienta perfecta.

[CulitoDeRana]

Es cierto a medias. La comodidad es vital, y la facilidad de trackear lo que haces es importante, sobre todo cuando trabajas intermitentemente en un proyecto. Te pones una semana, lo dejas otras, lo retomas, así.

Yo insisto, Knime sirve pa tó.

Puede ser. Y de nuevo, no tengo experiencias con las herramientas de tu campo. Pero en las que tengo experiencia, he notado que la diferencia de comodidad es mínima. Si usas un producto que pasó "la prueba de la industria," lo más probable es que sea productivo, que sea fácil de aprender y que usarlo de manera eficiente sea cosa de simplemente ponerse. Y especialmente cuando empiezas, a menudo no hace falta encontrar la herramienta perfecta.

Hombre, la "prueba de la industria" es STATA, SPSS y aberraciones que no querrías ver ni en tus peores sueños. A mí SPSS ya me da un poco de sida, la verdad. Se usa mucho para hacer perfiles en márketing, y es un coñazo. Nunca conseguí acostumbrarme a usarlo.

[Frank Zappa]

CSV injection: http://georgemauer.net/2017/10/07/csv-injection.html

[CulitoDeRana]

Interesante. Es típico tener ojo con macros, de todas formas es un vector de ataque contra el que es imposible hacer nada que no limite la funcionalidad de excel.

[Batsa]

Pregunto aquí para no abrir otro hilo.

Tengo un excel que consiste en varias hojas y necesito importar la info a una base de datos. El primer problema que me encuentro es que tengo que ir guardando cada hoja, una por una. El segundo es que tiene enlaces a archivos y al guardarlo como CSV no se guarda la ruta, sino el nombre del enlace.

La solución más inmediata es cambiar cada enlace a mano e ir guardando las hojas una a una, pero se me puede ir mucho rato y lo veo una gitanada.

¿Cómo lo haríais vosotros? No he usado mucho Excel, por lo que seguramente me estoy perdiendo algo.

[CulitoDeRana]

Que base de datos es? Prueba algún programa como dbveaver o heidisql

[Frank Zappa]

Pregunto aquí para no abrir otro hilo.

Tengo un excel que consiste en varias hojas y necesito importar la info a una base de datos. El primer problema que me encuentro es que tengo que ir guardando cada hoja, una por una. El segundo es que tiene enlaces a archivos y al guardarlo como CSV no se guarda la ruta, sino el nombre del enlace.

La solución más inmediata es cambiar cada enlace a mano e ir guardando las hojas una a una, pero se me puede ir mucho rato y lo veo una gitanada.

¿Cómo lo haríais vosotros? No he usado mucho Excel, por lo que seguramente me estoy perdiendo algo.

¿Los links están puestos con HYPERLINK?

[Batsa]

Que base de datos es? Prueba algún programa como dbveaver o heidisql

MySQL. En principio no es problema, lo que iba a hacer era un script en PHP para coger los datos de un CSV y preparar los insert (ya que el documento y la base de datos no comparten la estructura). Estoy viendo que esos programas son clientes de BBDD. ¿Crees que alguno me facilitaría la tarea?

¿Los links están puestos con HYPERLINK?

Sí, son hipervínculos.

[Frank Zappa]

Lo que yo haría entonces es usar algo como esto: https://excel.tips.net/T003281_Extractin...links.html

Guardarlo a CSV y luego usar esto: https://dev.mysql.com/doc/refman/5.7/en/load-data.html para subirlo a la base de datos.

Todo esto es lo que seguramente alguno de los programas que mencionó HDP hace en las sombras.

[CulitoDeRana]

Que base de datos es? Prueba algún programa como dbveaver o heidisql

MySQL. En principio no es problema, lo que iba a hacer era un script en PHP para coger los datos de un CSV y preparar los insert (ya que el documento y la base de datos no comparten la estructura). Estoy viendo que esos programas son clientes de BBDD. ¿Crees que alguno me facilitaría la tarea?

¿Los links están puestos con HYPERLINK?

Sí, son hipervínculos.

En excel transformas el vínculo en texto. Se puede hacer pinchando en la celda o celdas con el botón derecho y dando a "quitar hipervínculo". Luego asegúrate que las columnas y los datos coinciden con mysql.

Lo guardas como csv. Vas a heidisql, te metes en la tabla que toca y le das a importar csv. Fin.

[Batsa]

MySQL. En principio no es problema, lo que iba a hacer era un script en PHP para coger los datos de un CSV y preparar los insert (ya que el documento y la base de datos no comparten la estructura). Estoy viendo que esos programas son clientes de BBDD. ¿Crees que alguno me facilitaría la tarea?


Sí, son hipervínculos.

En excel transformas el vínculo en texto. Se puede hacer pinchando en la celda o celdas con el botón derecho y dando a "quitar hipervínculo". Luego asegúrate que las columnas y los datos coinciden con mysql.

Lo guardas como csv. Vas a heidisql, te metes en la tabla que toca y le das a importar csv. Fin.

Gracias, ahora tengo lo del hipervínculo resuelto. Lo que pasa es que la info del excel es distinta a la de la base de datos, va en diferentes tablas y tal. Veré si puedo hacer eso con heidisql.

¿Se puede hacer todo este proceso en cada hoja a la vez, o tengo que ir una por una?

[CulitoDeRana]

En excel transformas el vínculo en texto. Se puede hacer pinchando en la celda o celdas con el botón derecho y dando a "quitar hipervínculo". Luego asegúrate que las columnas y los datos coinciden con mysql.

Lo guardas como csv. Vas a heidisql, te metes en la tabla que toca y le das a importar csv. Fin.

Gracias, ahora tengo lo del hipervínculo resuelto. Lo que pasa es que la info del excel es distinta a la de la base de datos, va en diferentes tablas y tal. Veré si puedo hacer eso con heidisql.

¿Se puede hacer todo este proceso en cada hoja a la vez, o tengo que ir una por una?

A ver, tienes:

1) Quitar hipervínculos, aunque creo que si guardas en CSV no te hará falta. Si nos pusieses el archivo en Drive, Onedrive o algo así para verlo mejor.

De todas formas quitar hipervínculos no tiene más ciencia que Cntrl + E -> Botón derecho -> Quitar hipervínculos. Para hacerlo en varias hojas me imagino que deberías hacerlo con macros (o con algún plugin de excel, alguno hay por ahí que lo hace). Igualmente no puedes guardar un CSV con varias hojas.



2) Formatear las hojas igual que la tabla. Si no están formateadas igual lo tendrás que hacer. Se puede hacer sencillo, a manica. O puedes crear otra hoja excel, hacer una consulta con powerquery sobre el otro archivo, y ordenar los datos con powerquery.

Este paso es imprescindible, porque sino cuando subas los datos a la tabla lo que va a pasar es que mysql va a poner cada cosa donde le de la gana, y probablemente habrá algún error con el tipo de datos que te admite.

[Batsa]

Gracias @Silvio, lo probaré. Son dudas muy meh, pero es que nunca he tenido que usar Excel xD

[Manneken Pis]

Alguien pilota de file maker for a quick question?