Programas para trabajar con datos (Análisis, transformación, etc)

[CulitoDeRana]

Reporte del estado del arte en ML y Data Science por Kaggle: https://www.kaggle.com/surveys/2017

Y no tenía ni idea de que Excel tenía una suite para ML y Data science, lo que pasa que veo que hay que usar MSSQL y buf, perezote, y caro.

[Frank Zappa]

Reporte del estado del arte en ML y Data Science por Kaggle: https://www.kaggle.com/surveys/2017

Y no tenía ni idea de que Excel tenía una suite para ML y Data science, lo que pasa que veo que hay que usar MSSQL y buf, perezote, y caro.

No sé qué tanto me fío :/. ¿Por qué pusieron por ejemplo Bitbucket y al mismo tiempo git y Mercurial? ¿Por qué metieron en un  mismo bucket C, C++ y C#? Hay algunas cosas raras entre las opciones de esa encuesta.

[CulitoDeRana]

Ni serda

[Jaime]

"What language would you recommend data scientists learn first?" English.

[CulitoDeRana]

Dejo esto aquí porque quiero seguirle la pista: http://www.luna-lang.org

https://news.ycombinator.com/item?id=14612680

[Alien]

Duda de retraso mental.

> pnorm(c(60,150), mean=120, sd=30, lower.tail=FALSE)
[1] 0.9772499 0.1586553


Estos valores que me da son: 0'9772499 para 60, o sea, de 60 para arriba, y 0.1586553, o sea, el 150 para arriba...

Me piden la posibilidad entre 60 y 150, ¿restar las probabilidades y ya, no? Lo ziento, de verdah xd Pero quiero asegurarme. Y también estoy con el Metrix, van a ser risas.

[Jaime]

La probabilidad, en efecto, es la diferencia entre el intervalo mayor y el intervalo menor. En este caso, y creyéndome de que se trata de una N(120,30), entiendo el primer valor es P(N < 150) y el segundo P(N < 60), así que sí, restas el mayor menos el menor.

[CulitoDeRana]

Es posible que alguna vez os hayáis encontrado en la situación de hacer un vlookup con similar match en Excel, y habréis caído que la fórmula funciona como le peta. He encontrado esto: https://www.excel-university.com/perform...-in-excel/

Eso algo parecido a un algo de fuzzy logic.

[CulitoDeRana]

@hijitus sabes alguna manera de detectar fácil non-breaking whitespaces en CSVs? Algo de andar por casa pero facilongo.

[Manneken Pis]

Querés detectarlos para borrarlos o qué.

[CulitoDeRana]

Querés detectarlos para borrarlos o qué.

Ciertamente, pero a veces no me doy cuenta y me vuelvo loco pensando que estoy haciendo algo mal con regex xd

[Manneken Pis]

https://www.mrexcel.com/forum/excel-ques...space.html

https://techsupport.osisoft.com/Troubles...KB/KB01372


Abrir el csv con excel y probar la mierda esta?

---

O tírate un sed 's/\xA0//g' fichero.csv aer si cuela loko

[CulitoDeRana]

https://www.mrexcel.com/forum/excel-ques...space.html

https://techsupport.osisoft.com/Troubles...KB/KB01372


Abrir el csv con excel y probar la mierda esta?

---

O tírate un sed 's/\xA0//g' fichero.csv aer si cuela loko

Mmm la idea era más bien usarlo con sublime text, porque si busco \u00A0 no aparece nada, a pesar de que los espacios están ahí. Podría abrir excel y toda la movida, pero si fuese el caso de que hiciese eso probablemente ya me habría dado cuenta, la idea era hacerlo rápido.

[Manneken Pis]

¿Con el sed tampoco cuela? Con un archivo que he probado funcionaba.

[CulitoDeRana]

¿Con el sed tampoco cuela? Con un archivo que he probado funcionaba.

No sé de lo que me hablas, muchacho.

Edito: Ya sé de lo que me hablas, pero estoy em guindows cuando tengo estos problemas.

[Manneken Pis]

Entonces soy un inútil, melenas. Pero si sueles tener estas mierdas, y controlas de regex, métete un Cygwin o algo para poder usar los comandos xulos desde guindows.

[CulitoDeRana]

Entonces soy un inútil, melenas. Pero si sueles tener estas mierdas, y controlas de regex, métete un Cygwin o algo para poder usar los comandos xulos desde guindows.

Buscaré, porque cygwin me da aún más pereza, la última vez que lo probé tuve todo tipo de problemas.

[Frank Zappa]

Je, yo iba a decirte lo mismito que Manneken. Para estas cosas, sed es tu amigo fiel.

[CulitoDeRana]

Aprovecho para ver si se os ocurre algo:

Necesito coger una lista enorme de palabras clave y hacer bins de las que sean de la misma tematica.

He probado con un tema de similarity hashing, pero de pena. He probado con topic modelling pero me sale muy weirdo. Se me ha ocurrido hacer hoy por la tarde algo con k-medios pero no se como enfocarlo aún.

Es algo que normalmente haria a mano pero son más de 2000 y no quiero morir.

No sé si habéis jugado alguna vez con estas cosas.

[Frank Zappa]

Yo hice una prueba de conceptos de algo parecido usando K-means y n-grams y funcionó más o menos bien. En mi caso eran blog posts. Y me pasé la mayor parte del tiempo probando distintos hiperparámetros.

¿Por qué te salió weirdo?