Programas para trabajar con datos (Análisis, transformación, etc)

[CulitoDeRana]

Yo hice una prueba de conceptos de algo parecido usando K-means y n-grams y funcionó más o menos bien. En mi caso eran blog posts. Y me pasé la mayor parte del tiempo probando distintos hiperparámetros.

¿Por qué te salió weirdo?

No sé, ayer mire un par de horas, pero tampoco toqué mucho la verdad.

No sé si controlas de seo, pero básicamente intento automatizar un pipeline de canibalizacion de palabras  clave.

Básicamente es detectar qué articulos posicionan por palabras clave de la misma temática y juntarlos en uno solo, 301 mediante.

Para eso haria grupos de palabras clave y los cotejaria con las urls que posicionan por esas palabras.

Por cierto, mas que palabras son frases, casi todo es long tail.

[Frank Zappa]

Yo hice una prueba de conceptos de algo parecido usando K-means y n-grams y funcionó más o menos bien. En mi caso eran blog posts. Y me pasé la mayor parte del tiempo probando distintos hiperparámetros.

¿Por qué te salió weirdo?

No sé, ayer mire un par de horas, pero tampoco toqué mucho la verdad.

No sé si controlas de seo, pero básicamente intento automatizar un pipeline de canibalizacion de palabras  clave.

Básicamente es detectar qué articulos posicionan por palabras clave de la misma temática y juntarlos en uno solo, 301 mediante.

Para eso haria grupos de palabras clave y los cotejaria con las urls que posicionan por esas palabras.

Por cierto, mas que palabras son frases, casi todo es long tail.

Y es parecido a lo que yo hice. Fue hace mucho, así que no me acuerdo de los detalles, pero era básicamente agrupar blog posts por categoría, intentando extraer la categoría del post en sí mismo.

Ya teniedno las palabras claves, lo que hicimos fue:

- Quitas stop words.
- Agrupás en n-grams (nosotros usamos trigrams, pero ésa es una de las variables que te va a tocar probar).
- Aplicar k-means.

Al principio nos funcionó bien, pero más o menos raro (raro en el sentido de que agrupaba por frases clave que eran poco intuitivas). Luego de tocásemos los hiperparámetros un poco, al principio de manera automática y luego de manera manual, ya funcionó mejor.

Implementar eso en Spark no lleva mucho, por cierto.

[CulitoDeRana]

No sé, ayer mire un par de horas, pero tampoco toqué mucho la verdad.

No sé si controlas de seo, pero básicamente intento automatizar un pipeline de canibalizacion de palabras  clave.

Básicamente es detectar qué articulos posicionan por palabras clave de la misma temática y juntarlos en uno solo, 301 mediante.

Para eso haria grupos de palabras clave y los cotejaria con las urls que posicionan por esas palabras.

Por cierto, mas que palabras son frases, casi todo es long tail.

Y es parecido a lo que yo hice. Fue hace mucho, así que no me acuerdo de los detalles, pero era básicamente agrupar blog posts por categoría, intentando extraer la categoría del post en sí mismo.

Ya teniedno las palabras claves, lo que hicimos fue:

- Quitas stop words.
- Agrupás en n-grams (nosotros usamos trigrams, pero ésa es una de las variables que te va a tocar probar).
- Aplicar k-means.

Al principio nos funcionó bien, pero más o menos raro (raro en el sentido de que agrupaba por frases clave que eran poco intuitivas). Luego de tocásemos los hiperparámetros un poco, al principio de manera automática y luego de manera manual, ya funcionó mejor.

Implementar eso en Spark no lleva mucho, por cierto.

Si no entiendo mal tu usaste el propio texto de los articulos para sacar los topics, no? Yo es que estoy usando las keywords por las que posicionan, no sé si al ser corpus tan cortos influye.

No sé, a ver si me animo hoy a probar, porque si lo consigo es tela de horas de curro que ahorro.

Yo no lo estoy haciendo en spark sino con un etl, básicamente porque es para mí, automtizar el deploy y review de nichos.

El problema del text mining es que es una liada con todo.

[Frank Zappa]

Text mining es un dolor de huevos. Entiendo tu sufrir.

¿Tienes ya la posición de los artículos en cada uno de los keyword? ¿O tienes su posición solo en algunos keywords y muchos de esos keywords se pueden agrupar en una temática? ¿U otra cosa?

[CulitoDeRana]

Text mining es un dolor de huevos. Entiendo tu sufrir.

¿Tienes ya la posición de los artículos en cada uno de los keyword? ¿O tienes su posición solo en algunos keywords y muchos de esos keywords se pueden agrupar en una temática? ¿U otra cosa?

Tengo los datos de search console, básicamente estaba probando con keyword ! Posición.

Me interesaba agrupar las keywords realmente, pero tampoco estoy convencido de que sea lo mejor.

La idea es agrupar articulos que posicionen por temas similares para no dispersar el pagerank, los junto en uno solo y luego posicionan mejor.

Lo que suelo hacer a mano es mirar que keywords posiciono, las agrupo por similitud, y luego en excel con un vlookup miro si me coinciden urls.

El problema es cómo detectar esa similitud y agruparlas automáticamente, que es realmente lo que lleva horas. 

He probado tanto con las tools de orange y de knime pero voy bastante perdido.

[Frank Zappa]

Agrupar las keywords puede funcionar, sí. Si te vas por ese lado: Búscate por internet algún diccionario de word embeddings en español, pasa tus keywords por el diccionario y usa esos vectores para aplicar k-mean.

Otra cosa que yo intentaría es aplicar k-mean sin tus keywords (es decir, tal y como lo implementé yo para los blog posts) y luego buscar los keywords más frequentes en cada bin para comprobar que tienen sentido. Ahí ya debería tener las que son similares.

La primera debería funcionar bien y rápido, asumiendo que encuentras un buen diccionario.

[CulitoDeRana]

Agrupar las keywords puede funcionar, sí. Si te vas por ese lado: Búscate por internet algún diccionario de word embeddings en español, pasa tus keywords por el diccionario y usa esos vectores para aplicar k-mean.

Otra cosa que yo intentaría es aplicar k-mean sin tus keywords (es decir, tal y como lo implementé yo para los blog posts) y luego buscar los keywords más frequentes en cada bin para comprobar que tienen sentido. Ahí ya debería tener las que son similares.

La primera debería funcionar bien y rápido, asumiendo que encuentras un buen diccionario.

Ojalá alguien invente algo que que haga el nlp mas sencillo macho, cada vez que lo toco menudo coñazo xd

Hoy por la tarde probaré a ver.

Oye y cambiando de tema, viste la movida que sacaron los de h2o que te saca movidas automáticamente? Desde el móvil no lo encuentro pero tenía buena pinta

[Frank Zappa]

No, no lo vi. Si lo encuentras pasa link!

A mí NPL me hace sentir muy tonto. Todo el mundo me dice que es muy fácil y yo siempre parezco necesitar muchísimo tiempo para conseguir hacerlo funcionar bien (hacerlo funcionar mal es soberanamente fácil).

[CulitoDeRana]

Creo que es esto

https://www.h2o.ai/driverless-ai/

Mira que flipaos con el dashboard

@hijitus

[CulitoDeRana]

Alguien ha probado gnu octave? Creéis que puede ser útil para tratar con datos?

Por lo visto es una copia de matlab.

[Fluido]

Yo lo usé en algún laboratorio, como dices es como MatLab. Yo usaría Python o R mucho antes que Octave/Matlab.

[Frank Zappa]

Alguien ha probado gnu octave? Creéis que puede ser útil para tratar con datos?

Por lo visto es una copia de matlab.

Mismo que fluido. Dame Python o Julia antes que matlab/octave siempre.

[CulitoDeRana]

Dejo esto aquí porque quiero probarlo, aunque no creo que me quite la adicción a knime

http://r.analyticflow.com/en/

@iselmyr (ponte un puto nick normal) igual deberías probarlo. Controlar el análisis de datos con workflows ayuda mucho a trabajar bien.

[Frank Zappa]

Dejo esto aquí porque quiero probarlo, aunque no creo que me quite la adicción a knime

http://r.analyticflow.com/en/

@iselmyr (ponte un puto nick normal) igual deberías probarlo. Controlar el análisis de datos con workflows ayuda mucho a trabajar bien.

Yo es que pa esas cosas soy muy old school: Análisis estático y dot files. Pero sí te concedo que pinta bien. Le voy a echar un ojo.

Y ta bien, ahora me cambio el nick. Así aprovecho a recordarle a Fara que yo pueod hacerlo.

[Jaime]

Dejo esto aquí porque quiero probarlo, aunque no creo que me quite la adicción a knime

http://r.analyticflow.com/en/

@iselmyr (ponte un puto nick normal) igual deberías probarlo. Controlar el análisis de datos con workflows ayuda mucho a trabajar bien.

Me lo bajo en el curro YA.

Enviado desde mi HTC U Ultra mediante Tapatalk

[CulitoDeRana]

Dejo esto aquí porque quiero probarlo, aunque no creo que me quite la adicción a knime

http://r.analyticflow.com/en/

@iselmyr (ponte un puto nick normal) igual deberías probarlo. Controlar el análisis de datos con workflows ayuda mucho a trabajar bien.

Me lo bajo en el curro YA.

Enviado desde mi HTC U Ultra mediante Tapatalk

Ya me contarás qué tal, pero si te mola apuesto a que Knime es mejor xD

Yo pensaba probarlo porque la peña está muy fan de R y si hago los workflows ahí luego paso el código y tal.

Por cierto, qué puto coñazo es andar a cuestas con python 3 y 4, que si pip y pip3, que si tal y pascual, ahora se me ha quedado pillado pip3 y no rula.

Qué aburrimiento la virgen bendita, luego dicen de windows.

[Batsa]

¿Hay un Python 4? :O

[CulitoDeRana]

¿Hay un Python 4? :O

2 y 3 xd que me colé

[Jaime]

KNime ya lo usé en su día y me parece una castaña.

Enviado desde mi HTC U Ultra mediante Tapatalk

[CulitoDeRana]

KNime ya lo usé en su día y me parece una castaña.

Enviado desde mi HTC U Ultra mediante Tapatalk

Pues ya me dirás por qué xD