Creciente tendencia de WEB SCRAPING

• Ahora, las herramientas gratuitas y/o asequibles están poniendo los datos de búsqueda a disposición de cualquier SEO con unos cuantos dólares de sobra. 
• Puedes comprar datos raspados. Puedes comprar datos de panel.

WEB SCRAPING

Si está interesado en la compra de sitios en serio, podría haber considerado comprar datos analíticos independientemente de la compra de un sitio, directamente del propietario del sitio o de otros en el nicho.

Entonces la pregunta es: ¿qué valor se puede extraer a largo plazo de esta tendencia hacia la mercantilización de datos?

Término corto, aquellas personas que venden los datos directamente o los usan para ajustar sus algoritmos de PPC y vender clics más caros tienen muy bien resuelta la extracción de valor. Por lo tanto, tratar de lanzarse ahora con un negocio de imitación probablemente lo convertiría en un imitador o idiota.

En cualquier caso, si aporta valor de forma inmediata y sólo extraer valor a largo plazo, sus beneficios serán mucho mayores (idea parafraseada de Aaron Wall). Y la tendencia solo está acelerando a medida que comienza Google Suggest. ayudándole a obtener datos protegidos por derechos de autor de forma gratuita.

A mediano plazo,  las personas podrán agregar valor auditando la calidad de los datos.

Si pueden automatizar formas para auditar la calidad de los datos, mucho mejor porque entonces pueden escalar su negocio fácilmente.

Por supuesto, la auditoría automatizada solo puede llegar hasta cierto punto.  Scott Hendison creó una nueva herramienta que te ayuda con analizando los factores de SEO en la página en tu sitio. Es útil para cosas básicas, pero si desea profundizar en el análisis, es necesario un par de ojos humanos. Es probable que se diga lo mismo de las nuevas herramientas creadas para auditar la calidad de los datos.

De una manera particular, la auditoría de datos podría ser la auditoría de análisis por el bien de la publicidad y la compra/venta del sitio.

WEB SCRAPING

Para publicidad puedo pensar en tres aplicaciones particulares que serían útiles, ¡y me encantaría escuchar cualquier idea que tenga!

1. Una aplicación obvia sería verificar los datos de la tarjeta de tarifas. Los editores con datos verificados podrían obtener una ventaja competitiva sobre los editores cuyos datos no están verificados.
2. Los anunciantes también pueden hacer que se verifiquen los detalles. Por ejemplo, cuánto tráfico de búsqueda atrae un sitio a través de palabras clave relevantes para el anunciante (este tráfico generalmente genera buenas conversiones para los anunciantes), o cuál es el CTR histórico promedio para los anuncios en un sitio en particular (muy importante para las ofertas de CPM), etc.
3. Un tercer elemento sería crear una herramienta que determine qué porcentaje de visitantes se comparte entre los sitios. El propósito de esto es aumentar la efectividad de los anuncios mostrándolos a la misma audiencia repetidamente, lo que hace que sea más probable que el mensaje sea recordado/actuado. Es posible ejecutar esta idea barata de «retargeting» basada en datos fuera de enlace (es decir, retargeting a la misma audiencia que inicialmente), pero si tiene las idas y venidas reales del tráfico, ¡entonces está listo!

Para la compra de sitios, creo que las empresas podrían establecerse en torno a la prestación de servicios de verificación de análisis y diligencia debida. Incluso podría haber un  boletín con sitios que fueron auditados y verificados. Otra ruta sería establecer una agencia de auditoría especializada para atender el mercado de compra/venta de sitios. Esto debería ayudar a suavizar las transacciones y estandarizar los procesos para las compras en el sitio por encima de cierto tamaño.

La clave del éxito con esta auditoría de datos será extraer procesable conocimiento de los datos.

La minería de datos crecerá a medida que el volumen de datos supere a los analistas tradicionales.

Los analistas recurrirán a herramientas que les ayuden a comprender esto y a determinar qué hacer en función de los datos disponibles. Simultáneamente, a medida que el costo de los datos se acerca a cero, los servicios de minería de datos serán un servicio valioso que cada vez más personas considerarán.

Sé por charlar con cierto caballero en el camino de regreso de SMX Advanced que Tecnologías visibles (que no debe confundirse con Visual Sciences, un programa de análisis web potente pero nada fácil de usar), hogar de nada menos que el brillante Todd Friesen están usando Minería de datos QL2. Las principales empresas de marketing de búsqueda ya se están asociando con analistas de datos…

WEB SCRAPING

Otras implicaciones variadas de que los datos se conviertan en una mercancía:

Colusión en el precio de los anuncios – Los anunciantes pueden coludirse para fijar el precio de los anuncios y/o hacer que el mercado de PPC sea más abierto. Los minoristas que no participan y/o no comparten sus datos se verán presionados por sus mayoristas, ellos mismos bajo la presión de los otros minoristas que participan en el intercambio de datos y que son suministrados por los mismos mayoristas.

sitios MFUT – Después de los sitios Made-For-Adsense (MFA), aquí viene el sitio Made-For-Useless-Traffic. Piense en el bloguero inmobiliario que le vende sus datos de tráfico de búsqueda. Luego podría optimizar el tráfico de búsqueda de imágenes para aumentar sus ganancias.

Eso se puede solucionar excluyendo la compra de tráfico no relevante para la industria, dentro del contrato de compra de datos. Sin embargo, estas formas de exclusión también corren el riesgo de cerrar los ojos del anunciante a nuevos mercados de los que podrían obtener enlaces y construir su distribución.

Contaminación del flujo de datos – Como escribí hace mucho tiempo en mi primera columna de Scratchpad, la gente jugará cada vez más con los análisis de sus competidores. Siempre ha habido spam de referencia, claro, pero SEOmoz cubrió recientemente bots malos spam análisis web solo para meterse con la gente.

A medida que esta contaminación del flujo de datos se vuelva más frecuente, surgirán servicios para combatir estas tácticas y hacerlas más prohibitivas. Piense en el equivalente de mercantilización de datos de las guerras virus/antivirus.

El largo brazo de la ley se alarga – Algunos grupos que muy probablemente se verán afectados incluyen las fuerzas del orden y las fuerzas armadas, que probablemente se asocien con ISP y proveedores de servicios proxy.

Junto con esto, y para luchar contra los spammers que promueven basura desagradable como la pornografía infantil, surgirán complementos para reenviar automáticamente dicho spam de comentarios en estos mercados a las agencias de aplicación de la ley. Luego, las agencias deberán enviar los datos a través de programas de extracción de datos y programas centrados en el reconocimiento de patrones.

El primer complemento del FBI para WordPress será un golpe de relaciones públicas y una gran herramienta en su arsenal contra los pedófilos y el abuso infantil.

Consolidación vertical y horizontal de la industria de datos – Por supuesto, si tenemos demasiado de algo bueno… vomitamos. A medida que aumente la oferta de datos, algunos proveedores de datos se hundirán y el mercado se consolidará y estabilizará hasta cierto punto. Eso debería hacer que la compra de datos sea más conveniente, pero también más costosa.

Los proveedores de datos más exitosos, en mi humilde opinión, lo empaquetarán junto con servicios de valor agregado como análisis, auditoría, estimaciones de frecuencia/reorientación del tráfico compartido, etc. Y los SEO deberán ser más inteligentes para que podamos realizar las acciones más efectivas en el momento. tiempo más temprano posible.

Aquí hay algunos elementos de acción en los que puede trabajar después de leer esta publicación:

1) Vaya a comprar una membresía de un día en Spyfu, u obtenga algunas docenas de créditos en Compete y ejecute un montón de informes diferentes sobre su(s) sitio(s) y sus competidores. Escriba un análisis y escriba 5 ideas prácticas basadas en el análisis. Tu puntuación: una bonificación del jefe.

2) Codificar el programa de informes para las agencias de aplicación de la ley y hacer que envíe las alertas de spam de pedófilos a las agencias de aplicación correspondientes. Tu puntuación: ¡1000 enlaces de sitios web gubernamentales!

3) Encuentra una mejor manera de actuar de lo que mi mente estéril puede pensar y compártela en los comentarios.

4) ¡Crea un negocio basado en una de las ideas anteriores (y haz una donación a mi «Fundación para mejorar la cuenta bancaria de Gab» 😉)! Si ya lo eres, me encantaría saber cómo se te ocurrió la idea y en qué te enfocas. Puedo guardarlo para mí si es posible, pero cualquier cosa que puedas compartir públicamente sería increíble (además, puedo darte enlaces, como dije 🙂).