This is How I Scrape 99% of Sites

Summary

En este video, se explica cómo realizar scraping de datos en sitios web de comercio electrónico, centrándose en la identificación de la API backend que hidrata la información en el frontend. Se muestra el uso de herramientas como la consola de Chrome y técnicas avanzadas para extraer datos en formato JSON, incluyendo la disponibilidad de productos y precios. Además, se mencionan soluciones para evitar bloqueos mediante proxies de alta calidad. El autor demuestra cómo automatizar este proceso utilizando bibliotecas como Curl cffi y Python, con un enfoque en la extracción eficiente y respetuosa de datos públicos.

Takeaways

• 🔍 La clave para realizar scraping exitoso en sitios de e-commerce es encontrar la API del backend que proporciona los datos del frontend.
• 🛠️ Utilizar las herramientas de inspección de red en Chrome, especialmente el filtrado por 'Fetch XHR', es esencial para encontrar respuestas en formato JSON.
• 💡 Es importante no extraer directamente el HTML, sino buscar los puntos finales de la API que entregan los datos necesarios.
• 🌍 El uso de proxies, como los de Proxy Scrape, es crucial para evitar bloqueos al realizar scraping a gran escala.
• 📄 Los proxies residenciales y móviles son ideales para superar las protecciones antibot de los sitios web.
• 📈 La personalización de los parámetros de búsqueda en la API, como el 'start index', permite manipular los resultados de búsqueda de manera eficiente.
• 🧰 Es importante modelar los datos obtenidos utilizando herramientas como Pydantic para organizar y procesar la información de manera efectiva.
• 👨‍💻 Al utilizar bibliotecas como Curl CFFI, se puede evitar el bloqueo por 'TLS fingerprinting' y obtener una respuesta exitosa del servidor.
• ⚙️ Después de obtener los datos de la API, el siguiente paso es integrarlos en el código mediante la automatización con funciones en Python.
• 📊 Es crucial ser considerado con la cantidad de datos extraídos y evitar sobrecargar los servidores para no ser bloqueado.

Q & A

¿Cuál es la técnica principal que se menciona para realizar scraping de sitios web de comercio electrónico?

La técnica principal es identificar el API backend que el sitio utiliza para llenar la interfaz, en lugar de intentar extraer directamente el HTML.

¿Por qué no es recomendable intentar extraer enlaces o datos del HTML de un sitio web?

Porque muchos sitios web cargan datos dinámicamente a través de APIs backend y el HTML por sí solo no contiene toda la información necesaria para el scraping.

¿Qué herramienta se utiliza en Chrome para inspeccionar las solicitudes de red de un sitio web?

Se utiliza la herramienta de 'Inspect' de Chrome, específicamente la pestaña 'Network', filtrando las solicitudes Fetch/XHR y enfocándose en las respuestas JSON.

¿Cuál es el propósito de usar proxies al realizar scraping de datos a gran escala?

Los proxies ayudan a evitar ser bloqueados por los sitios web al permitir rotar direcciones IP o mantener sesiones prolongadas con una IP, lo cual es útil para superar las protecciones antibots.

¿Qué tipo de datos se puede obtener de las respuestas JSON del API de un sitio de comercio electrónico?

Se puede obtener información como disponibilidad del producto, números de SKU, imágenes, precios y metadatos.

¿Cómo se encuentran los códigos de productos para realizar peticiones al API de un sitio web?

Los códigos de productos se pueden obtener navegando por categorías o utilizando la función de búsqueda del sitio web, y luego observando las solicitudes que aparecen en la pestaña de red del navegador.

¿Qué se necesita para superar el bloqueo de solicitudes al API usando 'curl' o 'requests' en Python?

Es necesario usar herramientas como 'curl cffi' para replicar correctamente la huella digital TLS del navegador, lo que ayuda a que las solicitudes parezcan legítimas y no sean bloqueadas.

¿Cómo se puede modelar los datos obtenidos de un API de manera eficiente en Python?

Se pueden utilizar modelos como 'Pydantic' para estructurar los datos en objetos, lo que facilita la manipulación y comprensión de los datos extraídos del API.

¿Por qué es importante usar encabezados como el 'User-Agent' al realizar scraping?

El 'User-Agent' permite que las solicitudes parezcan como si vinieran de un navegador real, lo que puede ayudar a evitar bloqueos o restricciones impuestas por el sitio web.

¿Cuál es el consejo del autor sobre cómo manejar la extracción de datos sin ser bloqueado?

El autor recomienda ser cuidadoso y no hacer demasiadas solicitudes rápidamente, ya que esto podría hacer que el sitio web bloquee la dirección IP. Es mejor extraer solo los datos necesarios de manera controlada.