Extraer la información de productos de otras páginas web es necesario en varias circunstancias.

Una de ellas es cuando el proveedor con el que trabajas no facilita un archivo con todos sus productos. Hay mayoristas que no facilitan el archivo porque no les interesa hacer dropshipping. Su negocio se basa en que sus clientes les compren grandes cantidades y las almacenen. Sin embargo, para muchos negocios que están empezando no es viable almacenar productos antes de venderlos.

Si el proveedor no facilita un archivo con todos su productos, no queda otra que copiárselos de su página web. Hacer este trabajo manualmente es muy lento y costoso. SI estamos hablando de miles de productos, no es viable copiarlos manualmente. Si además tenemos que estar pendiente todos los días de actualizar el stock y precio, es totalmente inviable.

Gracias al scrapping podemos hacer que este trabajo repetitivo lo haga una máquina.

Cómo funciona el scrapping

El scrapping se resume en un algoritmo capaz de realizar peticiones por todo internet y extraer de ellas la información alojada en esas páginas.

Podemos tener un listado de URLs de miles de productos y programar el algoritmo para extraer la información y clasificarla en: imágenes, nombre, descripción, EAN, PARTNUMBER, ASIN, Ficha técnica, categoría, marca, etc...

¿Es legal el Scrapping?

No es ilegal. Hay millones de algoritmos recorriendo internet y almacenando información de páginas web.

Los algoritmos más conocidos de scrapping son los de los buscadores.

Google almacena millones y millones de datos de páginas web.

cómo sincronizar nuestro stock con el del proveedor

Una vez tengamos guardada la URL de cada producto, podremos acceder a ellas automáticamente y volver a descargar la información.

Periódicamente (ya sea cada día, cada semana, cada hora, etc...) realizaremos una petición a la URL del producto, descargaremos toda la página y de ahí sacaremos la información de stock y precio.

Es preciso tener en cuenta que cada petición tiene un coste.

¿Es dificil el scrapping?

Hacer scrapping no es complicado si la web que deseas escrapear no te bloquea el acceso.

Por ejemplo, la web de Amazon te bloquea cuando realizar cientos de peticiones seguidas.

Existen técnicas que sirven para evitar el bloqueo.

Una de ellas es comprar miles de direcciones IP y utilizarlas como un proxy. De esta forma distribuiremos las peticiones entre todas esas direcciones IP y Amazon tendrá más complicado bloquearnos.

¿Y si hay que loguearse para extraer el stock y el precio?

No hay problema. Con tu usuario y contraseña podemos loguearnos en la web y extraer la información.

En este caso es necesario hacer 2 peticiones para cada producto.

Y si el producto tiene combinaciones, ¿Cada combinación es una petición más?

La mayoría de las veces la información de las combinaciones está en la misma página del producto. Con lo cual, solo hay que hacer una petición para extraer la información de las combinaciones.