gabogabucho/scrapling-skill/scrapling-skill

¿El sitio tiene Cloudflare Turnstile o WAF?
  └─ SÍ → StealthyFetcher (Camoufox headless)
  └─ NO → ¿Necesita JS para renderizar contenido?
            └─ SÍ → DynamicFetcher (Playwright)
            └─ NO → Fetcher (HTTP rápido, TLS fingerprint)

pip install "scrapling[fetchers]"
scrapling install   # descarga browsers (solo primera vez, ~2 min)

from scrapling.fetchers import StealthyFetcher
# v0.4.x: headless va en fetch(), NO en configure()
page = StealthyFetcher.fetch('https://sitio.com/busqueda', headless=True, network_idle=True)
# Extraer elementos
items = page.css('li.resultado')
for item in items:
    titulo = item.css('h2::text').get()
    precio = item.css('.precio::text').get()
    imagen = item.css('img').attrib.get('data-src') or item.css('img').attrib.get('src')
    print(titulo, precio, imagen)

from scrapling.fetchers import StealthyFetcher
from urllib.parse import quote_plus
import time
def buscar_en_ml(query, max_resultados=6):
    url = f"https://listado.mercadolibre.com.ar/{quote_plus(query)}"
    page = StealthyFetcher.fetch(url, headless=True, network_idle=True)
    
    resultados = []
    items = page.css('li.ui-search-layout__item')
    if not items:
        items = page.css('.ui-search-result')
    
    for item in items[:max_resultados]:
        titulo_el = item.css('h2.poly-box a, .poly-component__title, h2 a')
        img_el    = item.css('img.poly-component__picture, img.ui-search-result-image__element, img')
        link_el   = item.css('a.poly-component__anchor, a.ui-search-result__image-anchor, a')
        
        titulo = titulo_el[0].text.strip() if titulo_el else ""
        img_url = ""
        if img_el:
            img_url = img_el[0].attrib.get('data-src') or img_el[0].attrib.get('src', '')
            # Subir resolución ML: reemplazar sufijo de thumbnail
            import re
            img_url = re.sub(r'-[A-Z]\.(?:jpg|webp|png)', '-O.jpg', img_url)
        
        permalink = link_el[0].attrib.get('href', '') if link_el else ""
        
        if titulo:
            resultados.append({'titulo': titulo, 'imagen': img_url, 'url': permalink})
    
    return resultados

from scrapling.fetchers import StealthyFetcher
import time
# Para múltiples búsquedas, reusar el browser es más eficiente
queries = ["horno electrico 30 litros", "freidora de aire 7 litros"]
for query in queries:
    resultados = buscar_en_ml(query)
    print(f"{query}: {len(resultados)} resultados")
    time.sleep(3)  # pausa entre requests — no levantar sospechas

import requests
import os
def descargar_imagen(url, filepath):
    if not url:
        return False
    headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"}
    r = requests.get(url, timeout=15, headers=headers)
    if r.status_code == 200:
        with open(filepath, "wb") as f:
            f.write(r.content)
        return True
    return False
# Las imágenes de CDN (ML, etc.) se descargan con requests simple
# NO necesitan StealthyFetcher
os.makedirs("imagenes", exist_ok=True)
for item in resultados:
    nombre = item['titulo'][:30].replace(' ', '_') + '.jpg'
    descargar_imagen(item['imagen'], f"imagenes/{nombre}")

# Test rápido para verificar que Scrapling funciona
from scrapling.fetchers import StealthyFetcher
page = StealthyFetcher.fetch('https://httpbin.org/headers', headless=True)
print(page.status)  # debe imprimir 200

from difflib import SequenceMatcher
def similitud(a, b):
    return SequenceMatcher(None, str(a).upper(), str(b).upper()).ratio()
# Score > 0.65 → match confiable
# Score 0.35-0.65 → revisar manualmente
# Score < 0.35 → probablemente incorrecto