Sledování cen a zásob na chráněných webech

Sledování cen má smysl jen tehdy, když se služba skutečně dostane na weby, které potřebujete sledovat. Mnohé e-shopy aktivně blokují automatizované návštěvníky. Levný nástroj může bez problémů sbírat ceny na jednoduchých stránkách, ale selhat, jakmile velký prodejce zavede přísnější ochranu.

V PriceZagu je sledování obtížně přístupných webů chráněných proti botům důležitou součástí naší práce, nikoli občasným problémem, který necháváme na zákaznících. Investovali jsme do infrastruktury skutečných prohlížečů, specializovaného hardwaru, rozsáhlé sítě IP adres a systémů, které zkoušejí další možnosti, když je web obtížně přístupný. Tuto infrastrukturu využíváte v rámci sledování cen a skladové dostupnosti.

Proč se některé e-shopy obtížně sledují

Prodejci chtějí své weby chránit před zneužívajícím provozem, hromadným vykupováním zásob, útoky a nevyžádanými automatizovanými požadavky. Mnozí používají služby jako Cloudflare, Akamai, DataDome nebo Imperva, které rozpoznávají boty, prověřují podezřelé návštěvníky nebo blokují požadavky.

Taková ochrana může zkomplikovat i legitimní sledování cen konkurence. Jednoduchý skript si může vyžádat stránku produktu, ale místo ceny dostane ověřovací obrazovku. Jiné stránky silně spoléhají na JavaScript nebo zobrazují různé ceny a dostupnost podle země, odkud se návštěvník připojuje.

Vzniká tím praktický problém: prodejci, které chcete sledovat nejvíce, mohou být zároveň nejhůře dostupní. Služba, která spolehlivě funguje jen na jednoduchých webech, vám může nechat mezery v údajích o konkurenci právě tam, kde je nejvíce potřebujete.

Jak PriceZag sleduje chráněné weby

Stránky e-shopů nepovažujeme za obyčejné soubory ke stažení. Naše infrastruktura dokáže načíst skutečné produktové stránky, zjistit jejich ceny a zásoby a vypořádat se s podmínkami moderních prodejních webů. Část práce probíhá na pozadí:

• Skutečné grafické prohlížeče s JavaScriptem. Produktové stránky navštěvujeme plnohodnotnými prohlížeči, nikoli v režimu headless. Ty vykreslují web a spouštějí jeho JavaScript. Díky tomu dokážeme přečíst i obsah, který v jednoduché HTML odpovědi nemusí být.
• Skutečný hardware a různé GPU. Na vlastních serverech máme kontrolu nad hardwarem, na kterém prohlížeče běží, včetně různých grafických procesorů. To pomáhá zabránit jednotným otiskům prohlížeče typickým pro standardní cloudová prostředí. Nespoléháme na virtualizované konfigurace běžné u levných crawlerů.
• Tisíce IP adres od různých poskytovatelů. Velká a rozmanitá zásoba adres nám dává více možností, když web odmítá provoz z určitého zdroje. Udržovat vlastní tisíce IP adres jen pro sledování webů jediné firmy by bylo drahé a ekonomicky obtížně obhajitelné. Díky sdílení této infrastruktury mezi tisíci zákazníků PriceZagu ji můžeme nabídnout za dostupnou cenu v rámci předplatného.
• Návštěvy přizpůsobené trhu prodejce. Podle cílového trhu webu vybíráme vhodné umístění naší infrastruktury ve Spojených státech, Austrálii nebo Spojeném království. Pokud v dané zemi umístění nemáme, zvolíme vhodnou blízkou alternativu. To také pomáhá získat očekávanou měnu, ceny a údaje o skladové dostupnosti.
• Inteligentní opakování pokusů a průběžné zlepšování. Pokud se stránka nenačte nebo neposkytne platnou cenu, náš systém to může zkusit znovu s jinými prostředky. Naši vývojáři po celý rok průběžně zlepšují postupy pro měnící se weby a systémy ochrany proti botům.

Naše sídlo v Santa Monice, poblíž kampusu společnosti Google a silné místní technologické komunity, nám pomohlo vybudovat tým zkušených inženýrů zaměřených na tyto náročné úkoly při sledování webů. Vývoj a neustálé zdokonalování této technologie patří od roku 2016 k hlavním oblastem naší práce.

Na pozadí se toho odehrává ještě mnohem více. Neměli byste se však muset učit o otiscích prohlížečů, IP sítích nebo kontrolách proti botům jen proto, abyste mohli sledovat ceny konkurence. O to se staráme my.

Co se stane, když web zablokuje návštěvu?

Neúspěšný pokus automaticky neznamená, že produkt nelze sledovat. Náš systém se může pokusit stránku načíst znovu, upravit způsob přístupu a pokračovat v kontrolách. Za tyto další pokusy nic navíc neúčtujeme. Platíte za sledované URL adresy, nikoli za každý prohlížeč nebo IP adresu, kterou musíme vyzkoušet.

Některé weby zůstávají obtížně dostupné i přes naši snahu. Údaje z nich se mohou aktualizovat méně často a někdy z určité stránky nezískáme spolehlivé informace vůbec. Netvrdíme, že každá chráněná stránka funguje pokaždé dokonale.

PriceZag tyto problémy neskrývá, ale sleduje stav monitorovaných URL adres. Ve svém účtu najdete v části Reports & Sheets > Domains > Sick URLs stránky, jejichž načtení v poslední době selhalo nebo selhává opakovaně. Snadněji tak rozlišíte dočasný problém od stránky, která vyžaduje pozornost. Pokud je pro vás konkrétní prodejce obzvlášť důležitý, náš tým může situaci prošetřit.

Úplnější údaje o cenách a zásobách, s důkazy

Veškerá tato technologie má jeden praktický cíl: pomoci vám získávat užitečné údaje o cenách a zásobách konkurence z více webů důležitých pro vaše podnikání. Jakmile se nám podaří produktovou stránku přečíst, můžete tyto informace využít pro upozornění, Excelové a CSV reporty, pravidla automatického přeceňování, historické grafy nebo prostřednictvím API.

Nemusíte ani slepě důvěřovat číslům, která uvádíme. Každou úspěšnou návštěvu stránky dokumentujeme snímkem obrazovky ve vysokém rozlišení, který ukazuje, co viděl náš prohlížeč. Kliknutím na ikonu fotoaparátu vedle ceny prodejce si zobrazíte zachycenou stránku a ověříte správnost načtené ceny. Historii snímků uchováváme přibližně jeden měsíc.

Tato průkaznost je důležitá zejména u náročných webů, kde se mohou stránky neočekávaně měnit nebo různým návštěvníkům ukazovat odlišné informace. Můžete si ověřit, co jsme skutečně získali, místo abyste spoléhali na nevysvětlenou cenu v databázi.

Nevěřte nám jen na slovo. Porovnejte sami.

Pokud porovnáváte služby pro sledování cen, vyzkoušejte stejné URL adresy produktů s PriceZagem i jiným poskytovatelem. Zahrňte velké prodejce a náročné weby, které jsou pro vás skutečně důležité, ne jen několik snadno dostupných obchodů.

1. Otestujte stejné produkty. Do každé služby přidejte reprezentativní výběr produktových stránek prodejců.
2. Zkontrolujte skutečné výsledky. Zjistí každá služba správnou cenu, měnu a skladovou dostupnost? Můžete výsledky ověřit pomocí snímku obrazovky?
3. Vraťte se k výsledkům po několika dnech. Úspěšná první návštěva je užitečná, ale teprve pravidelné a spolehlivé sledování vám poskytne využitelnou historii, upozornění a reporty.

Srovnání vítáme. Naše bezplatná 14denní zkušební verze vám umožní sledovat až 200 produktů bez kreditní karty. Začněte weby, se kterými měly jiné nástroje problémy, a sami uvidíte, jak si PriceZag vede.

Časté otázky