Ár- és készletfigyelés védett webhelyeken

Az árfigyelés csak akkor hasznos, ha a szolgáltatás tényleg eléri azokat a webhelyeket, amelyeket követni szeretnél. Sok webáruház aktívan blokkolja az automatizált látogatókat. Egy olcsó figyelőeszköz az egyszerű oldalakról még gond nélkül begyűjtheti az árakat, de kudarcot vallhat, amint egy nagy kereskedő szigorúbb védelmet vezet be.

A PriceZagnál a nehezen elérhető, botvédelemmel ellátott webhelyek figyelése a munkánk egyik fő területe, nem alkalmi probléma, amelynek megoldását az ügyfeleinkre hagyjuk. Valódi böngészőkre épülő infrastruktúrába, speciális hardverbe, nagy IP-címkészletbe és olyan rendszerekbe fektettünk be, amelyek nehéz elérés esetén újra próbálkoznak. Ennek az infrastruktúrának az előnyeit az ár- és készletfigyelési szolgáltatás részeként élvezheted.

Miért nehéz figyelni egyes webáruházakat?

A kereskedők meg akarják védeni webhelyeiket a visszaélésszerű forgalomtól, a készletek felhalmozásától, a támadásoktól és a nem kívánt automatizált kérésektől. Sokan olyan szolgáltatásokat használnak, mint a Cloudflare, az Akamai, a DataDome vagy az Imperva, amelyek felismerik a botokat, ellenőrzik a gyanús látogatókat, vagy blokkolják a kéréseket.

Ezek a védelmek a versenytársak árainak jogszerű figyelését is megnehezíthetik. Egy egyszerű szkript termékoldal lekérésekor az ár helyett ellenőrző képernyőt kaphat. Más oldalak nagymértékben támaszkodnak a JavaScriptre, vagy a látogató országától függően eltérő árakat és elérhetőséget jelenítenek meg.

Ez egy nagyon is gyakorlati problémát okoz: éppen azokat a kereskedőket lehet a legnehezebb elérni, akiket a legfontosabb lenne figyelned. Egy csak az egyszerű webhelyeken jól működő szolgáltatás pont ott hagyhat hiányokat a versenytársakról gyűjtött adataidban, ahol a legnagyobb szükséged lenne rájuk.

Így figyeli a PriceZag a védett webhelyeket

Nem egyszerűen letölthető fájlokként kezeljük a webáruházak oldalait. Az infrastruktúránkat arra építettük, hogy valódi termékoldalakat töltsön be, kiolvassa az árakat és a készleteket, és kezelje a modern kereskedelmi webhelyek sajátosságait. A munka egy része a háttérben zajlik:

• Valódi grafikus böngészők JavaScript-támogatással. A termékoldalakat teljes értékű, nem headless módban futó böngészőkkel látogatjuk meg, amelyek megjelenítik a webhelyet és futtatják a JavaScript-kódját. Így olyan tartalmakat is ki tudunk olvasni, amelyek egy egyszerű HTML-lekérésből hiányozhatnak.
• Valódi hardver és különféle GPU-k. Saját szervereinken mi szabályozzuk a böngészők hardverkörnyezetét, többféle grafikus processzort is használva. Ez segít elkerülni a szabványos felhőkörnyezetekre jellemző, egységes böngészőujjlenyomatokat. Nem a kedvező árú crawlerek által gyakran használt virtualizált konfigurációkra támaszkodunk.
• Több ezer IP-cím különböző szolgáltatóktól. A nagy és változatos IP-címkészlet több lehetőséget ad, ha egy webhely elutasítja az adott forrásból érkező forgalmat. Egyetlen vállalkozás számára több ezer IP-címet fenntartani csak a webhelyek figyeléséhez drága és gazdaságilag nehezen indokolható lenne. Mivel ezt az infrastruktúrát a PriceZag több ezer ügyfele között osztjuk meg, megfizethetően biztosíthatjuk az előfizetés részeként.
• A kereskedők piacához igazított látogatások. A webhely célközönsége alapján az Egyesült Államokban, Ausztráliában vagy az Egyesült Királyságban lévő infrastruktúránkból választjuk ki a megfelelő helyszínt. Ha a célországban nincs jelenlétünk, megfelelő közeli helyszínt keresünk. Ez abban is segít, hogy a webhely a várt pénznemet, árakat és készletadatokat mutassa.
• Intelligens újrapróbálkozások és folyamatos fejlesztés. Ha egy oldal nem töltődik be, vagy nem ad érvényes árat, rendszerünk más erőforrásokkal is megpróbálhatja újra. Fejlesztőink egész évben folyamatosan javítják, hogyan kezeljük a változó webhelyeket és botvédelmi rendszereket.

Santa Monica-i székhelyünk, a közeli Google-kampusz és az élénk helyi technológiai közösség segített abban, hogy tapasztalt mérnökökből álló csapatot építsünk, amely ezekre a nehéz webhelyfigyelési feladatokra összpontosít. A technológia fejlesztése és folyamatos tökéletesítése 2016 óta munkánk egyik alapvető része.

A háttérben ennél jóval több minden történik, de nem kell a böngészőujjlenyomatokat, IP-hálózatokat vagy botellenőrzéseket tanulmányoznod csak azért, hogy figyelhesd a versenytársaid árait. Ez a mi feladatunk.

Mi történik, ha egy webhely blokkol egy látogatást?

Egy sikertelen próbálkozás nem jelenti automatikusan, hogy a termék egyáltalán nem figyelhető. Rendszerünk újra megpróbálhatja betölteni az oldalt, módosíthatja a látogatás módját, és később is folytathatja az ellenőrzést. Ezekért a további próbálkozásokért nem számítunk fel külön díjat. A figyelt URL-ek után fizetsz, nem minden egyes böngésző vagy IP-cím után, amelyet ki kell próbálnunk.

Egyes webhelyek ennek ellenére is nehezen elérhetők maradhatnak. Az adataik ritkábban frissülhetnek, és előfordulhat, hogy egy oldalról egyáltalán nem tudunk megbízható adatokat kinyerni. Nem állítjuk, hogy minden védett webhely minden alkalommal tökéletesen működik.

A PriceZag nem rejti el ezeket a problémákat, hanem követi a figyelt URL-ek állapotát. A fiókodban a Reports & Sheets > Domains > Sick URLs alatt megtalálod azokat az oldalakat, amelyek lekérése nemrég meghiúsult, vagy ismételten sikertelen. Így megkülönböztetheted az átmeneti hibát a külön figyelmet igénylő oldaltól. Ha egy adott kereskedő különösen fontos számodra, csapatunk kivizsgálhatja a problémát.

Teljesebb ár- és készletadatok, bizonyítékokkal

A technológia egyetlen gyakorlati célt szolgál: hogy több, a vállalkozásod számára fontos webhelyről juthass hasznos versenytársi ár- és készletadatokhoz. Miután sikeresen kiolvastunk egy termékoldalt, az adatokat felhasználhatod értesítésekhez, Excel- és CSV-riportokhoz, átárazási szabályokhoz, előzménygrafikonokhoz és az API-n keresztül is.

Nem kell pusztán elhinned az általunk jelzett számokat. Minden sikeres oldallátogatásról nagy felbontású képernyőképet készítünk, amely megmutatja, mit látott a böngészőnk. A kereskedő ára melletti kameraikonra kattintva megnézheted a rögzített oldalt, és ellenőrizheted, hogy helyesen olvastuk-e ki az árat. A képernyőképek előzményeit körülbelül egy hónapig őrizzük meg.

Ez az átláthatóság különösen fontos a nehezen elérhető webhelyeken, ahol az oldalak váratlanul megváltozhatnak, vagy különböző látogatóknak eltérő információkat mutathatnak. Ellenőrizheted, mit kaptunk valójában, ahelyett hogy egy adatbázisban szereplő, magyarázat nélküli árra hagyatkoznál.

Ne csak a mi szavunkra adj. Hasonlítsd össze!

Ha árfigyelő szolgáltatásokat hasonlítasz össze, próbáld ki ugyanazokat a termék-URL-eket a PriceZaggal és egy másik szolgáltatóval. A valóban fontos nagy kereskedőket és nehezen hozzáférhető webhelyeket is vedd bele, ne csak néhány könnyen elérhető boltot.

1. Ugyanazokat a termékeket teszteld. Mindegyik szolgáltatáshoz adj hozzá egy reprezentatív válogatást kereskedői termékoldalakból.
2. Az eredményeket ellenőrizd. Mindegyik szolgáltatás megtalálja a helyes árat, pénznemet és készletet? Képernyőképpel is tudod ellenőrizni az eredményt?
3. Nézd meg újra több napon keresztül. Az első sikeres látogatás hasznos, de csak a rendszeres, megbízható figyelés ad használható előzményeket, értesítéseket és riportokat.

Bátorítunk az összehasonlításra. A 14 napos ingyenes próbaidőszak alatt akár 200 terméket is figyelhetsz bankkártya nélkül. Kezdd azokkal a webhelyekkel, amelyek más eszközöknek gondot okoztak, és győződj meg magad a PriceZag teljesítményéről.

Gyakori kérdések