Overvåking av priser og lagerstatus på beskyttede nettsteder

PriceZag overvåker priser og lagerstatus på mange nettbutikker med botbeskyttelse ved hjelp av ekte nettlesere, variert maskinvare, tusenvis av IP-adresser og smarte nye forsøk.

Skrevet av Jeff M. Produktstrateg med spesialisering i prissetting hos PriceZag

7 min lesetid

Prisovervåking er bare nyttig hvis tjenesten faktisk kan nå nettstedene du vil overvåke. Mange nettbutikker blokkerer aktivt automatiserte besøkende. Et rimelig overvåkingsverktøy kan hente priser fra enkle nettsteder, men mislykkes når en stor forhandler innfører strengere beskyttelse.

Hos PriceZag er overvåking av vanskelig tilgjengelige nettsteder med botbeskyttelse en viktig del av arbeidet vårt, ikke et sporadisk problem vi overlater til kundene. Vi har investert i infrastruktur med ekte nettlesere, spesialisert maskinvare, en stor samling IP-adresser og systemer som fortsetter å prøve når et nettsted er vanskelig å nå. Du får nytte av denne infrastrukturen som en del av overvåkingen av priser og lagerstatus.

Hvorfor enkelte nettbutikker er vanskelige å overvåke

Forhandlere vil beskytte nettstedene sine mot misbruk av trafikk, oppkjøp og hamstring av varelager, angrep og uønskede automatiserte forespørsler. Mange bruker tjenester som Cloudflare, Akamai, DataDome eller Imperva for å oppdage boter, kontrollere mistenkelige besøkende eller blokkere forespørsler.

Denne beskyttelsen kan også påvirke legitim overvåking av konkurrentpriser. Et enkelt skript kan be om en produktside og få en verifiseringsside i stedet for en pris. Andre sider er sterkt avhengige av JavaScript eller viser ulike priser og lagerstatus avhengig av hvilket land den besøkende kobler seg til fra.

Det skaper et praktisk problem: Forhandlerne du helst vil overvåke, kan også være de vanskeligste å nå. En tjeneste som bare fungerer godt på enkle nettsteder, kan etterlate hull i konkurrentdataene akkurat der du trenger dem mest.

Slik overvåker PriceZag beskyttede nettsteder

Vi behandler ikke nettbutikksider som enkle filer som bare skal lastes ned. Infrastrukturen vår er bygget for å laste inn ekte produktsider, lese av priser og lagerstatus og håndtere forholdene på moderne nettbutikker. Noe av arbeidet foregår i bakgrunnen:

  • Ekte grafiske nettlesere med JavaScript. Vi besøker produktsider med fullverdige, grafiske nettlesere i stedet for headless-nettlesere. De viser nettstedet og kjører JavaScript. Dette hjelper oss med å lese innhold som kanskje ikke finnes i en enkel HTML-forespørsel.
  • Ekte maskinvare og ulike GPU-er. Våre egne servere gir oss kontroll over maskinvaren nettleserne bruker, inkludert forskjellige grafikkprosessorer som bidrar til å unngå de ensartede nettleserfingeravtrykkene som er vanlige i standard skymiljøer. Vi er ikke avhengige av de virtualiserte oppsettene som rimelige crawlere ofte benytter.
  • Tusenvis av IP-adresser fra flere leverandører. En stor og variert samling adresser gir oss flere muligheter når et nettsted avviser trafikk fra en bestemt kilde. Å vedlikeholde tusenvis av IP-adresser på egen hånd, bare for å overvåke nettsteder for én virksomhet, ville vært dyrt og vanskelig å forsvare økonomisk. Ved å dele infrastrukturen mellom tusenvis av PriceZag-kunder kan vi gjøre denne kapasiteten rimelig som en del av abonnementet.
  • Besøk tilpasset hver forhandlers marked. Vi velger en egnet plassering i infrastrukturen vår i USA, Australia eller Storbritannia, basert på nettstedets målgruppe. Hvis vi ikke har en plassering i det aktuelle landet, velger vi et passende alternativ i nærheten. Det bidrar også til at nettstedene viser forventet valuta, priser og lagerinformasjon.
  • Smarte nye forsøk og løpende forbedringer. Hvis en side ikke lastes inn eller ikke gir en gyldig pris, kan systemet vårt prøve igjen med andre ressurser. Utviklerne våre forbedrer kontinuerlig, gjennom hele året, hvordan vi håndterer nettsteder som endrer seg, og antibotsystemer.

Beliggenheten vår i Santa Monica, nær en Google-campus og et sterkt lokalt teknologimiljø, har hjulpet oss med å bygge et team av erfarne ingeniører som arbeider med disse krevende utfordringene innen nettstedsovervåking. Utvikling og kontinuerlig forbedring av denne teknologien har vært en sentral del av arbeidet vårt siden 2016.

Det skjer mye mer bak kulissene, men du bør ikke måtte lære om nettleserfingeravtrykk, IP-nettverk eller botkontroller bare for å overvåke prisene til en konkurrent. Det er vår jobb.

Hva skjer når et nettsted blokkerer et besøk?

Et mislykket forsøk betyr ikke automatisk at produktet er umulig å overvåke. Systemet vårt kan prøve siden på nytt, justere hvordan den besøkes og fortsette å sjekke den over tid. Vi tar ikke ekstra betalt for disse forsøkene. Du betaler for URL-ene du overvåker, ikke for hver nettleser eller IP-adresse vi må prøve.

Noen nettsteder forblir vanskelige til tross for innsatsen. Dataene deres kan bli oppdatert sjeldnere, og av og til kan vi ikke hente pålitelig informasjon fra en side i det hele tatt. Vi hevder ikke at alle beskyttede nettsteder fungerer perfekt hver gang.

I stedet for å skjule problemene følger PriceZag statusen for de overvåkede URL-ene. I kontoen din viser Reports & Sheets > Domains > Sick URLs sider der besøk nylig har mislyktes eller mislykkes gjentatte ganger. Da blir det enklere å skille et midlertidig problem fra en side som trenger oppfølging. Hvis en bestemt forhandler er særlig viktig for deg, kan teamet vårt undersøke saken.

Mer komplette pris- og lagerdata, med dokumentasjon

All denne teknologien har ett praktisk formål: å hjelpe deg med å få nyttige pris- og lagerdata om konkurrentene fra flere av nettstedene som er viktige for virksomheten din. Når vi har lest av en produktside, kan du bruke informasjonen til varsler, Excel- og CSV-rapporter, regler for automatisk prisjustering, historiske grafer og via vårt API.

Og du trenger ikke bare stole på tallene vi oppgir. Hvert vellykket sidebesøk dokumenteres med et skjermbilde i høy oppløsning av det nettleseren vår så. Klikk på kameraikonet ved siden av prisen hos en forhandler for å se siden som ble lagret, og kontrollere om vi hentet ut riktig verdi. Vi lagrer omtrent en måneds skjermbildehistorikk.

PriceZags skjermbildevisning med en overvåket produktside hos en forhandler, registrert pris og lagerstatus og skjermbildekontroller
En produktside hos en forhandler lagret av PriceZag, med pris- og lagerinformasjon som du selv kan kontrollere.

Denne åpenheten er særlig viktig på vanskelige nettsteder, der sider kan endre seg uventet eller vise ulike opplysninger til ulike besøkende. Du kan kontrollere hva vi faktisk mottok, i stedet for å stole på en uforklart pris i en database.

Ikke bare ta oss på ordet. Sammenlign selv.

Hvis du sammenligner prisovervåkingstjenester, kan du prøve de samme produkt-URL-ene med PriceZag og en annen leverandør. Ta med store forhandlere og vanskelige nettsteder du faktisk er opptatt av, ikke bare noen få enkle nettbutikker.

  1. Test de samme produktene. Legg til et representativt utvalg produktsider fra forhandlere i hver tjeneste.
  2. Kontroller de faktiske resultatene. Finner hver tjeneste riktig pris, valuta og lagerstatus? Kan du se et skjermbilde for å bekrefte resultatet?
  3. Sjekk igjen over flere dager. Et vellykket første besøk er nyttig, men det er jevn og pålitelig overvåking som gir deg brukbar historikk, varsler og rapporter.

Vi oppfordrer til å sammenligne. Med vår gratis prøveperiode på 14 dager kan du overvåke opptil 200 produkter uten kredittkort. Begynn med nettstedene som har skapt problemer for andre verktøy, og se selv hvordan PriceZag fungerer.

Vanlige spørsmål

Kan PriceZag overvåke nettsteder beskyttet av Cloudflare eller andre antibotsystemer?

Ja. Vi kan overvåke mange nettbutikker med botbeskyttelse, også sider som er vanskelige å nå med enkle skript. Vi bruker ekte nettlesere, variert maskinvare, en stor samling IP-adresser og tilpassede nye forsøk. Hvert nettsted er forskjellig, så vi anbefaler at du selv tester de forhandlersidene du trenger, i stedet for å anta at en tjeneste kan nå alle.

Må jeg installere noe i min egen nettbutikk?

Nei. PriceZag besøker produktsidene hos forhandlerne du vil overvåke. Du trenger ikke installere programvare i din egen nettbutikk eller bruke en bestemt nettbutikkplattform for å overvåke konkurrenter.

Koster ekstra forsøk mer?

Nei. Hvis vi trenger flere nettleserbesøk eller IP-adresser for å hente ut en pris, blir ikke disse forsøkene belastet separat. Abonnementet ditt er basert på antallet overvåkede URL-er.

Fungerer alle beskyttede nettsteder?

Ingen overvåkingstjeneste kan garantere det. Noen nettsteder kan blokkere besøk en periode eller hindre pålitelig uthenting av priser. PriceZag prøver vanskelige sider på nytt, sporer mislykkede URL-er og lar deg undersøke problemer. Hvis et bestemt nettsted er spesielt viktig for deg, kan du be teamet vårt om å se nærmere på det.

Hvordan kan jeg vite om prisen ble lest av riktig?

Åpne skjermbildet via kameraikonet ved siden av konkurrentens pris. Du kan se siden nettleseren vår viste, sammen med informasjonen om pris, valuta, lagerstatus og pålitelighet vi registrerte.