Prijs- en voorraadmonitoring op beschermde websites

Prijsmonitoring heeft alleen nut als de dienst de websites kan bereiken die je wilt volgen. Veel webwinkels blokkeren geautomatiseerde bezoekers actief. Een goedkope monitoringtool kan op eenvoudige websites prima prijzen verzamelen, maar vastlopen zodra een grote winkel strengere beveiliging invoert.

Bij PriceZag is het monitoren van moeilijk bereikbare websites met botbeveiliging een belangrijk onderdeel van ons werk, geen incidenteel probleem dat we aan onze klanten overlaten. We investeren in echte browserinfrastructuur, gespecialiseerde hardware, een grote verzameling IP-adressen en systemen die het opnieuw proberen als een website lastig bereikbaar is. Deze infrastructuur maakt deel uit van onze prijs- en voorraadmonitoring.

Waarom sommige webwinkels moeilijk te monitoren zijn

Winkeliers willen hun websites beschermen tegen misbruik van verkeer, het opkopen van voorraden, aanvallen en ongewenste geautomatiseerde verzoeken. Veel gebruiken diensten als Cloudflare, Akamai, DataDome of Imperva om bots te herkennen, verdachte bezoekers te controleren of verzoeken te blokkeren.

Die beveiliging kan ook legitieme monitoring van concurrentieprijzen hinderen. Een eenvoudig script vraagt bijvoorbeeld een productpagina op, maar krijgt een verificatiescherm in plaats van een prijs. Andere pagina's zijn sterk afhankelijk van JavaScript of tonen andere prijzen en beschikbaarheid afhankelijk van het land van de bezoeker.

Dat levert een praktisch probleem op: de winkels die je het liefst wilt volgen, zijn soms juist het moeilijkst bereikbaar. Een dienst die alleen op eenvoudige websites goed werkt, kan hiaten in je concurrentiegegevens achterlaten op precies de plekken waar je ze het hardst nodig hebt.

Hoe PriceZag beschermde websites monitort

We behandelen webwinkelpagina's niet als eenvoudige bestanden die je alleen hoeft te downloaden. Onze infrastructuur is gebouwd om echte productpagina's te laden, prijzen en voorraad uit te lezen en om te gaan met de omstandigheden op moderne webwinkels. Veel van dat werk gebeurt achter de schermen:

• Echte grafische browsers met JavaScript. We bezoeken productpagina's met volledige browsers, dus niet in headless-modus. Die geven de website weer en voeren JavaScript uit. Zo kunnen we ook inhoud lezen die mogelijk ontbreekt in een eenvoudige HTML-aanvraag.
• Echte hardware en verschillende GPU's. Met onze eigen servers bepalen we zelf welke hardware de browsers gebruiken, waaronder verschillende grafische processors. Dat helpt de uniforme browserfingerprints van standaard cloudomgevingen te vermijden. We vertrouwen niet op de gevirtualiseerde configuraties die goedkope crawlers vaak gebruiken.
• Duizenden IP-adressen van meerdere aanbieders. Met een grote, gevarieerde verzameling adressen hebben we meer mogelijkheden als een website verkeer uit een bepaalde bron weigert. Zelf duizenden IP-adressen onderhouden om websites voor slechts één bedrijf te monitoren, zou duur en moeilijk te rechtvaardigen zijn. Doordat we deze infrastructuur over duizenden PriceZag-klanten verdelen, kunnen we die mogelijkheden betaalbaar aanbieden binnen het abonnement.
• Bezoeken afgestemd op de markt van de winkel. Afhankelijk van de doelgroep van een website kiezen we een geschikte locatie binnen onze infrastructuur in de Verenigde Staten, Australië of het Verenigd Koninkrijk. Is er geen locatie in het betreffende land, dan kiezen we een passende locatie in de buurt. Zo is de kans groter dat de website de verwachte valuta, prijzen en voorraadgegevens toont.
• Slimme nieuwe pogingen en voortdurende verbeteringen. Als een pagina niet laadt of geen geldige prijs oplevert, kan ons systeem het opnieuw proberen met andere middelen. Onze ontwikkelaars verbeteren het hele jaar door hoe we omgaan met veranderende websites en antibotsystemen.

Onze vestiging in Santa Monica, vlak bij een Google-campus en een sterke lokale technologiesector, heeft ons geholpen een team van ervaren engineers op te bouwen dat zich richt op deze lastige uitdagingen rond webmonitoring. Het ontwikkelen en voortdurend verbeteren van deze technologie is sinds 2016 een kernonderdeel van ons werk.

Achter de schermen gebeurt nog veel meer. Maar je zou je niet hoeven verdiepen in browserfingerprints, IP-netwerken of botcontroles om de prijzen van concurrenten te volgen. Dat is ons werk.

Wat gebeurt er als een website een bezoek blokkeert?

Een mislukte poging betekent niet automatisch dat een product onmogelijk te monitoren is. Ons systeem kan de pagina opnieuw proberen, de manier van bezoeken aanpassen en later blijven controleren. Voor deze extra pogingen rekenen we niets extra. Je betaalt voor de URL's die je monitort, niet voor elke browser of elk IP-adres dat we moeten proberen.

Sommige websites blijven ondanks die inspanningen lastig. Hun gegevens worden mogelijk minder vaak bijgewerkt, en soms kunnen we van een pagina helemaal geen betrouwbare gegevens ophalen. We beweren niet dat elke beschermde website altijd perfect werkt.

In plaats van deze problemen te verbergen, volgt PriceZag de status van gemonitorde URL's. In je account vind je onder Reports & Sheets > Domains > Sick URLs de pagina's waarvan bezoeken onlangs zijn mislukt of herhaaldelijk mislukken. Zo kun je een tijdelijk probleem onderscheiden van een pagina die aandacht nodig heeft. Als een bepaalde winkel belangrijk voor je is, kan ons team dit onderzoeken.

Completere prijs- en voorraadgegevens, met bewijs

Al die technologie heeft één praktisch doel: je helpen bruikbare prijs- en voorraadgegevens van concurrenten te verzamelen van meer websites die voor je bedrijf belangrijk zijn. Zodra we een productpagina succesvol hebben uitgelezen, kun je die informatie gebruiken voor meldingen, Excel- en CSV-rapporten, regels voor automatische prijsaanpassing, historische grafieken en de API.

En je hoeft ons niet zomaar op ons woord te geloven. Elk geslaagd paginabezoek wordt vastgelegd met een screenshot in hoge resolutie van wat onze browser heeft gezien. Klik op het camera-icoon naast de prijs van een winkel om de vastgelegde pagina te bekijken en te controleren of we de juiste prijs hebben uitgelezen. We bewaren ongeveer een maand aan screenshotgeschiedenis.

Die controleerbaarheid is vooral belangrijk bij lastige websites, waar pagina's onverwacht kunnen veranderen of verschillende bezoekers andere informatie krijgen. Je kunt zelf zien wat wij daadwerkelijk hebben ontvangen, in plaats van te vertrouwen op een onverklaarde prijs in een database.

Neem het niet zomaar van ons aan. Vergelijk zelf.

Vergelijk je diensten voor prijsmonitoring? Test dan dezelfde product-URL's met PriceZag en een andere aanbieder. Neem vooral de grote winkels en lastige websites mee die voor jou echt belangrijk zijn, niet alleen een paar eenvoudig te volgen webwinkels.

1. Test dezelfde producten. Voeg bij elke dienst een representatieve selectie productpagina's van winkels toe.
2. Controleer de werkelijke resultaten. Vindt elke dienst de juiste prijs, valuta en voorraad? Kun je een screenshot bekijken om dit te controleren?
3. Controleer opnieuw gedurende meerdere dagen. Een geslaagd eerste bezoek is nuttig, maar alleen consistente monitoring levert betrouwbare historische gegevens, meldingen en rapporten op.

We moedigen die vergelijking aan. Met onze gratis proefperiode van 14 dagen kun je tot 200 producten monitoren zonder creditcard. Begin met de websites waar andere tools moeite mee hadden en ontdek zelf hoe PriceZag presteert.

Veelgestelde vragen