Spideren van content

Staan uw producten, artikelen of andere gegevens op een website, maar ontbreekt een bruikbare export of feed? Met spideren kunnen gegevens uit webpagina’s worden verzameld en klaargemaakt voor verder gebruik. Het doel bepaalt welke informatie nodig is en in welke vorm u die wilt ontvangen.

Eenmalige migratie of periodiek verzamelen

Bij een eenmalige migratie wilt u bijvoorbeeld productinformatie van een oude website meenemen naar een nieuwe omgeving, terwijl een exportfunctie ontbreekt. Dan is het belangrijk om eerst vast te stellen welke gegevens u nodig heeft: alleen titels en beschrijvingen, of ook categorieën en verwijzingen naar afbeeldingen? Zo voorkomt u dat u veel informatie verzamelt die voor de nieuwe website geen waarde heeft.

Wilt u gegevens periodiek gebruiken, dan spelen andere vragen mee. Welke pagina’s veranderen, hoe vaak is een nieuwe levering zinvol en hoe gaat u om met dubbele of verdwenen items? De opbouw van de bronpagina’s kan veranderen. Daarom bespreken we bij terugkerend gebruik ook hoe wijzigingen in de bron worden opgemerkt en wat dat betekent voor de verwerking.

Toegang, rechten en kwaliteit

Niet iedere website is op dezelfde manier toegankelijk. Sommige informatie staat op openbare pagina’s; voor andere pagina’s is toegang nodig. We bespreken vooraf welke bron u wilt gebruiken en of u toestemming of gebruiksrechten voor de gegevens heeft. Dat is ook van belang wanneer de verzamelde inhoud opnieuw op uw website verschijnt.

De bron bepaalt bovendien de kwaliteit van het resultaat. Ontbrekende velden, verschillende schrijfwijzen en dubbele gegevens kunnen bewerking nodig maken. We kijken daarom welke controles en opschoning nuttig zijn voordat de informatie naar een andere omgeving gaat. Wat precies haalbaar is, hangt af van de beschikbare pagina’s en hun structuur.

Een bruikbare uitvoer

De gewenste bestemming bepaalt het uitvoerformaat. Voor een import kan een CSV-bestand passend zijn; in andere situaties is XML handig. We spreken af welke velden nodig zijn en hoe de gegevens moeten worden ingedeeld, zodat duidelijk is wat u met het resultaat kunt doen. Wilt u gegevens direct in WordPress verwerken, dan kan een WordPress koppeling passend zijn. Voor een eigen verwerkingsproces kan een systeem op maat passen.

Neem contact met ons op en vertel welke bron u wilt gebruiken en wat u met de gegevens wilt bereiken. Dan bespreken we de mogelijkheden voor uw situatie.