Indexeren is het proces waarbij zoekmachines zoals Google of Bing de informatie van een webpagina opslaan in hun database, ook wel de index genoemd.

Wanneer een pagina wordt geïndexeerd, wordt deze beschikbaar gemaakt voor weergave in de zoekresultaten (SERP) wanneer een gebruiker een relevante zoekopdracht uitvoert.

Indexeren volgt op het crawling-proces. Nadat een zoekmachinebot een pagina heeft gecrawld, beoordeelt deze of de pagina geschikt is om te worden toegevoegd aan de index. Het is daarom mogelijk dat een pagina technisch goed is, maar toch niet wordt geïndexeerd. 

Alleen geïndexeerde pagina’s kunnen verschijnen in de organische zoekresultaten. Indexeren (of in het Engels indexing) is niet hetzelfde als ranking. Dat is namelijk het hoog plaatsen van de pagina voor veel gezochte zoektermen.

Crawling is het proces waarbij zoekmachines zoals Google, Bing en andere webcrawlers (ook wel bots of spiders genoemd) het internet doorzoeken om nieuwe en bijgewerkte inhoud te ontdekken.

Deze bots navigeren door websites door links te volgen, pagina’s te scannen en de inhoud op te slaan in de database van de zoekmachine, ook wel de index genoemd.

Crawling is de eerste stap in het proces van zoekmachineoptimalisatie (SEO). Als een pagina niet wordt gecrawld, kan deze niet worden geïndexeerd en dus ook niet worden weergegeven in de zoekresultaten.

Waarom is een crawling belangrijk?

Als een pagina niet wordt gecrawld, wordt deze niet geïndexeerd en kan deze niet in de zoekresultaten verschijnen. Daarom is het essentieel om een crawlbare website te hebben met duidelijke interne links, een goed gestructureerde sitemap en een snelle laadtijd.

Door regelmatig je website te controleren met tools zoals Google Search Console of Ahrefs kun je eventuele crawling-problemen opsporen en oplossen, zodat je website beter zichtbaar wordt in de zoekresultaten. Deze controle wordt ook wel een Site Audit genoemd. 

Hoe werkt crawling?

Crawling werkt als volgt:

1. Start bij bekende URL’s:
   Crawlers beginnen vaak met een lijst van URL’s die al bekend zijn bij de zoekmachine.
2. Links volgen:
   Vanuit deze URL’s volgen ze interne en externe links om nieuwe pagina’s te ontdekken.
3. Inhoud analyseren:
   De bot bekijkt de inhoud en metadata van de pagina om te begrijpen waar deze over gaat.
4. Resultaten opslaan:
   De gevonden informatie wordt toegevoegd aan de zoekmachine-index. Dit wordt indexeren genoemd.

Factoren die indexeren beïnvloeden

• Robots.txt en meta-tags:
  Als een pagina een noindex-meta-tag bevat of wordt geblokkeerd in het robots.txt-bestand, wordt deze niet geïndexeerd. Zie ook Robots.txt.
• Unieke en kwalitatieve inhoud:
  Zoekmachines indexeren liever pagina’s met originele en waardevolle content. Duplicate content of dunne inhoud wordt vaak genegeerd.

• Technische fouten:
  Problemen zoals serverfouten (5xx) of gebroken links (404) kunnen voorkomen dat een pagina wordt geïndexeerd.

• Interne en externe links:
  Een pagina die goed is gelinkt vanaf andere pagina’s heeft meer kans om geïndexeerd te worden. Dit wordt ook wel linkbuilding genoemd.

SEO problemen met crawling

Veelvoorkomende problemen met crawling zijn:

• Beperkt crawlbudget
• Geblokkeerde pagina’s in robots.txt
• Slechte interne linkstructuur
• Te veel omleidingen (redirect chains)
• Onnodig lange laadtijden
• Dynamische URL’s, waarbij de URL uit een parameter bestaat
• JavaScript gebaseerde content die moeilijk te doorzoeken is

De Health Score van Ahrefs is een metric die aangeeft hoe technisch gezond je website is vanuit een SEO-perspectief. De score wordt berekend tijdens een website-audit met Ahrefs’ Site Audit-tool en wordt weergegeven als een percentage tussen 0 en 100.

 De score wordt berekend tijdens een website-audit met Ahrefs’ Site Audit-tool en wordt weergegeven als een percentage tussen 0 en 100. Een hogere score duidt op een technisch goed onderhouden website, terwijl een lage score wijst op technische problemen die je SEO-prestaties kunnen schaden.

De Health Score beoordeelt factoren zoals gebroken links, ontbrekende meta-tags, redirect-problemen, laadtijd en andere technische SEO-elementen. Hoewel het geen directe invloed heeft op je zoekmachine-rankings, geeft het inzicht in de mate waarin je website is geoptimaliseerd voor zoekmachines.

Technische problemen zoals crawl errors, 404-pagina’s of trage laadtijden kunnen de gebruikerservaring en je zichtbaarheid in zoekmachines negatief beïnvloeden. Door regelmatig je Health Score te controleren, kun je deze problemen tijdig opsporen en oplossen.

Het belangrijkste aspect van de Health Score is dat het je helpt prioriteiten te stellen. Problemen met een grotere impact op SEO, zoals indexeerbaarheid en interne linkstructuur, krijgen meer gewicht. Hierdoor kun je efficiënt werken aan verbeteringen die je rankings en websiteprestaties daadwerkelijk beïnvloeden.

Duplicate content verwijst naar inhoud die op meerdere plekken op het internet voorkomt, zowel binnen dezelfde website als op andere websites.

Duplicate content kan gaan om exacte kopieën van teksten, maar ook om sterk gelijkende inhoud die nauwelijks van elkaar verschilt. Voor zoekmachines zoals Google kan dit verwarrend zijn, omdat ze niet goed weten welke versie van de inhoud ze moeten weergeven in de zoekresultaten.

Duplicate content kan onbedoeld ontstaan, bijvoorbeeld door technische fouten zoals meerdere URL’s die naar dezelfde pagina leiden, of opzettelijk, bijvoorbeeld wanneer content wordt gekopieerd zonder toestemming.

Het is een belangrijk SEO-onderwerp, omdat het je zoekmachineprestaties negatief kan beïnvloeden. Duplicate content is echter geen straf. Het belangrijkste aspect voor SEO is dat je duidelijkheid geeft over welke pagina in de zoekresultaten moet terugkomen. Dit kan onder meer via een canonical tag.

Een 301 redirect is een methode om aan aan te geven dat een URL permanent verplaatst is naar een andere URL. Als een gebruiker of zoekmachine de oude URL bezoekt, wordt deze automatisch doorgestuurd naar de nieuwe URL.

Een 301 redirect gebruik je als je bezoekers en zoekmachines wilt helpen om te begrijpen dat de inhoud van een pagina blijvend verplaatst is naar een andere locatie. Hierdoor blijft de relevantie en autoriteit die zoekmachines aan de oude pagina hebben gegeven grotendeels behouden. 

Situaties waarin een 301 redirect gebruikt wordt zijn:

• Het verplaatsen van een website naar een nieuw domein
• Het wijzigen van de URL-structuur,
  bijvoorbeeld: /product-categorie/boeken/ naar /boeken/
• Het samenvoegen van content op meerdere pagina’s naar één pagina

Voorbeeld van een 301 redirect

Een 301 redirect op een Apache server ziet er zo uit:

Waarom is een 301 redirect belangrijk?

Als je de URL van een pagina wijzigt, dan komen bezoekers via een link of resultaat in de zoekmachines op een niet-gevonden (of 404) pagina uit.

Gebruikers en zoekmachines willen liever niet uitzoeken waar je oude content gebleven is. Je kunt daarom helpen door op je webserver aan te geven dat een URL permanent verplaatst is naar een nieuwe URL. De browser controleert dit eerst en stuurt bezoekers en zoekmachines bots door naar de nieuwe URL.

Zo vinden bezoekers en zoekmachines direct de goede locatie. Dit bevordert de gebruikerservaring.

Bovendien tellen links naar de oude URL nu mee voor positiebepaling in zoekmachines als Google. Zonder 301 redirect gaat deze zogenoemde linkwaarde verloren.

De kans dat je posities voor zoektermen in de zoekmachines behouden blijven is een stuk groter met een 301 redirect.

Hoe gebruik je een 301 redirect?

Een 301 redirect wordt op de server ingesteld. De meest bekende manier is via het .htaccess-bestand voor Apache-servers, of via server-side scripting bij PHP.

Om daar toegang toe te krijgen maak je gebruik van een FTP-programma. Daarmee pas je rechtstreeks website-bestanden aan.

Er zijn voor WordPress ook plugins om eenvoudig 301 redirects in te stellen. Bijvoorbeeld:

• WP 301 Redirects
• Simple 301 Redirects

SEO problemen met 301 redirects

Veelvoorkomende problemen met 301 redirects zijn:

• Er is geen 301 redirect gebruikt, waardoor oude content niet gevonden wordt
• Er wordt een tijdelijke 302 redirect gebruikt, waar een permanente redirect meer op zijn plaats is
• Er wordt een 301 redirect geplaatst naar een URL die ook wordt doorgestuurd. Zo ontstaat een redirect chain.
• Er wordt een 301 redirect geplaatst naar een URL die weer redirect naar dezelfde oude URL. Zo ontstaat een redirect loop. 
• De 301 redirect verwijst naar een pagina die niet online staat. Zo ontstaat een gebroken redirect.

Een robots.txt-bestand is een tekstbestand op de server van een website. Het geeft aan welke pagina’s wel of niet bezocht mogen worden door de automatische robots van zoekmachines als Google en Bing.

Een robot is in dit geval software die automatisch pagina’s bezoekt om te lezen wat er op die pagina staat. Een robot wordt ook wel bot, webcrawler, crawler of spider genoemd.

Een zoekmachine als Google gebruikt robots om je pagina te lezen en te begrijpen. Daarnaast vinden zoekmachines met robots nieuwe pagina’s en waarderen ze deze via de links die deze robots tegenkomen. Dit noemen we crawlen.

Je kunt een robots.txt bestand vergelijken met een instructiebordje. Mag de robot een pagina niet zien, dan werkt een robots.txt-bestand dus als een “Geen-toegang”-bordje.

Dit is handig als bepaalde delen van de website niet bedoeld zijn voor publieke weergave, zoals de back-end waarmee je je website zelf beheert. 

Met een robots.txt bestand geef je duidelijkheid aan zoekmachines wat wel en wat niet bezocht mag worden. Zo hoeft deze zoekmachine ook geen energie te verspillen aan het in kaart brengen van gedeeltes van je website die toch nooit in de index gaan terugkomen.

De robots.txt is te vinden op [jouwwebsite.nl]/robots.txt.

Via een FTP programma kun je toegang krijgen tot bestanden op je server, waaronder ook het robtos.txt bestand.

Voorbeeld van een robots.txt bestand

Een robots.txt bestaat ziet er voor WordPress websites standaard als volgt uit:

De robots.txt van een grote site als Bol.com ziet er zo uit:

Waarom is een robots.txt bestand belangrijk?

Het robots.txt-bestand helpt om te voorkomen dat een website overbelast raakt. Als robots regelmatig op de website komen om de inhoud te zien, dan moet de server dat ook verwerken.

Bij hoge aantallen kan dit betekenen dat de website trager wordt voor bezoekers. Of er is extra servercapaciteit nodig. Dit zorgt dus voor hogere kosten.

In de praktijk is dit voor de meeste websites niet aan de orde. Laat daarom in de meeste gevallen de robots.txt op de standaard instellingen staan.

Een robots.txt wordt vooral gebruikt om duidelijkheid te geven over welk gedeelte van de website niet bezocht mag worden door automatische robots en van welke zoekmachines.

Bijvoorbeeld:

• Onbelangrijke of dubbele webpagina’s
• Een script met een oneindig aantal URL’s, zoals een kalender
• Pagina’s die gebruikt worden om je content te beheren (zoals WP-admin)
• PDF-bestanden of andere documenten
• Media-bestanden als afbeeldingen, video en audio
• Onbelangrijke scripts
• Onbelangrijke styling-bestanden

Daarnaast kun je er mee voorkomen dat zoekmachines een pagina indexeren. Dit is met de robots.txt methode alleen niet zeker.

Een pagina die niet doorzocht mag worden volgens robots.txt kan nog steeds geïndexeerd worden. Dit komt omdat Google links vanaf andere websites gebruikt om pagina’s te vinden en te indexeren.

Als je wilt dat een pagina niet opgenomen wordt in de zoekresultaten, dan is de no-index-tag de aanbevolen manier.

Hoe gebruik je een robots.txt bestand?

Google begrijpt de volgende commando’s in een robots.txt-bestand:

user agent

allow

disallow

sitemap

SEO problemen met robots.txt

Veelvoorkomende problemen met canonical tags zijn:

• De website heeft geen robots.txt-bestand
• Het robots.txt bestand is verkeerd opgegeven, bijvoorbeeld een verkeerde locatie of gebruik van hoofdletters
• Pagina’s die doorzocht moeten worden staan of disallow
• Webcrawlers die de website mogen bezoeken staan op disallow
• Een pagina die op disallow staat en daarna op noindex wordt gezet, blijft in de zoekresultaten. Zoekmachines kunnen namelijk de noindex tag dan niet lezen.

Problemen met je robots.txt vind je als je een Site Audit uitvoert.

Een canonical tag is een HTML-element dat gebruikt wordt om aan te geven welke versie van een webpagina de voorkeur heeft als er meerdere versies van dezelfde pagina bestaan.

Dit kan bijvoorbeeld het geval zijn als een pagina op meerdere URL’s bereikbaar is, of als er verschillende variaties van dezelfde pagina bestaan die qua inhoud sterk op elkaar lijken.

Met een canonical tag in de code van de webpagina geef je aan welke URL de voorkeur heeft, zodat zoekmachines weten welke URL ze moeten indexeren en tonen in de zoekresultaten.

De Engelse term canonical wordt in computer wetenschappen gebruikt om de standaard staat of gedrag van een attribuut aan te geven. Deze term is geleend uit de wiskunde, waar de term gebruikt wordt voor concepten die uniek of natuurlijk zijn.

Een canonical tag wordt in het Nederlands ook wel een canonieke tag of de canonieke URL genoemd.

Voorbeeld van een canonical tag

Een canonical tag ziet er zo uit in de broncode van de pagina:

Waarom is een canonical tag belangrijk?

Zoekmachines zijn geweldige stukken software. Maar zelfs deze wonderbaarlijke techniek kan soms in de war raken en wat hulp gebruiken.

Eén ding waar zoekmachines moeite mee hebben is duplicate content. Dat is wanneer meerdere pagina’s met verschillende URL’s dezelfde of sterk vergelijkbare content hebben.

Product categorieën

Bijvoorbeeld, als je een meerdere URL’s hebt voor dezelfde pagina zoals bij een product in meerdere categorieën:

• voorbeeld.nl/product-1/
• voorbeeld.nl/categorie-a/product-1/
• voorbeeld.nl/categorie-b/product-1/

Subdomeinen

Sommige websites gebruiken nog een apart subdomein voor de mobiele versie van de pagina. In dat geval krijg je nog meer URL’s met dezelfde content, zoals:

• m.voorbeeld.nl/product-1/
• m.voorbeeld.nl/categorie-a/product-1/
• m.voorbeeld.nl/categorie-b/product-1/

Parameters

Of wanneer er parameters in de URL gebruikt worden. Dat is het gedeelte van de URL achter het teken “?“.

Een parameter wordt gebruikt om extra informatie mee te sturen, zoals een zoekopdracht, gekozen filters of via welke marketing campagne de bezoeker op je site is gekomen.

Bijvoorbeeld:

• voorbeeld.nl/?s=product-1
• voorbeeld.nl/categorie-a/?maat=groot&kleur=blauw
• voorbeeld.nl/?utm_source=facebook&utm_medium=content&utm_campaign=wat_is_een_canonical-tag

Welke URL is de echte?

De grote vraag voor zoekmachines is:

“Welke URL moeten we tonen om mensen naar toe te sturen vanuit de zoekresultaten?”

De canonical tag helpt zoekmachines als Google en Bing begrijpen welke van deze URL’s de echte is. Oftewel, welke de canonical is.

Daardoor voorkom je dat ze zelf kiezen, en dus mogelijk de verkeerde URL nemen.

Daardoor voorkom je ook een ander probleem.

Er zijn websites die automatisch jouw content overnemen. We noemen dat een scraper. Als de HTML automatisch overgenomen wordt, dan zit daar dus ook een canonical tag bij die naar jouw URL verwijst. Google weet daardoor dus dat jouw pagina de originele bron is.

Hoe gebruik je een canonical tag?

De beste oplossing om duplicate content te voorkomen blijft om unieke content op zo min mogelijk verschillende URL’s te hebben staan. Alleen als het niet anders kan, gebruik je een canonical tag om de juiste pagina aan te geven.

Bij voorkeur heeft elke pagina die terug mag komen in Google een naar zichzelf verwijzende canonical tag.

Canonical URL instellen in WordPress

Als je WordPress gebruikt dan wordt dit al automatisch gedaan. Je hoeft dus niets te doen, tenzij je bewust een andere pagina in de zoekmachines wilt laten terugkomen.

Je stelt dit bijvoorbeeld in met de Yoast SEO plugin. Ga in de WP-admin onder in een pagina of bericht naar Yoast SEO –> Geavanceerd –> Canonieke URL. 

Daar vul je de URL in van de andere pagina die (vrijwel) gelijk is aan deze pagina.

Misbruik van de canonical tag

De canonical tag is alleen bedoeld voor pagina’s die gelijk of vrijwel gelijk zijn aan elkaar.

Gebruik een canonical tag niet om verouderde content te verwijzen naar nieuwe. Gebruik hiervoor een interne link of 301 redirect.

Verkeerd gebruik van de canonical tag kan door zoekmachines gezien worden als manipulatie.

SEO problemen met canonical tags

Veelvoorkomende problemen met canonical tags zijn:

• Er mist een naar zichzelf verwijzende canonical tag
• De canonical tag is niet de volledige URL
• Het menu linkt naar een pagina die niet de canonical is
• Een pagina heeft een dubbele canonical tag
• De canonical tag wijst naar een pagina die ook niet de canonical is, een zogenoemde redirect chain
• De canonical wijst naar een pagina die niet gevonden of geladen kan worden
• De canonical wijst naar een pagina waar een redirect op staat
• De canonical wijst naar een pagina op een ander domein (cross-domain canonical), waar een no-index tag een betere keus is

Problemen die te maken hebben met canonical tags kom je tegen bij het uitvoeren van een Site Audit.