De Search Console-status “Ontdekt, momenteel niet geïndexeerd” betekent dat Google de URL kent, maar deze op het moment van rapporteren nog niet heeft gecrawld. Dat verschil is belangrijk. Bij “gecrawld, momenteel niet geïndexeerd” heeft Google de pagina al bezocht; bij “ontdekt” zit het proces nog een stap eerder.
Website-eigenaren proberen deze melding soms op te lossen door meteen meer tekst toe te voegen. Dat kan nuttig zijn voor de uiteindelijke kwaliteit, maar het verklaart niet altijd waarom de crawler nog niet is langsgekomen. Bij deze status moet je vooral kijken naar ontdekking, crawlprioriteit, interne structuur, aantallen URL’s en de technische stabiliteit van de website.
Hoe kan Google een URL kennen zonder hem te crawlen?
Een URL kan via verschillende routes worden ontdekt. De belangrijkste zijn interne links, externe links en XML-sitemaps. Google kan dus weten dat /kennisbank/voorbeeld/ bestaat omdat de URL in je sitemap staat, ook wanneer de pagina zelf nog niet is bezocht.
Dat is op zichzelf niet vreemd. Een zoekmachine plant crawls en hoeft niet iedere nieuw ontdekte URL onmiddellijk op te halen. Bij een kleine, stabiele website met een beperkt aantal nieuwe pagina’s kan verwerking relatief eenvoudig zijn. Bij een zeer grote website met veel nieuwe of veranderende URL’s moet Google meer keuzes maken.
Daarom is context belangrijk: gaat het om één nieuwe blogpost of om 50.000 geïmporteerde product- en filter-URL’s?
Controleer of de URL belangrijk lijkt binnen je eigen site
Interne links zijn meer dan navigatie. Ze laten zien welke pagina’s onderdeel zijn van de hoofdstructuur en hoe onderwerpen samenhangen.
Een nieuwe pagina die alleen in de sitemap staat maar nergens intern wordt gelinkt, lijkt minder geïntegreerd. Voeg daarom relevante links toe vanaf bestaande pagina’s die inhoudelijk aansluiten.
Voorbeelden:
- een artikel over WordPress-robots.txt vanaf je centrale WordPress-SEO-gids;
- een WooCommerce-filterartikel vanaf een WooCommerce-SEO-pagina;
- een lokale SEO-handleiding vanaf een overzicht over online marketing;
- een nieuwe dienst vanaf het dienstenoverzicht.
Voeg niet lukraak tientallen links toe. Een paar logische contextuele links zijn nuttiger dan een sitebrede lijst met honderden SEO-ankers.
Kijk kritisch naar de omvang van je sitemap
Een sitemap hoort vooral de canonieke URL’s te bevatten die je daadwerkelijk voor crawling en indexering aanbiedt. Bij grote WordPress- of WooCommerce-sites kan een sitemap vervuild raken met pagina’s die weinig waarde hebben.
Denk aan:
- lege categorieën;
- dunne tags;
- filters;
- zoekresultaten;
- oude redirects;
- 404-URL’s;
- staging-URL’s;
- dubbele http/www-versies;
- irrelevante custom post types.
Wanneer je tienduizenden URL’s aanbiedt terwijl slechts een deel belangrijk is, wordt je technische structuur onnodig complex. Maak daarom een sitemapcontrole onderdeel van periodiek SEO-beheer.
Grote aantallen nieuwe pagina’s vragen om prioritering
Stel dat je in één dag 10.000 productpagina’s importeert. Zelfs wanneer alle URL’s technisch geldig zijn, is het niet realistisch om ieder crawlproces als een directe queue te zien die dezelfde dag wordt afgewerkt.
Bij schaal telt vooral kwaliteit van de URL-set. Zorg dat nieuwe pagina’s:
- unieke product- of onderwerpgegevens hebben;
- intern vindbaar zijn;
- niet door filters worden gedupliceerd;
- correcte canonicals hebben;
- een consistente statuscode leveren;
- in logische sitemaps zijn gegroepeerd.
Een gefaseerde, gecontroleerde publicatie kan bovendien makkelijker te monitoren zijn dan één enorme dump van grotendeels vergelijkbare content.
Controleer servercapaciteit en responstijden
Crawlers kunnen hun activiteit aanpassen wanneer een host traag of instabiel reageert. Daarom is servergezondheid relevant bij URL’s die lang op “ontdekt” blijven staan.
Controleer je logs op terugkerende:
- 500-fouten;
- 502-fouten;
- 503-fouten;
- 504-time-outs;
- 429-rate limits;
- zeer trage responses.
Bij WordPress kan de oorzaak liggen in zware plugins, onvoldoende PHP-processen, databaseproblemen, imports of cronjobs. Bij WooCommerce kunnen grote productqueries en achtergrondtaken extra belasting geven.
Het doel is niet om zoekmachines onbeperkt resources te geven. Het doel is een gezonde infrastructuur waarbij belangrijke publieke pagina’s betrouwbaar bereikbaar zijn.
Robots.txt en firewall: controleer of je niet te streng blokkeert
De status zegt dat de URL nog niet is gecrawld. Controleer daarom of crawlerregels geen obstakel vormen.
Robots.txt kan delen van de site uitsluiten. Daarnaast kunnen firewallregels, ModSecurity of anti-botplugins requests weigeren. Soms worden alle user-agents met woorden als “bot” of “crawler” automatisch geblokkeerd. Daarmee kun je onbedoeld legitieme crawlers raken.
Controleer niet alleen wat robots.txt zegt, maar ook wat de server daadwerkelijk terugstuurt bij een request. Een 403 of 429 is een ander probleem dan een gewone 200-respons.
Verminder onnodige URL-varianten
WooCommerce en andere dynamische systemen kunnen enorm veel URL’s produceren. Sorteringen, filters en queryparameters kunnen combinaties maken die technisch verschillend zijn maar inhoudelijk sterk op elkaar lijken.
Voorbeeld:
/shop/?kleur=zwart/shop/?kleur=zwart&sort=prijs/shop/?sort=prijs&kleur=zwart
Wanneer zulke varianten overal crawlbare links krijgen, kan de crawler veel tijd besteden aan URL’s die niet de kern van je site vormen.
Ontwerp filter- en navigatiestructuren daarom bewust. Welke combinaties hebben echte zoekwaarde? Welke zijn puur functioneel voor bezoekers? Dat onderscheid is bij grote webshops belangrijk.
Controleer pagination en infinite scroll
Een categorie met honderden artikelen of producten moet crawlbare routes naar diepere items bieden. Infinite scroll kan voor gebruikers prettig zijn, maar als vervolgitems uitsluitend door JavaScript worden geladen zonder crawlbare paginalinks, wordt ontdekking lastiger.
Zorg dat belangrijke content via normale links bereikbaar blijft. Dit is vooral relevant wanneer oudere artikelen of producten meerdere lagen diep zitten.
Een crawler hoeft niet via de homepage rechtstreeks naar iedere URL te kunnen, maar de klikdiepte moet logisch blijven.
Controleer of de pagina in meerdere sitemaps of versies voorkomt
Na migraties ontstaan soms verschillende sitemapsets. De ene bevat https-URL’s, de andere nog oude http-URL’s. Of zowel www als non-www wordt aangeboden.
Dat levert onnodige inconsistentie op. Kies één definitieve domeinvariant en zorg dat:
- interne links die variant gebruiken;
- canonicals die variant gebruiken;
- sitemap dezelfde variant bevat;
- redirects oude varianten direct doorsturen.
Consistentie maakt het eenvoudiger om te begrijpen welke URL je echt wilt laten crawlen.
Zijn je nieuwe URL’s orphan pages?
Een orphan page kan via de sitemap worden ontdekt maar heeft geen interne links. Dat past precies bij een situatie waarin Google de URL kent, maar weinig aanvullende context heeft.
Maak daarom thematische hubs. Voor www.sanumwebdesign.nl/ zou je bijvoorbeeld hoofdpagina’s kunnen hebben rond:
- SEO;
- WordPress;
- WooCommerce;
- webdesign;
- online marketing.
Vanuit iedere hub link je naar relevante verdieping. Artikelen linken onderling door wanneer het logisch is. Zo ontstaat een kennisnetwerk waarin nieuwe content direct een plaats krijgt.
Publicatiefrequentie is minder belangrijk dan publicatiekwaliteit
Het is verleidelijk om een groot aantal SEO-artikelen zo snel mogelijk online te zetten. Maar snelheid is geen vervanging voor redactionele kwaliteit.
Een bruikbare contentplanning houdt rekening met:
- zoekintentie;
- overlap met bestaande content;
- interne links;
- unieke voorbeelden;
- technische toegankelijkheid;
- actualiteit;
- expertise en praktijkcontext.
Wanneer je 500 artikelen publiceert, is het verstandiger om die als een redactionele kennisbank te behandelen dan als 500 losse zoekwoordpagina’s. Daarmee voorkom je dat veel URL’s nauwelijks verschillen en dat monitoring onoverzichtelijk wordt.
Moet je ‘crawl budget’ optimaliseren op een kleine website?
Bij een kleine website met enkele honderden normale pagina’s is het meestal niet zinvol om obsessief over crawlbudget te praten. Controleer eerst de basis: interne links, sitemaps, redirects, serverstabiliteit en nuttige content.
Crawlbeheer wordt relevanter bij zeer grote of snel veranderende sites, bijvoorbeeld webshops met enorme aantallen filters en productvarianten. Ook dan blijft de eerste stap het verwijderen van technische verspilling en onnodige URL-duplicatie.
Een praktisch stappenplan voor de status ‘ontdekt’
Stap 1: controleer de URL-inspectie
Bevestig dat de melding daadwerkelijk bij de definitieve URL hoort.
Stap 2: controleer sitemapvermelding
De URL moet in de juiste sitemap staan wanneer je hem actief voor indexering aanbiedt.
Stap 3: voeg relevante interne links toe
Maak de pagina onderdeel van een categorie, hub of bestaande contentroute.
Stap 4: controleer robots.txt en serverrespons
Voorkom dat crawlregels of beveiligingslagen toegang verhinderen.
Stap 5: bekijk serverlogs
Zoek naar 5xx-, 429- en time-outpatronen.
Stap 6: analyseer hoeveel nieuwe URL’s je tegelijk aanbiedt
Bij grote imports: controleer duplicaten, parameters en dunne pagina’s.
Stap 7: verwijder onnodige crawlbare varianten
Beperk technische URL-explosie door filters en zoekresultaten.
Stap 8: vraag voor een belangrijke individuele URL eventueel indexering aan
Doe dit nadat de basis klopt, niet als vervanging van die basis.
Wanneer moet je vooral niets doen?
Als het om een net gepubliceerde pagina gaat en alle controles zijn goed, kan geduld de juiste keuze zijn. Niet ieder statusverschil vraagt om een technische interventie.
Ga niet dagelijks:
- de slug wijzigen;
- de canonical aanpassen;
- redirects toevoegen en weer verwijderen;
- de sitemapstructuur veranderen;
- honderden interne links plaatsen;
- content herschrijven zonder concrete reden.
Veel wisselende signalen maken analyse juist moeilijker.
Veelgestelde vragen
Wat is het verschil tussen ‘ontdekt’ en ‘gecrawld, momenteel niet geïndexeerd’?
Bij “ontdekt” kent Google de URL maar is deze nog niet gecrawld. Bij “gecrawld” is de URL al opgehaald, maar momenteel niet geïndexeerd.
Helpt een handmatig indexeringsverzoek?
Het kan nuttig zijn voor een belangrijke URL, maar het garandeert geen directe crawl of indexering en lost structurele siteproblemen niet op.
Moet ik een nieuwe sitemap maken?
Alleen wanneer de huidige sitemap technisch onjuist of vervuild is. Een geldige sitemap met de juiste canonieke URL’s is belangrijker dan steeds nieuwe sitemapbestanden genereren.
Kan serverbelasting invloed hebben?
Een instabiele of vaak fout reagerende server kan crawling bemoeilijken. Controleer daarom uptime, foutcodes en performance wanneer veel URL’s lang blijven hangen.
Zijn interne links echt nodig als de URL al in de sitemap staat?
Een sitemap kan de URL laten ontdekken, maar interne links geven extra context over samenhang en belang. Voor belangrijke content zijn beide nuttig.
Momenteel niet geïndexeerd oplossen
“Ontdekt, momenteel niet geïndexeerd” vertelt je vooral dat Google de URL kent maar nog niet heeft gecrawld. Kijk daarom eerst naar interne structuur, sitemapkwaliteit, technische toegankelijkheid, servergezondheid en de hoeveelheid nieuwe URL’s die je aanbiedt.
Bij grote WordPress- en WooCommerce-sites is het verstandig om niet alleen individuele pagina’s te inspecteren, maar patronen te zoeken in templates, feeds, filters en serverlogs. Sanum Webdesign kan zulke technische SEO-vraagstukken combineren met contentstructuur, zodat nieuwe URL’s niet als losse eilanden worden gepubliceerd maar onderdeel worden van een crawlbare, begrijpelijke website.
