In snelvaart pagina’s verwijderen uit Google

14 maart 2024 16:01

• Communicatie & Marketing

Met elke pagina van je website wil je presteren. Hetzij voor bezoekers en/of zichtbaarheid in de organische zoekresultaten. In sommige gevallen wil je het tegengestelde en juist pagina’s verwijderen uit de organische zoekresultaten.

Als freelance SEO specialist krijg ik regelmatig de vraag om pagina’s te verwijderen. Pagina’s (url’s) die het geheel meer kwaad doen dan goed wil je snel uit Google zien verdwijnen. Hierdoor kunnen bezoekers aandacht besteden aan wat belangrijk is, en zorg je dat het crawl-budget efficiënt besteed wordt aan url’s die er echt toe doen. Wat de situatie ook is, voor de volgende scenario’s geef ik een beschrijving met stappen om pagina’s snel uit Google te zien verdwijnen.  

1. Pagina’s met weinig of gedupliceerde inhoud oplossen.
2. Geïndexeerde inhoud met gecachte versie verwijderen.
3. Pagina’s uit migratie of ontwikkelingsomgeving.
4. Spampagina’s gegeneerd door hacks verwijderen.
5. Pagina’s met gevoelige inhoud blokkeren of verwijderen.
6. Ongewenste pagina’s op websites van derde verwijderen.

* Pagina’s uit Bing verwijderen? Gebruik de Bing removal tool.

Pagina’s met weinig of gedupliceerde inhoud oplossen

Dit zijn pagina’s met weinig inhoud of pagina’s waarvan de inhoud nagenoeg gelijk is. Dit soort pagina’s kunnen je SEO-prestaties ernstig benadelen. In het geval je dergelijke pagina’s toch wilt behouden, kun je kiezen voor canonical tags. In andere gevallen kan het verstandig zijn om inhoud van laagwaardige pagina’s samen te voegen op andere pagina’s. Op deze manier maak je het geheel sterker. Als je deze methode in bulk toepast, kan het zomaar zijn dat je met minder pagina’s veel beter gaat presteren in de organische zoekresultaten. Om te bepalen wat er met dergelijke pagina’s moet gebeuren, gaat het in essentie om één vraag:

• Moet de inhoud wel of niet toegankelijk blijven voor bezoekers?

Inhoud moet toegankelijk blijven voor bezoekers

In veel situaties wil je duplicate content uit de index houden, maar wel toegankelijk laten voor bezoekers. Vooral bij webshops komt veel thin of duplicate content voor. Denk aan de functies sortering, paginering of product filters die nieuwe pagina’s genereren. Hoe je dergelijke pagina’s afhandelt, is per situatie anders en in veel gevallen zijn er meerdere oplossingen mogelijk met elk zijn eigen consequenties.

Voorbeeldscenario
Je hebt een webshop met kleding. Een specifiek kledingstuk bestaat uit meerdere maten en kleuren. Door te klikken op een kleur wijzigt de url, maar blijft de pagina hetzelfde. Enkel de URL, foto en titel is anders. Verder is de productbeschrijving identiek. In dit voorbeeld heb je in essentie vier gangbare opties:

1. Pagina verbeteren met unieke inhoud (beste keuze).
2. Interne link strategie toespitsen op de belangrijkste variant.
3. Canonicals verwijzen naar de belangrijkste productvariant.
4. De belangrijkste pagina behouden en overige met noindex status.
    
   1. De beste methode is om uiteindelijk productpagina’s te voorzien van meer unieke en relevante content. Natuurlijk kan je niet alles in één keer aanpassen. Doe dit gefaseerd met de belangrijkste categorieën en pagina's voorop. Om te bepalen wat de belangrijkste pagina’s zijn, kijk je onder andere naar zoekvolumes en productwaarde.
   2. Voordat je direct begint met de volgende stappen, wil je natuurlijk het liefst elke variant indexeerbaar houden. Kies één variant en geef deze pagina een prominente plek in je interne linkstructuur, en beperk dit bij andere varianten tot vermeldingen in liters. Uiteindelijk wil je de inhoud van elke pagina uitbreiden (zie optie 1). Monitor actief of er complicaties ontstaan met duplicate content. In dit geval, wil je alsnog verder gaan met canonicals (zie optie 3).
   3. Canonicals zijn een goed alternatief, op het moment dat de andere kleurvarianten enige autoriteit meenemen en je waarneemt dat de duplicaten nadelige effecten hebben op je SEO-prestaties. Met canonical tags geef je Google het signaal dat je de "kopieën" erkent en alle kracht toewijst aan één kleurvariant. De canonical-variant wordt uiteindelijk geïndexeerd. Welke kleurvariant je kiest als canonical-variant is afhankelijk van je eigen voorkeuren, zoals:
   • Welke versie is vanuit sales oogpunt de belangrijkste?
   • ​Welke variant presteert nu het beste in Google?
   4. Met noindex tags geef je enkel aan welke je niet geïndexeerd wilt hebben. Deze optie kan je kiezen als de andere kleurvarianten geen autoriteit meedragen.

Met noindex of canonicals tags geef je aan wat je voorkeur is. Welke optie je ook kiest: combineer deze tags niet met elkaar. Dit geeft gemixte signalen, waardoor je uiteindelijk de zoekmachine zelf een keuze laat maken. Dit wil je zelf onder controle houden.

John Meuller - “You shouldn't mix noindex & rel=canonical. they're very contradictory pieces of information for us. We'll generally pick the rel=canonical and use that over the noindex, but any time you rely on interpretation by a computer script, you reduce the weight of your input.”

Inhoud moet niet toegankelijk blijven voor bezoekers

Je wilt dat de inhoud niet toegankelijk blijft voor bezoekers. In dit geval zijn er in essentie twee opties:

1. Heeft de pagina bezoekers en/of backlinks? Zo ja, 301 redirect de pagina naar een relevant alternatief. Het doel van een redirect is dat je bezoekers omleidt en autoriteit behoudt. Daarom is het belangrijk dat de redirect een perfecte match is met de nieuwe pagina. Is dit niet het geval? Dan kan je alsnog de opgebouwde autoriteit van de pagina verliezen.
2. Heeft de pagina geen bezoekers en/of backlinks? In dit geval kan je de pagina verwijderen met een 410 status code. Met een 410 geef je zoekmachines het signaal dat de pagina verwijderd is. Bij een 404 is de pagina enkel vermist. Een 410 wordt doorgaans sneller opgepakt, waardoor het snel uit de zoekresultaten verdwijnt. In beide gevallen wil je de sitemap en interne links updaten.

Geïndexeerd url’s met gecachte versie verwijderen

Zodra je een pagina hebt geüpdatet wil je natuurlijk dat bezoekers direct de nieuwe versie zien. Binnen de index van Google kan een gecachte (oude) versie vertoond worden. In dit geval wil je voorkomen dat bezoekers de oude versie zien. Om dit op te lossen ga je naar Google Search Console en volg je de volgende stappen:

• Stap 1: Ga naar Google Search Console en login.
• Stap 2: Selecteer de property van je domein.
• Stap 3: In de linker kolom, selecteer “verwijdering”.

• Stap 4: Aan de rechterkant selecteer “Nieuw verzoek”.
• Stap 5: In de pop-up, selecteer de tab “Url in cachegeheugen wissen”.

• Stap 6: Selecteer de eerste optie als je enkel de cache wilt wissen van een url. Selecteer de tweede optie als je de cache van de gehele folder of prefix wilt verwijderen.

• Stap 7: Plaats de gewenste URL en klik op volgende. Vervolgens kan je de status van het verzoek volgen bij het startscherm met “ingediende verzoeken”.

​Pagina’s uit migraties of ontwikkelingsomgeving

Tijdens een ontwikkelingsproces, zoals bij een herontwerp van je site, wordt een kopie van je site getest in een afgesloten testomgeving die niet toegankelijk is voor de buitenwereld. In de praktijk zie je regelmatig dat pagina’s uit een testomgeving wel toegankelijk zijn voor bezoekers en zelfs geïndexeerd worden in zoekmachines. Dit kan veel schade toebrengen aan je prestaties.

In sommige gevallen nemen deze testpagina’s de prestaties over van de juiste pagina’s. De pagina’s uit de testomgeving ontvangen bezoekers en nemen rankingsignalen over van de correcte versie. Controleer dit in Google Analytics en Search Console. Is dit niet het geval? Dan kan je de volgende stappen volgen:

Stap 1: Ga naar Google Search Console en login.

Stap 2: Maak een property voor het (sub)domein met ontwikkelingsomgeving.

Stap 3: In de linkerkolom, selecteer "Verwijderingen".

Stap 4: Aan de rechterkant, selecteer “Nieuw verzoek”.

Stap 5: In de eerste tab, selecteer “Alle url’s met dit voorvoegsel verwijderen”.

Stap 7: URL van het (sub)domein toevoegen en selecteer “volgende”.

Het subdomein blijft geïndexeerd, maar is tijdelijk verborgen. Vervolg de stappen met de volgende actiepunten:

Stap 8: Verwijder de gecachte versie door de vorige stappen te volgen.

Stap 9: Implementeer noindex meta tags in de paginabron.

Stap 10: Creëer een XML sitemap met noindex pagina’s.
Stap 11: XML sitemap indienen in de nieuwe property van Search Console.

Nu kan Google de noindex pagina’s makkelijker vinden om te bepalen wat ermee moet gebeuren. Blokkeer de pagina’s tussentijds niet via disallow-regels in het robotsbestand. Dit vertraagt het proces en zorgt ervoor dat zoekmachines de noindex tags niet kunnen vinden. Ga verder met de volgende stappen:

Stap 12: Op het moment dat de pagina's permanent uit Google zijn verdwenen, kun je de sitemap verwijderen.

Stap 13: Nu wil je de ontwikkelingsomgeving compleet afschermen en enkel toegankelijk maken voor website ontwikkelaars en/of andere bevoegde. Dit kan door gebruik te maken van de volgende methodes of een combinatie van beide:

• Basic HTTP authentication: Dit is een vorm van toegangsauthenticatie op serverniveau, zodat men eerst inloggegevens moet invoeren voordat de inhoud van de ontwikkelingsomgeving wordt vrijgegeven.
• IP-adressen whitelisten: Door enkel de IP’s van bevoegde te whitelisten, krijgen enkel de aangegeven personen van de IP’s toegang tot de inhoud of admin-panel van de ontwikkelingsomgeving.

Ontwikkelingsomgeving neemt prestaties over

Op het moment pagina’s uit de ontwikkelingsomgeving de prestaties van het origineel overnemen kan je de volgende vier stappen volgen:

Stap 1:       Volg de stap 1 tot 8 uit het vorige voorbeeld (t/m caching).

Stap 2:       301 redirect pagina's naar het origineel en monitor activiteiten.

Stap 3:       Lanceer een nieuw (sub)domein voor de ontwikkelingsomgeving.

Stap 4:       Implementeer HTTP toegangsauthenticatie en whitelist IP’s voor de nieuwe ontwikkelingsomgeving.

Testomgeving opzetten op de juiste manier

Een testomgeving wordt meestal opgezet via een subdomein, zoals: dev.domeinnaam.nl, test.domeinnaam.nl of staging.domeinnaam.nl. Dit is prima, mits maatregelen worden genomen omtrent HTTP authenticatie en/of het whitelisten van IP-adressen. In veel gevallen wordt dit niet gedaan. Doorgaans wordt enkel gebruik gemaakt van noindex tags, restricties in het robotsbestand of canonicals. Soms zelfs een combinatie van alle drie. Dit is geen betrouwbare werkmethode. Bovendien blijft de testomgeving zichtbaar voor derde. Je wilt tenslotte niet dat je lorem ipsum teksten en nieuwe brandingsstrategie of andere onvolmaaktheden de gebruikers verwarren of negatief beïnvloeden. 

Samenwerken met development

Je kan een zoekslag doen in Google met bijvoorbeeld site:dev.* of site:test.* om te achterhalen of er een testomgeving actief is. De beste manier is om navraag te doen bij development. Hoe gaat development om met een testomgeving? Wat is het huidige proces van testomgeving naar livegang? Op deze manier kan je adequaat inspelen op verbeteringen en een roadmap uitwerken voor het proces van staging tot livegang. Je wilt altijd dat een SEO specialist toeziet op een livegang. Het zal niet de eerste keer zijn dat een livegang tijdens je vakantie al twee weken op noindex staat.

Spampagina’s door hacks verwijderen

Je website is gehackt waardoor spampagina’s ontstaan. Spampagina’s kunnen je reputatie schaden en je SEO-prestaties in gevaar brengen. Dit wil je zo snel oplossen. Doorloop deze zes stappen voor een gepaste oplossing.

Stap 1: Ga naar de verwijderingstool uit voorgaande voorbeelden.

Stap 2: Plaats de URL die je wilt verwijderen. Na de handeling zullen de betreffende pagina’s tijdelijk uit de index gehaald worden. Herhaal dit proces zolang nodig.

Als je te maken hebt met grote aantallen spampagina’s in een specifieke folder structuur kan je kiezen voor de optie “Alle url’s met dit voorvoegsel verwijderen”. Het kan zomaar zijn dat er duizenden spampagina’s achter schuil gaan. Let op! Gebruik deze optie heel zorgvuldig, je wilt tenslotte niet per ongeluk legitieme pagina’s verwijderen.
Stap 3: Verwijder ook de gecachte versie van de spampagina's, door dezelfde stappen te volgen zoals bij het onderwerp “caching” beschreven.

Stap 4: Verwijder alle spampagina’s via een 410 status code. Hiermee geef je duidelijk aan dat ze verwijderd zijn.

Stap 5: Creëer een extra sitemap met enkel de spam-url’s. Vervolgens de XML sitemap indienen in Google Search Console. 

Stap 6: Herstel je website met een back-up en probeer te bepalen wat de oorzaak is. De oorzaak verder beveiligen met voorzorgsmaatregelen om herhaling te voorkomen.

Zodra je ervan overtuigd bent dat de spampagina’s weg zijn, en je website is hersteld, kan je de sitemap verwijderen. Tijdens dit proces wil je vooral niet de pagina’s blokkeren via het robotsbestand. In de praktijk maakt dit het proces van de-indexactie onnodig langzaam.

Pagina’s met gevoelige inhoud verwijderen

Datalek met gevoelige inhoud op je eigen website of websites van derde. Informatie over klanten en andere gebruikers of gegevens van sollicitanten. Dit kan gebeuren. Zodra je de problemen signaleert op je eigen website maak je wederom gebruik van de verwijderingstool in Google Search Console.

Stap 1: Doorloop de stappen 1 t/m 5 uit het vorige voorbeeld

Stap 2: Bekijk de oorzaak en neem maatregelen om het te voorkomen.

Ongewenste pagina’s op websites van derde verwijderen

In andere gevallen kan je ook te maken krijgen met ongewenste informatie op sites van derde. Soms door een eigen fout, dat eenvoudig te herstellen is door contact op te nemen met de beheerder van de betreffende website. Wordt er niet op gereageerd? Dan kan je bezwaar indienen bij Google. Hier zijn verschillende scenario’s toegelicht met oplossingen en hulpmiddelen.

• Persoonlijke informatie verwijderen.
• Verwijderingsverzoeken bij wettelijke kwesties.
• Rapporteren van spam en fishing.
• Copyright claims en verwante zaken 
• Verouderde content verwijderen uit de index

Monitor je website continue

Bij het verwijderen van pagina’s wil je extra aandacht besteden aan je interne linkstructuur met redirects, 410 en 404 meldingen in het bijzonder. Tools zoals Semrush en Google Search Console kunnen je hierbij helpen. Als je te maken hebt met een grote website, is het ook verstandig om regelmatig een logfile-analyse uit te voeren. Hiermee ontdek je fouten in de interne linkstructuur en hoe Googlebot omgaat met je website.  

Bedrijfsgegevens

Freelance SEO specialist
Kevin van Beek
Louis Braillelaan 80
2719 EK Zoetermeer

06-39882603
info@kevinvanbeek.nl
www.kevinvanbeek.nl

Interessant artikel? Deel het: