Hoe u uw WordPress Robots.txt optimaliseert voor SEO - DeLaatbusiness

Hoe u uw WordPress Robots.txt optimaliseert voor SEO

5 min


109
6 gratis internet marketing ebooks, klik hier voor download

Onlangs vroeg een van onze lezers ons om tips voor het optimaliseren van het robots.txt-bestand om SEO te verbeteren. Het bestand Robots.txt vertelt zoekmachines hoe u uw website moet crawlen, wat het een ongelooflijk krachtige SEO-tool maakt. In dit artikel laten we u zien hoe u een perfect robots.txt-bestand voor SEO kunt maken.

Gebruik WordPress robots.txt-bestand om SEO te verbeteren

Wat is een robots.txt-bestand?

Robots.txt is een tekstbestand dat website-eigenaren kunnen maken om zoekmachines te laten weten hoe ze pagina’s op hun site moeten crawlen en indexeren.

Het wordt meestal opgeslagen in de hoofdmap, ook wel de hoofdmap van uw website genoemd. Het basisformaat voor een robots.txt-bestand ziet er als volgt uit:

1
2
3
4
5
6
7
8
User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
User-agent: [user-agent name]
Allow: [URL string to be crawled]
Sitemap: [URL of your XML Sitemap]

U kunt meerdere regels met instructies hebben om specifieke URL’s toe te staan ​​of te weigeren en meerdere sitemaps toe te voegen. Als u een URL niet weigert, gaan zoekmachines ervan uit dat ze het mogen crawlen.

Hier is hoe een voorbeeldbestand van een robots.txt-bestand eruit kan zien:

1
2
3
4
5
6
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Sitemap: https://example.com/sitemap_index.xml

In het bovenstaande voorbeeld van robots.txt hebben we zoekmachines toegestaan ​​bestanden te crawlen en te indexeren in onze map met WordPress-uploads.

Hierna hebben we zoekrobots niet toegestaan ​​voor het crawlen en indexeren van plug-ins en WordPress-beheerdersmappen.

Ten slotte hebben we de URL van onze XML-sitemap verstrekt.

Heeft u een Robots.txt-bestand nodig voor uw WordPress-site?

Als u geen robots.txt-bestand heeft, zullen zoekmachines uw website nog steeds crawlen en indexeren. U kunt zoekmachines echter niet vertellen welke pagina’s of mappen ze niet moeten crawlen.

Dit heeft weinig effect wanneer u voor het eerst een blog start en niet over veel inhoud beschikt.

Naarmate uw website echter groeit en u veel inhoud heeft, zou u waarschijnlijk beter controle willen hebben over hoe uw website wordt gecrawld en geïndexeerd.

Dit is waarom.

Zoekrobots hebben voor elke website een crawl-quotum.

Dit betekent dat ze een bepaald aantal pagina’s crawlen tijdens een crawlsessie. Als ze niet alle pagina’s van uw site hebben gecrawld, komen ze terug en worden de crawl hervat in de volgende sessie.

Dit kan de indexeringssnelheid van uw website vertragen.

U kunt dit oplossen door zoekrobots niet te laten proberen onnodige pagina’s te crawlen, zoals uw WordPress-beheerderspagina’s, plug-inbestanden en themamap.

Door onnodige pagina’s niet toe te staan, slaat u uw crawl-quotum op. Dit helpt zoekmachines om nog meer pagina’s op uw site te crawlen en ze zo snel mogelijk te indexeren.

Een andere goede reden om het robots.txt-bestand te gebruiken, is wanneer u wilt voorkomen dat zoekmachines een bericht of pagina op uw website indexeren .

Het is niet de veiligste manier om inhoud te verbergen voor het grote publiek, maar het zal u helpen voorkomen dat ze in de zoekresultaten verschijnen.

Wat moet een ideaal bestand met robots.txt eruitzien?

Veel populaire blogs gebruiken een zeer eenvoudig robots.txt-bestand. De inhoud kan variëren, afhankelijk van de behoeften van de specifieke site:

1
2
3
4
5
User-agent: *
Disallow:
 
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

Met dit robots.txt-bestand kunnen alle bots alle inhoud indexeren en krijgen ze een koppeling naar de XML-sitemaps van de website .

Voor WordPress-sites bevelen we de volgende regels aan in het robots.txt-bestand:

1
2
3
4
5
6
7
8
9
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

Dit vertel zoekmachines om alle WordPress-afbeeldingen en -bestanden te indexeren. Het verbiedt zoekrobots van het indexeren van WordPress plug-in bestanden, WordPress admin gebied, het Leesmij-bestand WordPress en affiliate links.

Door sitemaps toe te voegen aan het robots.txt-bestand, maakt u het voor Google bots gemakkelijk om alle pagina’s op uw site te vinden.

Nu u weet hoe een ideaal robots.txt -bestand eruit ziet, laten we u eens kijken hoe u een robots.txt-bestand kunt maken in WordPress.

Hoe maak je een Robots.txt bestand aan in WordPress?

Er zijn twee manieren om een ​​robots.txt-bestand te maken in WordPress. U kunt de methode kiezen die het beste voor u werkt.

Methode 1: Het bestand Robots.txt bewerken met Yoast SEO

Als u de Yoast SEO- plug-in gebruikt, wordt deze geleverd met een robots.txt-bestandsgenerator.

U kunt het gebruiken om een ​​robots.txt-bestand rechtstreeks vanuit uw WordPress-beheergebied te maken en bewerken.

Ga eenvoudig naar de SEO »Tools- pagina in uw WordPress-beheerder en klik op de link Bestandseditor.

Bestandseditor-tool in Yoast SEO

Op de volgende pagina zal Yoast SEO-pagina uw bestaande robots.txt-bestand tonen.

Als u geen robots.txt-bestand heeft, genereert Yoast SEO een robots.txt-bestand voor u.

Maak een robots.txt-bestand met Yoast SEO

Standaard voegt de robots.txt-bestandsgenerator van Yoast SEO de volgende regels toe aan uw robots.txt-bestand:

1
2
User-agent: *
Disallow: /

Het is belangrijk dat u deze tekst verwijdert, omdat deze alle zoekmachines blokkeert zodat deze uw website crawlen.

Nadat u de standaardtekst heeft verwijderd, kunt u doorgaan en uw eigen robots.txt-regels toevoegen. We raden u aan het ideale robots.txt-formaat te gebruiken dat we hierboven hebben gedeeld.

Vergeet als u klaar bent niet op de knop ‘robots.txt-bestand opslaan’ te klikken om uw wijzigingen op te slaan.

Methode 2. Bestand Robots.txt bewerken Handmatig FTP gebruiken

Voor deze methode moet u een FTP-client gebruiken om het robots.txt-bestand te bewerken.

Maak eenvoudig verbinding met uw WordPress hosting- account met behulp van een FTP-client.

Eenmaal binnen kunt u het robots.txt-bestand in de hoofdmap van uw website zien.

WordPress robots.txt-bestand bewerken met FTP

Als u er geen ziet, heeft u waarschijnlijk geen robots.txt-bestand. In dat geval kunt u gewoon doorgaan en er een maken.

Maak een robots.txt-bestand met behulp van FTP

Robots.txt is een gewoon tekstbestand, wat betekent dat u het naar uw computer kunt downloaden en het kunt bewerken met een gewone teksteditor zoals Kladblok of Teksteditor.

Nadat u uw wijzigingen hebt opgeslagen, kunt u deze opnieuw uploaden naar de hoofdmap van uw website.

Hoe test je het bestand Robots.txt?

Nadat u uw robots.txt-bestand hebt gemaakt, is het altijd een goed idee om het te testen met een robots.txt-testgereedschap.

Er zijn veel robots.txt-testgereedschappen beschikbaar, maar we raden u aan die in de Google Search Console te gebruiken .

Meld u aan bij uw Google Search Console-account en ga vervolgens naar de oude Google-zoekconsole-website.

Schakel over naar de oude Google Search Console

Hiermee gaat u naar de oude interface van Google Search Console. Vanaf hier moet u de robots.txt-tester starten die zich in het menu Crawlen bevindt.

Robots.txt testgereedschap

De tool haalt automatisch het robots.txt-bestand van uw website op en markeert de fouten en waarschuwingen als deze een fout heeft gevonden.

Laatste gedachten

Het doel van het optimaliseren van uw robots.txt-bestand is om te voorkomen dat zoekmachines pagina’s doorzoeken die niet openbaar beschikbaar zijn. Bijvoorbeeld pagina’s in uw wp-plugins map of pagina’s in uw WordPress admin map.

Een veel voorkomende mythe onder SEO-experts is dat het blokkeren van WordPress-categorieën, tags en archiefpagina’s de crawlsnelheid zal verbeteren en resulteert in snellere indexering en hogere ranglijsten.

Dit is niet waar. Het is ook in strijd met de webmasterrichtlijnen van Google.

We raden u aan het bovenstaande robots.txt-formaat te volgen om een ​​robots.txt-bestand voor uw website te maken.


What's Your Reaction?

hate hate
0
hate
confused confused
0
confused
fail fail
0
fail
fun fun
0
fun
geeky geeky
0
geeky
love love
0
love
lol lol
0
lol
omg omg
0
omg
win win
0
win
Erwin@delaatbusiness.com
Dag, Hulp nodig met internet marketing of websites maken? neem dan contact op

0 Comments

Het e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *

Choose A Format
Personality quiz
Series of questions that intends to reveal something about the personality
Trivia quiz
Series of questions with right and wrong answers that intends to check knowledge
Poll
Voting to make decisions or determine opinions
Story
Formatted Text with Embeds and Visuals
List
The Classic Internet Listicles
Countdown
The Classic Internet Countdowns
Open List
Submit your own item and vote up for the best submission
Ranked List
Upvote or downvote to decide the best list item
Meme
Upload your own images to make custom memes
Video
Youtube, Vimeo or Vine Embeds
Audio
Soundcloud or Mixcloud Embeds
Image
Photo or GIF
Gif
GIF format