Väčšina ostrieľaných blogerov určite vie, čo je súbor robots.txt a prečo potrebujete tento súbor. Lenže máloktorý autor sa po inštalácii blogu na WordPress okamžite zhrnie do vytvorenia súboru robots.txt.
Robots.txt je textový súbor, ktorý sa nahrá do koreňového adresára vášho webu a obsahuje pokyny pre prehľadávače. Hlavným účelom jeho použitia je zakázať indexovanie jednotlivých stránok a sekcií na webe. Pomocou súboru robots.txt však môžete určiť aj správne zrkadlo domény, predpísať cestu k súboru Sitemap a podobne.
Väčšina moderných vyhľadávacích nástrojov sa naučila dobre orientovať v populárnom CMS a zvyčajne sa neskúša indexovať obsah, ktorý na to nie je určený. Google napríklad nebude indexovať vašu oblasť správy blogu WordPress, aj keď ju nezadáte priamo v súbore robots.txt. V niektorých prípadoch však môže byť použitie priamych zákazov stále užitočné. A to hovoríme predovšetkým o zákaze duplicitného obsahu.
Niektorí správcovia webových stránok zachádzajú až tak ďaleko, že zakazujú indexovanie stránok kategórií a značiek, pretože ich obsah čiastočne duplikuje obsah hlavnej stránky. Väčšina sa ale obmedzuje na zákaz sledovania a stránok feedu, ktoré úplne duplikujú obsah článku a vôbec nie sú určené pre vyhľadávače. Takéto preventívne opatrenie nielenže urobí výsledky webu „čistejšie“, ale aj ušetrí vás od možných filtrov vyhľadávania, najmä po zavedení nového algoritmu Google Panda.
Tu sú odporúčané smernice pre súbor robots.txt (bude fungovať takmer pre každý blog WordPress):
User-Agent: * Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /xmlrpc.php Disallow: / wp-admin Disallow: / wp-includes Disallow: / wp-content / plugins Disallow: / wp-content / cache Disallow: / wp-content / themes Disallow: / trackback / Disallow: / feed / Disallow: * / trackback / Disallow: * / feed /
Upozorňujeme, že v súbore robots.txt sú administratívne priečinky wp-admin a wp-includes na indexovanie úplne uzavreté. Priečinok wp-content je uzavretý iba čiastočne, pretože obsahuje adresár uploads, ktorý obsahuje všetky obrázky z vášho blogu, ktoré by mali byť indexované.
Všetko, čo musíte urobiť, je skopírovať smernice z vyššie uvedeného kódu (všimnite si, že každá smernica musí byť napísaná na novom riadku), uložiť ich do textového súboru s názvom robots.txt a nahrať ich do koreňového adresára vášho webu.
To, či súbor robots.txt pracuje správne, môžete kedykoľvek skontrolovať pomocou rozhraní Google Webmaster Tools a Yandex Webmaster.
