Robots.txt

Robots.txt je soubor instrukcí, který určuje, jaké části webu mohou nebo nemohou roboti vyhledávačů (tzv. crawlery) prohledávat. Soubor je uložen v kořenovém adresáři domény a je to první dokument, který vyhledávač otevře při návštěvě webu. Pomocí tohoto jednoduchého souboru je možné vyloučit z prohledávání domény, adresáře či jednotlivá videa, obrázkové nebo PDF soubory. Soubor může sloužit také k zákazu indexace webu a nebo k omezení procházení. Do souboru se také začleňuje odkaz na mapu webu sitemap.xml, který poskytuje vyhledávačům přehled o všech existujících adresách URL domény.

Co vše lze s pomocí robots.txt vyřešit?

• Omezení přístupu robotů k celému webu (např. při větších úpravách webu).
• Skrytí vybraných stránek / souborů (nedokončených, soukromých apod.).
• Omezení konkrétního robota, který přetěžuje server.
• Omezení robotů k přístupu k odkazům na webu (ankety, kalendáře akcí apod.).
• Zákaz procházení stránek s duplicitním obsahem.
• Usnadnění přístupu k sitemap souborům.

K vytvoření souboru je potřeba libovolný textový editor. Do něj se pak na samostatné řádky vkládají direktivy, jak se mají roboti na webu chovat. Nezvládnete si s robots.txt poradit sami? Kontaktujte nás a vyřešíme to za vás.