Robots.txt

Robots.txt je textový súbor, pomocou ktorého informujeme vyhľadávacieho robota o tom, ktoré stránky (a podstránky) môže a ktoré, naopak, nesmie prechádzať. Tento súbor sa umiestňuje do koreňového adresára webových stránok a následne sa nachádza na stránke www.vasa-domena.sk/robots.txt. Súbor slúži pre vyhľadávacie roboty ako základný zápis pravidiel prechádzania webom. Ak chceme dôsledne zakázať prechádzanie a indexovanie konkrétnej stránky, je vhodné okrem pravidla v súbore robots.txt využiť aj zákaz prechádzania v meta tagu robots v zdrojovom HTML kóde priamo na konkrétnej stránke. Pre Seznam.cz je navyše vhodné do súboru robots.txt vložiť URL odkaz vedúci na mapu stránok sitemap.xml.