robots.txt



Mi az a robots.txt?

A robots.txt többnyire a webhelyek root könyvtárában található és szabályozza a keresőbotokat az adott weboldalra vonatkozóan.
Azaz itt adhatunk hozzáférést az összes keresőnek, vagy bizonyos keresőmotoknak, egy teljes websitra, vagy bizonyos oldalakra szűkítve.
Erre azért van szükség, hogy segítsük a honlapunk könnyebb detektálását.

Az én robots.txt-m így néz ki:



Ebben az esetben ez azt jelenti, hogy szabadon térképezhetnek a robotok minden oldalt.
Az érdekes benne, hogy ugyanez a hatása, ha üres a robots.txt, vagy ha nincsen egyáltalán.
Ennek ellenére javasolt az alkalmazása.