Robots.txt
Το αρχείο robots.txt χρησιμοποιείται από τις περισσότερες μηχανές αναζήτησης για να λάβουν οδηγίες για την ευρετηρίαση (indexing) μιας ιστοσελίδας. Η προκαθορισμένη ρύθμιση, αν δεν εντοπιστεί το αρχείο, είναι η ευρετηρίαση όλων των αρχείων και φακέλων. Με την χρήση του εργαλείου μπορείτε να περιορίσετε περιοχές της σελίδας σας ή ολόκληρη που δεν θέλετε να καταχωρηθούν στις μηχανές αναζήτησης.
Έκδοση 1.0 - Ενημέρωση στις 06/07/2010
Επιλέξτε πιο bot θέλετε να δώσετε οδηγίες ή αφήστε την προτεινόμενη επιλογή και γράψτε στην περιοχή από κάτω όλες τις σχετικές διευθύνσεις των φακέλων που θέλετε να μην καταχωρηθούν. Συμπληρώστε κάθε φάκελο σε ξεχωριστή γραμμή
(Ενδεικτικά προστέθηκαν 2 προτεινόμενοι φάκελοι) 
