קובץ רובוטים – Robots.txt

קובץ טקסט שמנהלי אתרים יוצרים כדי להורות לרובוטים באינטרנט (בדרך כלל רובוטים של מנועי חיפוש) כיצד לסרוק דפים באתר האינטרנט שלהם. קובץ robots.txt הוא חלק מפרוטוקול אי הכללת הרובוטים (REP), קבוצה של תקני אינטרנט המסדירים את האופן שבו רובוטים סורקים את האינטרנט, ניגשים לתוכן ומוסיפים אותו לאינדקס ומגישים תוכן זה למשתמשים.