איך נוכל לעזור?

קובץ רובוטים – Robots.txt

קובץ טקסט שמנהלי אתרים יוצרים כדי להורות לרובוטים באינטרנט (בדרך כלל רובוטים של מנועי חיפוש) כיצד לסרוק דפים באתר האינטרנט שלהם. קובץ robots.txt הוא חלק מפרוטוקול אי הכללת הרובוטים (REP), קבוצה של תקני אינטרנט המסדירים את האופן שבו רובוטים סורקים את האינטרנט, ניגשים לתוכן ומוסיפים אותו לאינדקס ומגישים תוכן זה למשתמשים.

עוד מונחים

adactive
Privacy Overview

This website uses cookies so that we can provide you with the best user experience possible. Cookie information is stored in your browser and performs functions such as recognising you when you return to our website and helping our team to understand which sections of the website you find most interesting and useful.