זחלן – Crawler
סורק אינטרנט, הידוע גם בשם עכביש רשת, הוא בוט שמחפש ומוסיף לאינדקס תוכן באינטרנט. בעיקרו של דבר, זחלנים אחראים להבנת התוכן בדף אינטרנט כדי שיוכלו לאחזר אותו. בדרך כלל, זחלנים מופעלים על ידי מנועי חיפוש עם אלגוריתמים משלהם. האלגוריתם יגיד לזחלן כיצד למצוא מידע רלוונטי בתגובה לשאילתת חיפוש.