aiadsby boostit דברו איתנו
הצד הטכני והסריקה

מזהה סורק

User agent

המחרוזת שהסורק מציג בכל בקשה, וגם השם שכותבים מולו ב-robots.txt. זו הידית היחידה שמאפשרת להתייחס אחרת לסורק חיפוש ולסורק אימון. בלי לדעת את השמות המדויקים כל החלטת חסימה היא ניחוש.

עודכן:

מחרוזת אחת, שני תפקידים

בכל בקשה שנשלחת לאתר נוסעת שורה שמכריזה מי שולח אותה. דפדפן שולח מחרוזת ארוכה ומסורבלת עם שם מנוע התצוגה והגרסה, וסורק שולח משהו קצר יותר וברור יותר, למשל השם OAI-SearchBot יחד עם כתובת של עמוד הסבר. זו כל הטכנולוגיה כאן: טקסט.

לשורה הזו שני שימושים שונים לגמרי, וזה מקור הבלבול. הראשון הוא זיהוי: כשאתם קוראים לוג שרת, המחרוזת היא מה שאומר לכם מי ביקר. השני הוא פנייה: ב-robots.txt כותבים User-agent ואחריו שם, וכל מה שנכתב אחריו חל על מי שנושא את השם הזה.

בשימוש הראשון המחרוזת היא עדות. בשני היא כתובת. ההבדל חשוב, כי בעדות אפשר לשקר.

איך ההתאמה נעשית, ולמה שם חלקי לא עובד

סורק שמגיע לקובץ robots.txt מחפש בו בלוק שמכוון אליו בשמו. השם אינו רגיש לאותיות גדולות וקטנות, ולכן googlebot ו-Googlebot זהים לחלוטין. ההתאמה נעשית על התחילית של השם כפי שהסורק מציג אותו, ולא כחיפוש חופשי של מילה בתוך מחרוזת.

מכאן שתי מסקנות מעשיות. הראשונה: שורה שכתוב בה User-agent עם המילה Claude לבדה אינה מובטחת לתפוס גם את ClaudeBot וגם את Claude-SearchBot, ומי שרוצה לחסום שניים כותב שני שמות. השנייה, והיקרה יותר: בלוק שמכוון לסורק בשמו מבטל עבורו לגמרי את הבלוק הכללי. אם כתבתם ל-Googlebot שורה אחת, וכל שאר החסימות שלכם יושבות תחת הכוכבית, גוגלבוט לא יראה מהן אף אחת.

ההנחה ההפוכה, שהכללים מצטברים, היא אחד המקורות הנפוצים לחסימות שלא התכוונתם אליהן.

רשימת השמות שצריך להכיר

לפי התיעוד הרשמי של החברות עצמן: OpenAI מפעילה את GPTBot לאימון, את OAI-SearchBot לחיפוש, את ChatGPT-User לבקשות של משתמש ואת OAI-AdsBot לבדיקת דפי נחיתה של מודעות. Anthropic מפעילה את ClaudeBot, את Claude-SearchBot ואת Claude-User. גוגל מפעילה את Googlebot לחיפוש ואת Google-Extended לאימון ולעיגון ב-Gemini. פרפלקסיטי מפעילה את PerplexityBot ואת Perplexity-User. מיקרוסופט מפעילה את Bingbot, ולא פרסמה סורק אימון נפרד. אפל מפעילה את Applebot ואת Applebot-Extended. מעבר על הרשימה הזו הוא מהפעולות הזולות בטיפול בצד הטכני של האתר.

הרשימה הזו זזה. חברות מוסיפות טוקנים חדשים בלי הודעה מוקדמת, ורשימה שנכתבה לפני שנתיים לא מכירה חלק מהשמות שלמעלה. זו בדיוק הסיבה שרשימות לבנות ישנות בשכבות הגנה חוסמות סורקים חדשים: לא מתוך החלטה, אלא מתוך היעדר עדכון.

איך זה נראה בפועל

תרחיש מומצא: חנות מקוונת לציוד מטבח מקצועי. מנהל האתר רצה לחסום גירוד מחירים על ידי מתחרים, ולכן ביקש מספק האחסון להתיר גישה רק למזהי דפדפן מוכרים ולרשימה קצרה של בוטים. הרשימה הלבנה נכתבה בזמנו וכללה את Googlebot ואת Bingbot, כי אלה היו הבוטים שהכירו.

שנתיים אחר כך, סורקי החיפוש של מנועי ה-AI מקבלים 403 בכל בקשה. הם לא מדווחים על זה לאיש. robots.txt של החנות פתוח לחלוטין, ולכן כל בדיקה שמסתכלת רק על הקובץ מחזירה תשובה מרגיעה. הלוגים של האתר נקיים, כי החסימה מתבצעת בשכבה שמעליו.

מה שמפצח את זה הוא בקשה אחת משורת הפקודה עם המזהה של הסורק במקום של דפדפן. אותה כתובת, אותו רגע, שתי תוצאות שונות. ברגע שרואים את זה, הדיון עובר מהאתר להגדרות ההגנה, ושם התיקון הוא להוסיף את השמות החדשים לרשימה, רצוי יחד עם אימות מול טווחי הכתובות שהחברות מפרסמות.

זוויות שונות

לעסק שכל האתר שלו על מערכת סגורה

בחלק מבוני האתרים אין גישה לקובץ robots.txt ואין גישה ללוגים, ולכן שתי הידיות שתלויות במזהה הסורק פשוט לא בידיים שלכם. מה שכן אפשר לעשות הוא בדיקה חיצונית עם מזהה סורק, ואם היא מחזירה חסימה, לפתוח פנייה לתמיכה עם הממצא המדויק במקום עם שאלה כללית.

לאתר עם תעבורה גבוהה

כאן המזהה משמש גם לניהול עומס: הגבלת קצב לפי מזהה מאפשרת להאט גורם אחד בלי לפגוע בשאר. הסכנה היא שהגבלה אגרסיבית מייצרת מצב מטעה, שבו בדיקה ידנית אחת עוברת יפה והסריקה האמיתית נכשלת אחרי עשרה עמודים.

מה זה אומר בפועל

אל תקבלו החלטה על סורק ששמו המדויק לא מול העיניים שלכם. פתחו את robots.txt, עברו על השמות אחד אחד, וודאו שסורקי החיפוש לא נגררו לתוך חסימה גורפת. אחר כך בדקו את אותם שמות גם בשכבה שלפני האתר, כי שם יושבות הרשימות שאף אחד לא מעדכן. אם אתם כותבים חוק שמתיר סורק, צרפו אליו אימות מול טווחי הכתובות שהחברה מפרסמת, אחרת פתחתם דלת לכל מי שיודע להקליד שם.

איך בודקים את זה לבד

  1. הריצו בקשה עם מזהה של סורק חיפוש ובקשה עם מזהה של דפדפן רגיל, לאותה כתובת, והשוו את קודי התגובה: curl -A "OAI-SearchBot" -o /dev/null -w "%{http_code}" https://www.example.co.il/
  2. חזרו על הבדיקה עם PerplexityBot ועם Claude-SearchBot. יש רשימות לבנות שמכירות אחד ולא מכירות את השני.
  3. בלוגים, בדקו איך המחרוזת נראית אצלכם בפועל. סורק שמציג את עצמו בשם מלא כולל לרוב גם כתובת של עמוד הסבר בתוך המחרוזת, וזו דרך מהירה לאמת שמדובר בסורק מוכרז ולא בתוכנה אקראית.
  4. אם מצאתם שורה חשודה, הצליבו את כתובת ה-IP שלה מול קבצי הטווחים שהחברה מפרסמת. התאמה היא אישור, אי התאמה היא התחזות.
  5. בדקו אם יש בקובץ שלכם בלוק בשם של סורק כלשהו. אם יש, קראו שוב את כל החסימות שתחת הכוכבית, כי הן לא חלות עליו.

המלכודת

אנשים מתייחסים למחרוזת הזו כאל תעודת זהות, והיא לא. כל תוכנה יכולה להצהיר על עצמה כ-Googlebot, וחלק מהגירוד האגרסיבי ברשת עושה בדיוק את זה. המשמעות כפולה: חוק שחוסם לפי שם לא יעצור את מי שבאמת מפריע לכם, וחוק שמתיר לפי שם פותח דלת רחבה. המלכודת השנייה היא הנחת ההצטברות: מי שכתב בלוק ספציפי לסורק ושכח לחזור בתוכו על החסימות החשובות שלו, ביטל אותן עבור אותו סורק בלי לדעת.

מתי זה לא רלוונטי לכם

אם אתם לא נוגעים ב-robots.txt, לא קוראים לוגים ואין לפני האתר שלכם שכבת סינון, המונח הזה נשאר ידע כללי. הוא נהיה מעשי ברגע שמישהו מבקש מכם לחסום, להתיר או לאבחן, ולא לפני כן. גם בדיקה חוזרת אין טעם לעשות חודש אחרי חודש: רבעון הוא קצב סביר, ומעבר לזה זו עבודה שלא מחזירה.

שאלות נפוצות

צריך לכתוב שורה שמאשרת סורק?

לא. היעדר חסימה הוא אישור. שורת Allow על לוכסן בודד, בלי שום Disallow בקובץ, לא מזיקה אבל גם לא מוסיפה כלום.

איך אני יודע מה השם המדויק של סורק?

מהתיעוד של החברה שמפעילה אותו, ולא מסיכום או מכתבה. השמות משתנים ונוספים, ורשימות של צד שלישי מתיישנות מהר.

אותיות גדולות וקטנות משנות?

בשם הסורק לא. בנתיב שכותבים בשורת Disallow כן: נתיב נבדק תו מול תו, ולכן חסימה שנכתבה באות גדולה לא תופסת כתובת שנכתבה באות קטנה.

מה קורה כשסורק לא מוצא את שמו בקובץ?

הוא נופל לבלוק הכללי, זה שמתחיל בכוכבית. אם אין גם כזה, אין עליו שום מגבלה.

מונחים קשורים

סורק

תוכנה שמושכת עמודים מהאתר בשביל מנוע חיפוש או מנוע AI.

קובץ robots.txt

קובץ טקסט בשורש הדומיין שמצהיר לאילו סורקים מותר למשוך אילו נתיבים.

ניתוח לוגים

קריאת יומני השרת כדי לראות אילו סורקים הגיעו בפועל, לאילו עמודים ובאיזו תדירות.

תגית noindex

הוראה ברמת העמוד שאומרת למנוע לא לשמור אותו באינדקס.

להרחבה

הערך נבדק מול המקורות הרשמיים של הפלטפורמות. כשמשהו אינו ידוע, כתוב כאן שהוא אינו ידוע. שינויים מתועדים בארכיון העדכונים.

בואו נדבר.

בלי מצגת, בלי התחייבות ובלי שיחת מכירה. עשרים דקות שבסופן תדעו אם יש כאן משהו בשבילכם.

  • מה המוצר ומי הלקוח שלכם
  • איך נמדדת אצלכם המרה היום
  • מאיזה תקציב זה מתחיל להיות הגיוני

לא בקטע של טפסים? info@boostit.co.il

בלי ספאם ובלי רשימת תפוצה. הפרטים משמשים רק כדי לחזור אליכם, לפי מדיניות הפרטיות.