aiadsby boostit דברו איתנו
הצד הטכני והסריקה

סורק

Crawler, Bot

תוכנה שמושכת עמודים מהאתר בשביל מנוע חיפוש או מנוע AI. אצל OpenAI, Anthropic וגוגל יש כמה סורקים נפרדים ולכל אחד תפקיד אחר: חיפוש, אימון או שליפה לבקשת משתמש. חסימה של אחד אינה חסימה של השני. ראו הצד הטכני של הנראות.

עודכן:

מה זה, ומה הוא לא

סורק הוא תוכנה שמבקשת עמודים מהאתר שלכם בדיוק כמו שדפדפן מבקש אותם, ושומרת את מה שחזר אצל מי שהפעיל אותה. אין לו עיניים. הוא מקבל את קוד ה-HTML כפי שהשרת שלח, ולעיתים גם קבצים נלווים, ומעביר אותם הלאה לעיבוד.

הבלבול הנפוץ הוא בין הסורק לבין המנוע. הסורק לא מחליט מה יופיע בתשובה ולא מדרג כלום, הוא רק מביא. מי שמחליט הוא שלב אחר לגמרי, שרץ מאוחר יותר ולפעמים ימים אחרי הסריקה. לכן אתר יכול להיסרק בקצב טוב ועדיין לא להופיע בשום תשובה, ולכן גם חסימה של סורק היא פעולה עם השפעה מאוחרת: היא לא מוחקת מה שכבר נאסף.

לכל חברת AI גדולה יש יותר מסורק אחד, וזו הנקודה שממנה נובעות רוב התקלות היקרות בתחום.

שלוש המשפחות, וההבדל שעולה כסף

סורקי אימון אוספים תוכן שעשוי לשמש לאימון מודלים. חסימה שלהם מונעת את השימוש הזה, ולפי התיעוד של החברות עצמן היא אינה משפיעה על ההופעה בתשובות. סורקי חיפוש הם סיפור אחר: הם בונים את המאגר שממנו המנוע שולף מקורות כשהוא עונה על שאלה בזמן אמת, ואלה הסורקים שקובעים אם בכלל תהיו מועמדים. סורקים שמופעלים על ידי משתמש נכנסים לכתובת מסוימת רק כשאדם ביקש מהמודל במפורש לפתוח אותה.

אצל OpenAI, GPTBot הוא סורק האימון, OAI-SearchBot הוא סורק החיפוש, ChatGPT-User הוא הסורק שמופעל בבקשת משתמש, ו-OAI-AdsBot בודק דפי נחיתה של מודעות. אצל Anthropic ההפרדה מקבילה: ClaudeBot, Claude-SearchBot ו-Claude-User. אצל גוגל היחס הפוך ממה שאנשים מניחים: Googlebot הוא שקובע את ההכללה בחיפוש ואת הזכאות להופיע בסיכומי AI, ו-Google-Extended נוגע לאימון ולעיגון במוצרי Gemini בלבד. פרפלקסיטי מפעילה את PerplexityBot ואת Perplexity-User.

מה שאף חברה לא מפרסמת הוא מה קורה לתוכן אחרי הסריקה. אין דרך לאמת מבחוץ שחסימה כובדה, ואין דוח.

למה בכלל אכפת לכם

מנוע AI שעונה על שאלה מבצע בדרך כלל חיפוש חי, שולף מסמכים ומנסח מהם תשובה. העמוד שלכם יכול להיכנס לתשובה רק אם הוא נמצא באותו מאגר, והוא נכנס למאגר רק אם סורק הצליח למשוך אותו. זו שרשרת של שלושה שלבים, וכל אחד מהם נשבר בשקט.

אין התראה. אין מייל. אף מנוע לא שולח הודעה כשהוא מפסיק להיכנס לאתר, ולכן המצב הזה יכול להימשך חודשים עד שמישהו שם לב שהמתחרים מוזכרים בתשובות והוא לא. בדיקה תקופתית של הגישה היא לכן חלק מהתחזוקה של הנראות האורגנית.

סורק מזויף, וסורק שנחסם לפני הדלת

קל להתחזות לסורק. מזהה הסורק הוא טקסט חופשי שכל אחד יכול לשלוח, ולכן שורה בלוג שכתוב בה GPTBot אינה הוכחה שזו באמת OpenAI. החברות מפרסמות רשימות של טווחי כתובות שמהן הסורקים שלהן פועלות, וגוגל מציעה גם אימות הפוך לפי שם המארח. מי שכותב חוק הרשאה לפי שם בלבד פותח פרצה.

בכיוון ההפוך יש תקלה נפוצה יותר. שכבת הגנה או רשת הפצה שיושבת לפני האתר יכולה לחסום סורק ברמת הרשת, לפני שהבקשה מגיעה לשרת שלכם בכלל. במצב הזה robots.txt לא רלוונטי, כי הסורק מעולם לא הגיע אליו, והלוגים של האתר נקיים כי לא נרשמה שום בקשה. זה המקרה הקשה ביותר לאבחון, והוא נפוץ באתרים שהופעלה עליהם הגנה בזמן אירוע תקיפה ומאז אף אחד לא נגע בה.

איך זה נראה בפועל

תרחיש מומצא לצורך ההסבר: משרד רואי חשבון בחיפה שמתמחה בעסקים קטנים. לפני שנה מישהו במשרד קרא כתבה על גניבת תוכן על ידי AI, העתיק בלוק חסימות ממדריך באנגלית והדביק אותו בקובץ robots.txt. הבלוק כלל ארבעה שמות: GPTBot, OAI-SearchBot, ClaudeBot ו-PerplexityBot.

מה שהתכוונו אליו הוא לא לתרום תוכן לאימון. מה שקרה בפועל הוא שני דברים שונים: שני סורקי האימון נחסמו כמתוכנן, ושני סורקי החיפוש נחסמו גם הם. מאותו רגע, כששואל מקליד ב-ChatGPT שאלה כמו "מי מתמחה בליווי עוסק מורשה באזור חיפה", המנוע מריץ חיפוש, מקבל רשימת מקורות, והמשרד הזה פשוט לא בתוכה. לא כי התוכן חלש ולא כי מישהו דירג אותו נמוך, אלא כי אין ממנו שום עמוד במאגר.

הגילוי מגיע בדרך עקיפה. לקוח מספר בשיחה שהוא שאל את ChatGPT וקיבל שלושה שמות אחרים. אז מישהו פותח את הקובץ ומוצא שם שורה שאיש כבר לא זוכר מי כתב. התיקון עצמו לוקח דקה, אבל החזרה לתשובות תלויה בקצב שבו הסורקים חוזרים, ואין מספר ידוע שאפשר להבטיח.

זוויות שונות

לעסק שירותים מקומי

כאן כל ההופעה בתשובות נשענת על מעט עמודים, לרוב עמוד הבית ועמודי השירות. חסימה של סורק חיפוש מוחקת את כולם בבת אחת, ואין לכם מלאי תוכן גדול שיפצה. מצד שני התיקון פשוט, כי האתר קטן ואפשר לעבור עליו ידנית בשעה.

לחנות מקוונת

חנויות מייצרות עשרות אלפי כתובות עם פרמטרים של סינון ומיון, וסורק שמבזבז עליהן את זמנו מגיע פחות לעמודי המוצר שמעניינים אתכם. כאן הדיון על סורקים הוא גם דיון על בזבוז: מה שווה שייסרק ומה לא. בנוסף, חנויות מרבות לשבת מאחורי שכבת הגנה עם הגבלת קצב, שנועדה לחסום גירוד מחירים וחוסמת בדרך גם סורקים לגיטימיים.

ל-B2B עם מחזור מכירה ארוך

התוכן שמכניס אתכם לתשובות הוא בדרך כלל חומר מקצועי עמוק, ולעיתים הוא יושב מאחורי טופס הרשמה או בקובץ PDF שמורידים. סורק לא ממלא טפסים. אם הידע שמבדל אתכם נעול, מבחינת המנוע הוא לא קיים, וזו החלטה עסקית שצריך לקבל במודע ולא בטעות.

מה זה אומר בפועל

התחילו מלוודא שסורקי החיפוש לא נחסמו, כי זו הבדיקה שמחזירה הכי הרבה ולוקחת הכי מעט. אחריה בדקו שהשכבה שלפני האתר לא חוסמת אותם ברמת הרשת. רק אחר כך עברו לשאלות של תוכן. ההחלטה אם לחסום סורקי אימון היא עסקית ולא טכנית: לרוב העסקים שמחפשים לקוחות היא מיותרת, ולמי שהתוכן עצמו הוא המוצר שלו היא לגיטימית לגמרי. מי שמחליט לחסום שיכתוב בקובץ הערה עם תאריך וסיבה, כי בעוד שנה אף אחד לא יזכור.

איך בודקים את זה לבד

  1. פתחו בדפדפן את הכתובת של האתר שלכם עם התוספת robots.txt בסוף, וחפשו בטקסט את השמות OAI-SearchBot, Claude-SearchBot, PerplexityBot ו-Googlebot. אם אחד מהם מופיע עם Disallow על לוכסן בודד, אתם חסומים.
  2. חפשו גם User-agent עם כוכבית, ובדקו אילו נתיבים חסומים תחתיו. כלל כללי חל על כל סורק שלא הוזכר בשמו בקובץ.
  3. משורת פקודה, בקשו את עמוד הבית עם מזהה של סורק חיפוש: curl -A "OAI-SearchBot" -I https://www.example.co.il/ . קוד תגובה 200 הוא תקין, 403 הוא חסימה בשכבת ההגנה.
  4. חזרו על אותה בקשה בלי הדגל שמחזיר רק כותרות, וחפשו בגוף התשובה משפט שאתם יודעים שמופיע בעמוד. קוד 200 שמחזיר עמוד אתגר של שכבת הגנה נראה תקין לגמרי ואינו תקין.
  5. אם יש לכם גישה ללוגי השרת, חפשו בהם את שמות הסורקים משבועיים אחרונים. אפס שורות בשבועיים הוא ממצא, לא היעדר ממצא.
  6. תעדו את התאריך שבו שיניתם משהו. בלי נקודת זמן לא תוכלו לקשור בין התיקון לבין מה שקרה אחריו.

המלכודת

המלכודת הגדולה היא ההנחה שסורק הוא סורק. חסימת GPTBot נשמעת כמו "חסמתי את ChatGPT", ובפועל היא חוסמת אימון בלבד ומשאירה את החיפוש פתוח. חסימת OAI-SearchBot נשמעת כמו פרט טכני, והיא זו שמוציאה אתכם מהתשובות. שני האנשים שעושים את הטעויות האלה קראו את אותה כתבה. מלכודת שנייה, קטנה יותר אבל יקרה: להניח שאם robots.txt נקי אז הכול בסדר. הקובץ הוא רק השכבה הפנימית, ומעליו יש עוד שתיים שיכולות לעצור בקשה בלי להשאיר עקבות.

מתי זה לא רלוונטי לכם

אם האתר שלכם ממילא פתוח לגמרי ואין לפניו שכבת הגנה, אין כאן עבודה לעשות. היעדר חסימה הוא אישור, ואין שום צורך להוסיף שורות שמאשרות סורק במפורש. גם מי שאין לו אתר בכלל, ופועל רק דרך פרופילים חיצוניים ומדיה חברתית, לא יפיק מהעמוד הזה כלום: אין מה לסרוק, והנראות שלו נשענת על מקורות של אחרים.

שאלות נפוצות

איזה סורק באמת קובע אם אופיע ב-ChatGPT?

OAI-SearchBot. הוא זה שמזין את החיפוש שממנו נשלפים מקורות לתשובה. GPTBot נוגע לאימון, ו-ChatGPT-User נכנס רק כשמשתמש הדביק כתובת וביקש לקרוא אותה.

אם אחסום סורקי אימון, אפגע בהופעה שלי בתשובות?

לפי התיעוד של החברות, לא. ההפרדה בין המשפחות קיימת בדיוק בשביל זה. מה שאף אחד לא יכול לאמת מבחוץ הוא האם החסימה כובדה בפועל.

כמה זמן לוקח לסורק לחזור אחרי שפתחתי חסימה?

אין מספר ידוע. זה תלוי בגודל האתר, בקצב העדכונים שלו ובהחלטות של החברה, ואף חברה לא מפרסמת את הכלל. מי שמבטיח לכם טווח זמן ממציא אותו.

אפשר להזמין סורק AI לאתר, כמו שמגישים כתובת בסרץ' קונסול?

לא. אין ממשק הגשה ואין תור עדיפות לסורקי AI, ומי שמוכר "אינדוקס מהיר לסורקי AI" מוכר מוצר שלא קיים.

הבוט שאני רואה בלוגים אמיתי?

לא בהכרח. המזהה הוא טקסט חופשי שכל אחד יכול לשלוח. אימות אמיתי נעשה מול טווחי הכתובות שהחברות מפרסמות, או מול שם המארח בשיטה של גוגל.

מונחים קשורים

מזהה סורק

המחרוזת שהסורק מציג בכל בקשה, וגם השם שכותבים מולו ב-robots.txt.

קובץ robots.txt

קובץ טקסט בשורש הדומיין שמצהיר לאילו סורקים מותר למשוך אילו נתיבים.

אינדקס

המאגר שבו מנוע החיפוש שומר עמודים אחרי שסרק אותם, וממנו הוא שולף מועמדים לתשובה.

ניתוח לוגים

קריאת יומני השרת כדי לראות אילו סורקים הגיעו בפועל, לאילו עמודים ובאיזו תדירות.

להרחבה

הערך נבדק מול המקורות הרשמיים של הפלטפורמות. כשמשהו אינו ידוע, כתוב כאן שהוא אינו ידוע. שינויים מתועדים בארכיון העדכונים.

בואו נדבר.

בלי מצגת, בלי התחייבות ובלי שיחת מכירה. עשרים דקות שבסופן תדעו אם יש כאן משהו בשבילכם.

  • מה המוצר ומי הלקוח שלכם
  • איך נמדדת אצלכם המרה היום
  • מאיזה תקציב זה מתחיל להיות הגיוני

לא בקטע של טפסים? info@boostit.co.il

בלי ספאם ובלי רשימת תפוצה. הפרטים משמשים רק כדי לחזור אליכם, לפי מדיניות הפרטיות.