כשהחסימה לא נמצאת ב-robots.txt בכלל

חסימה ב-robots.txt היא בקשה. שכבת הגנה או CDN הם דלת. סורק שנתקל בבקשה בוחר לכבד אותה, סורק שנתקל בדלת סגורה פשוט לא נכנס, לא מקבל הסבר, ולא מותיר שורה בלוגים של האתר שלכם. זה ההבדל שהופך את המקרה הזה לקשה לאבחון, וזו גם הסיבה שהוא נשאר פתוח באתרים שלמים במשך שנים. במדריך הטכני הזכרנו אותו בקצרה. כאן הוא הנושא.

למה בדיקת robots.txt לא תופסת את זה?

הבדיקה הסטנדרטית היא לפתוח את הקובץ ולעבור על שמות הסורקים. אפשר לעשות אותה גם דרך בודק ה-robots, והיא מכסה שכבה אחת בלבד: מה שהאתר עצמו מצהיר.

הבעיה היא שהקובץ נשלף רק אחרי שהבקשה התקבלה. אם השכבה שלפני האתר חוסמת את הסורק, הוא לא מגיע אפילו לקובץ. מבחינתו הדומיין לא נענה, או שהחזיר עמוד אבטחה שאין בו תוכן. הקובץ שלכם יכול להיות מושלם, וזה לא משנה דבר.

מכאן נובעת עוד תוצאה לא אינטואיטיבית: בדיקה מהדפדפן שלכם לא מוכיחה כלום. אתם מגיעים מכתובת ישראלית, עם דפדפן אמיתי, עם עוגייה של ביקור קודם ולפעמים גם עם חיבור מוכר. הסורק מגיע ממרכז נתונים בחו"ל, בלי היסטוריה, בלי הרצת קוד, ועם מזהה שאומר בפירוש שהוא בוט. שני מבקרים שונים לגמרי, ורק אחד מהם נבדק.

שלוש שכבות שיכולות לעצור בקשה

רשת ההפצה וחומת האש שלפני האתר. השכבה החיצונית ביותר. היא רואה את כל התעבורה לפני שהיא מגיעה לשרת, ויש בה חוקים מוכנים מראש לניהול בוטים. חלק מהחוקים האלה מפעילים אתגר, כלומר עמוד ביניים שדורש הרצת קוד או פתרון שהסורק לא יכול לעבור. מבחינת הסורק זה לא סירוב אלא עמוד ריק, וזו בדיוק הסיבה שקשה לזהות את זה.

שרת האחסון. הרבה חברות אחסון מפעילות מודול הגנה משלהן ברמת השרת, לרוב בלי שביקשתם ובלי שאתם רואים אותו בממשק הניהול. הוא חוסם לפי קצב בקשות, לפי מדינת מקור, ולפי מזהי בוטים מרשימה שמתעדכנת אצל הספק ולא אצלכם.

תוסף האבטחה באתר. בוורדפרס במיוחד. תוספי חומת אש מכילים מנוע חסימה משלהם, כולל חסימה לפי מדינה, לפי מזהה דפדפן ולפי חשד לסריקה מהירה. כאן דווקא כן נשארות עקבות, כי החסימה מתבצעת בתוך האתר ומתועדת ביומן של התוסף.

השכבות פועלות בסדר הזה, מבחוץ פנימה. בקשה נעצרת ברגע שאחת מהן אומרת לא, ומספיק שהעליונה חוסמת כדי ששתי האחרות בכלל לא יידעו שהיה ניסיון. לכן חיפוש ביומן של תוסף האבטחה יכול לחזור ריק גם כשיש חסימה מלאה.

למה זה נפוץ במיוחד באתרים ישראליים?

שלוש סיבות שמצטברות זו על זו.

הראשונה היא היסטוריה של אירועים. אתרים ישראליים רבים עברו גל של תקיפות והזרקות ספאם, ובעקבותיו הופעלה עליהם שכבת הגנה בהגדרה מחמירה, לפעמים באמצע לילה ובלחץ. ההגדרה הזאת מעולם לא רוככה אחר כך, כי היא עשתה את העבודה ואף אחד לא רצה לגעת במה שעובד.

השנייה היא חסימה לפי מדינה. עסק שמוכר רק בישראל שואל את עצמו בצדק למה שתגיע אליו תעבורה ממדינות שהוא לא משרת, ומגביל את הגישה לישראל בלבד. סורקי ה-AI רצים כולם ממרכזי נתונים בחו"ל, בעיקר בארצות הברית. חסימה גיאוגרפית שנראית הגיונית לחלוטין מבחינה עסקית מוציאה אותם החוצה במכה אחת, ואיתם גם Googlebot ו-Bingbot.

השלישית היא שרשרת אחריות מפוצלת. באתר ישראלי טיפוסי הדומיין רשום אצל גורם אחד, האחסון אצל שני, שכבת ההגנה הוגדרה על ידי שלישי שכבר לא עובד עם העסק, והאתר מתוחזק על ידי רביעי. כשמישהו שואל מי חוסם, התשובה הכנה היא שאף אחד לא יודע. זה בדיוק סוג הכשל שמופיע גם בעמוד הטעויות: לא החלטה שגויה, אלא היעדר בעלות.

סדר האבחון

הרעיון הוא להתקדם מהבדיקה שמוכיחה הכי הרבה בהכי מעט מאמץ, ולעצור ברגע שנמצא ממצא.

שלב 4 הוא זה שהכי הרבה אנשים מדלגים עליו, והוא גם המטעה מכולם. הרבה מנגנוני הגנה לא מחזירים קוד שגיאה אלא קוד תקין עם עמוד ביניים, כי זה מה שמאפשר לגולש אנושי להמשיך אחרי שנייה. כלי בדיקה שמסתכל רק על הקוד ידווח שהכול תקין. הדרך היחידה לדעת היא לחפש בגוף התשובה משפט מהתוכן שלכם, בדיוק כמו בדיקת הרצת הקוד שתוארה במדריך הטכני.

מה מחפשים בהגדרות עצמן?

אחרי שהאבחון הצביע על שכבה, אלה השדות שכדאי לעבור עליהם.

ניהול בוטים. לרוב יש מתג אחד עם כמה רמות. הרמה המחמירה חוסמת כל מה שאינו דפדפן מוכר, כולל סורקים לגיטימיים. הרמה הבינונית מפעילה אתגר, שהתוצאה שלו מבחינת סורק זהה לחסימה. רק הרמה הבסיסית מאפשרת מעבר עם רישום ביומן.

חוקי מדינה. לחפש רשימת מדינות מותרות. אם קיימת כזו, זה כמעט תמיד הממצא.

הגבלת קצב. סורק שמושך עשרות עמודים בדקה נראה בדיוק כמו תוקף. הגבלה אגרסיבית לא חוסמת את הבקשה הראשונה אלא את הסריקה, ולכן היא מייצרת מצב מבלבל שבו בדיקה ידנית עוברת בהצלחה והסריקה האמיתית נכשלת אחרי כמה עמודים.

רשימות ברירת מחדל של הספק. יש ספקים שמסמנים כחשוד כל מזהה שאינו ברשימה לבנה קצרה, שנכתבה לפני שהסורקים החדשים בכלל היו קיימים. OAI-SearchBot ו-Claude-SearchBot הם טוקנים חדשים יחסית, ורשימה שלא עודכנה פשוט לא מכירה אותם. שינויים כאלה אנחנו מתעדים בארכיון העדכונים.

חסימות ידניות ישנות. לחפש רשומות שנוספו בתאריך של אירוע. אם יש שם טווחי כתובות שנחסמו לפני שנתיים, שווה לבדוק למי הם שייכים היום.

הדרך הנכונה לפתוח: לפי מזהה ובאימות

הפיתוי אחרי אבחון כזה הוא לכבות את ההגנה. זו טעות, כי הסיבה שבגללה היא הופעלה בדרך כלל עדיין קיימת.

מה שעושים במקום זה לפתוח בדיוק את מה שצריך. הרשימה שרלוונטית לנראות היא סורקי החיפוש: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot ו-Bingbot. ההפרדה בינם לבין סורקי האימון מוסברת במלואה במדריך הטכני, והמשמעות שלה לכל מנוע בנפרד במדריך ChatGPT ובמדריך גוגל.

ההתנגדות המוצדקת לרשימה כזו היא שקל להתחזות למזהה, ולכן פתיחה לפי שם בלבד באמת פותחת פרצה. הפתרון הוא לצרף אימות מקור: החברות מפרסמות את טווחי הכתובות שמהן הסורקים שלהן רצים, ובגוגל יש גם אימות הפוך של שם המארח. חוק שמתיר מזהה מסוים רק מטווח מאושר נותן את הנראות בלי לוותר על ההגנה. זו עבודה של שעה למי שמכיר את הממשק, והיא הדבר הנכון לעשות.

נקודה אחרונה שכדאי להכיר, והיא הפכה מעשית: OAI-AdsBot, שבודק דפי נחיתה של מודעות, נחסם בדיוק באותה צורה. מ-16 בספטמבר 2026 פרסום ב-ChatGPT פתוח לרכישה לעסק הרשום בישראל, ולכן זו כבר לא שאלה תיאורטית: דף נחיתה שחסום ברמת הרשת נופל בבדיקה של OpenAI, והמפרסם רואה קמפיין שלא ממריא בלי שום הסבר בממשק. מי ששוקל להיכנס לערוץ המשולם כדאי שיוסיף את המזהה הזה לאותו חוק שפותח את סורקי החיפוש, לפני שהוא בונה קמפיין ולא אחרי.

בפועל זו הבדיקה הראשונה שנעשית לפני פתיחת חשבון מפרסם והקמת קמפיין, כי דף נחיתה שחסום ברמת הרשת הופך את תקציב המדיה להוצאה שאיש לא רואה את הצד השני שלה.

מה לא לעשות?

לא להגיש תוכן שונה למי שמזוהה כבוט. הפיתוי הוא לעקוף את שכבת ההגנה כך שסורק יקבל גרסה מיוחדת. זו הגשה שונה לבוט ולאדם, והיא הפרה מוכרת שמנועי חיפוש מטפלים בה שנים.

לא להסתפק בבדיקה אחת ביום שבו בוצע התיקון. הגדרות בשכבת הגנה חוזרות לברירת מחדל אחרי עדכון, אחרי החלפת חבילה ואחרי התערבות של הספק. שווה לחזור על שלב 2 בסדר האבחון פעם ברבעון. הכלים שעושים את המעקב הזה עבורכם סקורים בעמוד כלי המעקב.

לא להסיק מירידה בתנועה לבדה. ירידה יכולה לנבוע מהרבה סיבות, והן נדונות בעמוד ירידת התנועה. חסימה ברמת הרשת מייצרת דפוס מסוים: היעלמות מלאה ולא הדרגתית, בכל המנועים בו זמנית, בלי קשר לאיכות התוכן. אם זה הדפוס אצלכם, מתחילים כאן ולא בכתיבה מחדש, ואין טעם לגעת בתוכן לפני שהשכבה הזאת נבדקה.

לא לתקן ולשכוח למדוד. אחרי פתיחה, האזכורים לא חוזרים למחרת. צריך נקודת ייחוס לפני ואחרי לפי שיטת המדידה, ומעקב אחרי התנועה שמגיעה מהמנועים לאתר. ואם התסמין שלכם הוא היעדר מוחלט מ-ChatGPT, ההסבר המסודר לו נמצא בעמוד הייעודי.

מה עדיין לא ידוע

אף חברה לא מפרסמת מה סורק שלה עושה אחרי שנחסם: אם הוא מנסה שוב, כמה זמן הוא ממתין, וכמה כישלונות רצופים גורמים לו להוריד את תדירות הסריקה או להפסיק אותה. לכן אין דרך לדעת מראש כמה זמן ייקח לאתר לחזור אחרי הסרת החסימה, והמקרים שראינו נעים בטווח רחב מדי מכדי להסיק ממנו כלל.

גם רשימות טווחי הכתובות אינן אחידות. חלק מהחברות מפרסמות אותן ומתחזקות אותן, אחרות לא מפרסמות בכלל, ואין התחייבות שרשימה תעודכן לפני שינוי בפועל. המשמעות היא שחוק שמבוסס על טווחים דורש בדיקה תקופתית, והוא לא משהו שמגדירים פעם אחת ושוכחים.

הרשימה המרוכזת של מה שכדאי לעבור עליו נמצאת ברשימת הבדיקה, שאלות נפוצות בעמוד השאלות והתשובות, והמונחים שמופיעים כאן מוסברים במילון.