סורק
תוכנה שמושכת עמודים מהאתר בשביל מנוע חיפוש או מנוע AI.
הסורק של מודעות ChatGPT
OAI-AdsBot
הסורק שבודק את עמודי הנחיתה של מודעות ב-ChatGPT לפני שהן מאושרות. אתר שחוסם אותו לא יאושר לפרסום, גם אם הקמפיין עצמו מוגדר כראוי.
עודכן:
סורק שבודק, לא סורק שמצטט
OAI-AdsBot הוא הסורק של OpenAI שניגש לדפי הנחיתה של מודעות ב-ChatGPT ובודק אותם לפני שהמודעה מאושרת. הוא לא מביא מקורות לתשובות, לא נוגע לאימון המודל, ולא פותח קישורים בשם משתמש. יש לו תפקיד אחד: לראות מה יושב בכתובת שהמפרסם הגיש.
התוצאה של החסימה שלו פשוטה וקשה. אתר שלא מאפשר לו גישה לא יאושר לפרסום, גם אם הקמפיין, הרמזים והתקציב מוגדרים כראוי. הקמפיין פשוט לא ימריא, ולא תמיד ברור למה. לכן בדיקת הגישה לפני הפעלת קמפיין קודמת לכל השאר.
למה פלטפורמה שולחת סורק לדף נחיתה
מערכת שמציגה יחידה מסחרית בתוך שיחה פרטית לוקחת על עצמה אחריות שמנוע חיפוש לוקח בצורה רופפת יותר. היא צריכה לדעת שהיא לא שולחת משתמש לדף שלא תואם את מה שהמודעה הבטיחה, לדף שאינו בטוח, או לדף בתחום שאסור לפרסם בו.
בדיקה אנושית של כל דף לא מתרחבת. סורק כן. ולכן הבדיקה נעשית מראש, על ידי מכונה, ולא בדיעבד על ידי תלונות. זה גם אומר שהדף נקרא על ידי המערכת, ולא רק על ידי אדם שלוחץ, ולכך יש השלכות על מה שכדאי שיהיה כתוב בו.
ארבעה סורקים, ארבע החלטות
ל-OpenAI יש כמה סורקים נפרדים, ולכל אחד מתג משלו בקובץ החסימות. GPTBot נוגע לאימון. OAI-SearchBot מביא מקורות לתשובות בזמן אמת, והוא זה שקובע אם תופיעו בציטוט. ChatGPT-User נכנס כשמשתמש ביקש לפתוח קישור. ו-OAI-AdsBot בודק דפי נחיתה של מודעות.
ההחלטות לא תלויות זו בזו. אפשר לחסום אימון ולהתיר פרסום. אפשר להתיר הכול חוץ מהאימון. מה שאסור הוא לחסום הכול בשורה אחת כללית ולהניח שזה נוגע רק לאימון, כי זה סוגר גם את הציטוט וגם את המודעות. ההבחנה בין המשפחות נמצאת במדריך הטכני.
מה בדיוק הסורק בודק בדף לא פורסם ברמת פירוט שאפשר להישען עליה. התיעוד מדבר על בטיחות והתאמה. מעבר לזה, כל רשימה של קריטריונים היא ניחוש.
איך אתרים חוסמים אותו בלי להתכוון
הדרך הנפוצה היא שורה בקובץ robots.txt שחוסמת כל מזהה סורק שאינו ברשימה קצרה של מוכרים. תבניות אתרים ותוספי אבטחה מוסיפים שורה כזו כברירת מחדל. הסורק מגיע, קורא את הקובץ, ומכבד אותו. הדף לא נבדק.
הדרך השנייה היא שכבת הגנה מפני בוטים בחומת האש או ברשת התוכן. היא לא קוראת את קובץ החסימות בכלל, היא פשוט מחזירה שגיאה למי שנראה לה אוטומטי. הבעיה הזו נפוצה יותר ממה שנדמה, ומפורטת במדריך חומת האש.
והדרך השלישית לא חוסמת, אלא מראה דף ריק. אתר שבונה את התוכן שלו בדפדפן אחרי הטעינה מציג לסורק שלד בלי טקסט. הסורק לא נחסם, הוא פשוט לא רואה כלום, וזה עלול להיראות לו כדף שלא תואם את המודעה. הצד הזה מוסבר במדריך הרינדור.
מה הסורק כן יכול לתת לכם
אם המערכת קוראת את הדף, אז מה שכתוב בדף זמין לה. לא פורסם איזה משקל יש לזה בהתאמה או במחיר, אבל דף שאומר במפורש מה השירות, למי, ובאיזה תנאים, נותן למערכת בסיס טוב יותר לעבוד איתו מדף שיווקי כללי. ראו סימן רלוונטיות.
ומאז 16 בספטמבר 2026, כשעסק הרשום בישראל יכול לפרסם ב-ChatGPT, זו כבר לא שאלה תיאורטית. בדיקת הגישה של הסורק הזה היא הצעד הראשון בכל הפעלה, לפני שכותבים מודעה אחת.
איך זה נראה בפועל
תרחיש מומצא: חברה שמוכרת תוכנה לניהול מרפאות. היא פותחת חשבון פרסום ב-ChatGPT, בונה קמפיין, כותבת רמזים מדויקים, ומגישה. המודעות לא מאושרות, בלי הסבר שמספק את מנהלת השיווק.
איש הפיתוח בודק את קובץ החסימות. שורה אחת, שהותקנה עם תוסף אבטחה לפני שנתיים, חוסמת כל סורק שאינו גוגל או בינג. הסורק של המודעות בפנים. גם הסורק שמביא מקורות לתשובות, מה שמסביר למה החברה מעולם לא צוטטה.
הם מסירים את השורה ומחליפים אותה בהיתר מפורש לשני הסורקים האלה, ובחסימה נפרדת לסורק האימון, כי זו ההחלטה שלהם. שולחים שוב. המודעות מאושרות.
בדרך הם גילו שדף הנחיתה מציג את המחירים דרך רכיב שנטען אחרי הטעינה, ושסורק רואה במקומו רווח ריק. את זה תיקנו בנפרד, לא בגלל המודעות, אלא כי הבינו שגם המנוע לא קרא את המחירים מעולם.
זוויות שונות
לעסק שירותים מקומי
אתרים של עסקים קטנים יושבים לרוב על תבנית מוכנה עם תוסף אבטחה, ובדיוק שם מסתתרת החסימה הגורפת. הבדיקה לוקחת דקה: לפתוח את קובץ החסימות ולקרוא. מי שמנהל את האתר עבורכם צריך לדעת להסביר כל שורה בו.
לחנות מקוונת
חנויות נוטות להפעיל שכבת הגנה מפני בוטים בגלל עומסי סריקה של משווי מחירים. השכבה הזו חוסמת גם סורקים שאתם רוצים. פתרון נכון הוא החרגה של מזהי הסורקים שאתם צריכים, לא כיבוי ההגנה כולה.
לעסק B2B
דפי נחיתה של B2B נבנים לעיתים קרובות בכלי דפי נחיתה חיצוני, על תת-דומיין, עם קובץ חסימות משלו. בדקו את הקובץ של הדומיין שבו הדף באמת יושב, לא של האתר הראשי.
מה זה אומר בפועל
לפני שפותחים קמפיין, ולפני שכותבים מודעה, פתחו את קובץ החסימות ואת הגדרות ההגנה מפני בוטים, וודאו שהסורק הזה מורשה במפורש. אחר כך בדקו שדף הנחיתה מציג את התוכן שלו גם בלי הרצת קוד בדפדפן, כי סורק שרואה דף ריק לא מאשר. ותעדו את ההחלטה: איזה סורק מותר, איזה חסום, ולמה. הקובץ הזה משתנה בכל עדכון תבנית, ומי שלא תיעד יגלה חסימה חדשה כשקמפיין ייעצר.
איך בודקים את זה לבד
- פתחו בדפדפן את הכתובת של האתר שלכם עם התוספת /robots.txt וקראו כל שורה.
- חפשו שורות של Disallow שחלות על כוכבית, כלומר על כל סורק, ובדקו אם הן חוסמות את דף הנחיתה.
- חפשו את המזהה OAI-AdsBot ואת OAI-SearchBot בקובץ. אם הם לא מוזכרים ויש חסימה גורפת, הם חסומים.
- אם יש לכם רשת תוכן או חומת אש, פתחו את הגדרות ההגנה מפני בוטים ובדקו אם יש בהן רשימת היתר. הוסיפו את המזהים.
- פתחו את דף הנחיתה עם הרצת קוד מושבתת בדפדפן, וראו אם הטקסט המרכזי והמחיר עדיין מוצגים.
- אחרי כל עדכון תבנית או תוסף, חזרו על הצעד הראשון. חסימות חוזרות בשקט.
המלכודת
המלכודת הגדולה היא לחשוב שחסימת סורקי AI היא החלטה אחת. היא ארבע, ושורה גורפת שנועדה למנוע אימון סוגרת גם את המודעות וגם את הציטוט. השנייה היא לבדוק רק את קובץ החסימות ולשכוח את שכבת ההגנה, שחוסמת בלי לקרוא אותו. השלישית היא להסיק מדף שנראה תקין בדפדפן שהוא נראה תקין לסורק. הדפדפן מריץ קוד, והסורק לא בהכרח.
מתי זה לא רלוונטי לכם
מי שלא מתכנן לפרסם ב-ChatGPT לא צריך להתעסק בסורק הזה בפני עצמו, אבל כן צריך לוודא שהחסימה שהייתה תופסת אותו לא תופסת גם את סורק החיפוש, כי זה סוגר את הציטוט. עסק בתחום שאינו מורשה לפרסום לא יגיע לשלב הבדיקה בכלל. ומי שדף הנחיתה שלו יושב על פלטפורמה שאינה מאפשרת לו לערוך את קובץ החסימות צריך לברר את זה מול הספק, לפני שהוא משלם על קמפיין.
שאלות נפוצות
אם אני חוסם את GPTBot, אני חוסם גם את סורק המודעות?
לא. אלה מזהים נפרדים עם שורות נפרדות. מה שכן חוסם את שניהם הוא שורה גורפת שחלה על כל סורק.
מה בדיוק הסורק בודק בדף?
התיעוד מדבר על בטיחות והתאמה. רשימת קריטריונים מפורטת לא פורסמה, וכל מי שמציג אחת מנחש.
הסורק מגיע גם אחרי שהמודעה אושרה?
לא פורסם לוח זמנים לבדיקות חוזרות. ההנחה הזהירה היא שהדף צריך להישאר נגיש ותואם כל עוד המודעה רצה.
איך אני יודע שהסורק ביקר אצלי?
בלוגים של השרת, לפי מזהה הסורק. זו גם הדרך לוודא שהוא לא נחסם על ידי שכבת ההגנה, שלא משאירה סימן בקובץ החסימות. ראו ניתוח לוגים.
מונחים קשורים
מזהה סורק
המחרוזת שהסורק מציג בכל בקשה, וגם השם שכותבים מולו ב-robots.txt.
קובץ robots.txt
קובץ טקסט בשורש הדומיין שמצהיר לאילו סורקים מותר למשוך אילו נתיבים.
OAI-SearchBot
הסורק של OpenAI לחיפוש: הוא שמחליט אם אתר יכול להופיע כמקור בתשובות של ChatGPT.
GPTBot
הסורק של OpenAI לאיסוף נתוני אימון.
ChatGPT-User
הסורק שפועל כשמשתמש מבקש מ-ChatGPT לפתוח עמוד מסוים בזמן אמת.
להרחבה
הערך נבדק מול המקורות הרשמיים של הפלטפורמות. כשמשהו אינו ידוע, כתוב כאן שהוא אינו ידוע. שינויים מתועדים בארכיון העדכונים.
בואו נדבר.
בלי מצגת, בלי התחייבות ובלי שיחת מכירה. עשרים דקות שבסופן תדעו אם יש כאן משהו בשבילכם.
- מה המוצר ומי הלקוח שלכם
- איך נמדדת אצלכם המרה היום
- מאיזה תקציב זה מתחיל להיות הגיוני
לא בקטע של טפסים? info@boostit.co.il