aiadsby boostit דברו איתנו
הצד הטכני והסריקה

ChatGPT-User

ChatGPT-User

הסורק שפועל כשמשתמש מבקש מ-ChatGPT לפתוח עמוד מסוים בזמן אמת. הוא פועל ביוזמת אדם, ולכן אתרים רבים בוחרים לא לחסום אותו גם כשהם חוסמים אימון.

עודכן:

לא סורק. שליח

ChatGPT-User הוא המזהה שאיתו ChatGPT ניגש לעמוד כשאדם ביקש את זה. מישהו הדביק כתובת בשיחה וביקש סיכום, או שאל שאלה שהתשובה עליה דרשה לפתוח עמוד מסוים עכשיו. לפי התיעוד של OpenAI, המזהה הזה משמש לפעולות של משתמשים ב-ChatGPT ובגרסאות המותאמות שלו, ואינו משמש לסריקה אוטומטית של הרשת ולא לאיסוף לאימון.

ההבדל בינו לבין סורק אמיתי הוא ההבדל בין מי שעובר על כל האתר לבין מי שנשלח להביא עמוד אחד. הוא לא בונה מאגר. הוא לא חוזר מעצמו. כל בקשה שלו עומדת מאחורי אדם שרצה משהו ברגע הזה, ומאחורי כל שורה ביומן יש שיחה.

המחרוזת שהוא מציג נראית כמו של דפדפן, עם תוספת של השם ChatGPT-User, מספר גרסה, וקישור לעמוד ההסבר של OpenAI. ב-robots.txt הוא מזוהה בשם ChatGPT-User.

היחס שלו ל-robots.txt

כאן יושבת הנקודה שמפתיעה אנשים. OpenAI מתעדת שמפני שהמזהה הזה פועל בבקשה של אדם, אין להניח שהוא מציית לקובץ כמו סורק אוטומטי. ההיגיון פשוט: אדם שמדביק כתובת בדפדפן לא שואל את robots.txt, והמזהה הזה הוא ידו הארוכה של אותו אדם.

המשמעות המעשית כפולה. שורה בקובץ שחוסמת אותו לא מבטיחה שהוא יפסיק להגיע. וחסימה שכן עוצרת אותו, בשכבת ההגנה או ברמת הרשת, עוצרת בפועל את המשתמש: הוא מקבל הודעה שהעמוד לא נגיש, ו-ChatGPT ממשיך לענות ממה שהוא יודע ממקורות אחרים.

מה שאנחנו לא יודעים, ואף אחד לא פרסם, הוא מה בדיוק קורה כשהוא נתקל בחסימה בקובץ: אם הוא מתעלם תמיד, לפעמים, או תלוי בסוג הבקשה. לכן הניסוח הנכון הוא לא לסמוך על הקובץ בכיוון הזה.

מה השורה ביומן אומרת, ומה לא

שורה של ChatGPT-User ביומן היא אות. מישהו, בשיחה עם ChatGPT, הגיע לעמוד שלכם. זה לא ביקור באתר, לא פגיעה בדף, ולא משהו שמערכת האנליטיקס שלכם רואה, כי הקוד שלכם לא רץ אצל מי שמשך את העמוד.

הקליק האנושי מגיע אחר כך, אם בכלל, מדפדפן רגיל, ולרוב עם פרמטר מקור שמזהה את ChatGPT. שני אירועים שונים, בשני מקומות שונים: אחד ביומן השרת ואחד באנליטיקס. מי שמחבר ביניהם רואה משהו שאף כלי לא מראה לבד: כמה פעמים העמוד נקרא בשיחה, לעומת כמה פעמים מישהו טרח להיכנס.

אין כאן מדד מוסכם, ואנחנו לא ממציאים אחד. מה שכן אפשר הוא לרשום את שני המספרים פעם בחודש ולראות אם הכיוון שלהם זהה.

למה לרוב לא חוסמים אותו

כי אדם ביקש. מי שחוסם את GPTBot מביע עמדה על אימון; מי שחוסם את ChatGPT-User מונע ממישהו שכבר מתעניין לקרוא את מה שכתבתם. הלקוח הפוטנציאלי שהדביק את עמוד המחירים שלכם וביקש הסבר יקבל במקומו הסבר ממקור אחר, אולי של מתחרה, אולי שגוי. השארת הדלת פתוחה בפניו היא חלק מפתיחת האתר למנועי התשובות.

ומכיוון שלא בטוח שהקובץ עוצר אותו בכלל, החסימה היחידה שעובדת היא ברמת הרשת, ושם היא כמעט תמיד באה כתופעת לוואי של רשימה ישנה ולא כהחלטה. הבדיקה בסעיף למטה מזהה בדיוק את המצב הזה.

איך זה נראה בפועל

תרחיש מומצא: משרד עורכי דין לדיני עבודה בפתח תקווה, שמפרסם מאמרים ארוכים על פיטורים, שימוע ופיצויים. מנהלת משאבי אנוש בחברה בינונית קוראת אחד המאמרים, מדביקה את הכתובת ב-ChatGPT, ומבקשת רשימת צעדים מעשית לפני שימוע.

ChatGPT שולח בקשה לעמוד עם המזהה ChatGPT-User. באתר של המשרד יושבת שכבת הגנה שהופעלה לפני שנתיים אחרי גל ספאם, עם רמת ניהול בוטים מחמירה. הבקשה מקבלת עמוד אתגר, המודל מודיע שלא הצליח לגשת לכתובת, ומציע סיכום ממקורות אחרים. הסיכום שהיא מקבלת נשען על מאמר של משרד אחר, והקישור בסוף מוביל לשם.

המשרד לא ראה כלום. robots.txt נקי, יומן השרת ריק מהשם הזה כי הבקשה נעצרה לפניו, והאנליטיקס לא יודע על שיחה שלא הפכה לביקור. מה שחשף את זה היה בדיקה אחת מול השם הזה משורת הפקודה, שהחזירה קוד תקין עם גוף של עמוד אתגר במקום המאמר.

התיקון היה חוק בשכבת ההגנה שמתיר את המזהה הזה, לצד סורק החיפוש, מהטווחים ש-OpenAI מפרסמת. לא כיבוי ההגנה, פתיחה נקודתית.

זוויות שונות

לעסק שירותים

כאן המזהה הזה הוא לרוב סימן טוב: מישהו כבר אצלכם, בשלב שבו הוא משווה או מבקש להבין. עמוד השירות שלכם צריך להיות קריא בלי הרצת קוד ובלי אתגר בכניסה, אחרת השיחה ממשיכה בלעדיכם. אין שום סיבה לחסום אותו.

לחנות מקוונת

אנשים מדביקים עמודי מוצר ומבקשים השוואה, בדיקת מפרט או חוות דעת על מחיר. אם המחיר והזמינות נטענים בדפדפן אחרי הטעינה, השליח מקבל עמוד בלי מספרים, ו-ChatGPT עונה שלא מצא מחיר. זו בעיה של עיבוד בצד השרת, לא של הרשאות.

ל-B2B

המקרה השכיח הוא עמוד מחירים או מסמך טכני שמישהו בצד הקונה מבקש להבין לפני פגישה. כמה כניסות כאלה בחודש, ליד אפס ביומן של סורק החיפוש, מספרות סיפור: אתם נקראים דרך אנשים שכבר מכירים אתכם, ולא מתגלים דרך שאלות פתוחות.

מה זה אומר בפועל

הפעולה הראשונה היא לוודא שהוא לא נחסם ברמת הרשת, כי זו החסימה שבאמת עוצרת אותו, והיא כמעט אף פעם לא נעשית בכוונה. אחר כך ספרו אותו ביומנים פעם בחודש ורשמו לאילו נתיבים הוא הגיע: הרשימה הזו היא רשימת העמודים שאנשים מביאים לשיחה, ואין דרך אחרת לקבל אותה. ואל תוסיפו לו שורה בקובץ בשום כיוון. חסימה שם לא מובטחת, ואישור מיותר.

איך בודקים את זה לבד

  1. שלחו בקשה עם המזהה: curl -A "ChatGPT-User" https://www.example.co.il/some-page/ וחפשו בתוצאה משפט מהעמוד. קוד 200 בלי המשפט הוא עמוד אתגר, וזו חסימה.
  2. ביומנים, ספרו: grep -ci "chatgpt-user" access.log. המספר כאן לרוב קטן בהרבה מזה של סורק החיפוש, וזה תקין: כל שורה היא שיחה.
  3. ראו לאילו עמודים הוא הגיע: grep -i "chatgpt-user" access.log | awk '{print $7}' | sort | uniq -c | sort -rn. זו רשימת העמודים שאנשים הביאו איתם ל-ChatGPT.
  4. אמתו כתובת מול הרשימה ש-OpenAI מפרסמת לסורק הזה: curl -s https://openai.com/chatgpt-user.json. הרשימה נפרדת מזו של OAI-SearchBot ומזו של GPTBot.
  5. אם ביומן השרת אין אף שורה, פתחו את תצוגת הבקשות של שכבת ההגנה או רשת ההפצה וחפשו שם את השם. יומן ריק כשיש שכבה מלפנים אינו ממצא.
  6. בדקו בקובץ robots.txt אם מישהו כתב עליו בלוק. אם יש, זכרו שהוא לא בהכרח נאכף, ושאלו למה הוא שם.

המלכודת

המלכודת הראשונה היא לחשוב שבלוק בקובץ סוגר את העניין. OpenAI עצמה מתעדת שאין להניח ציות כאן, ומי שבנה על השורה הזו לא חסם כלום. השנייה, הפוכה ויקרה יותר: שכבת הגנה שחוסמת אותו בלי ידיעה, ובכך חוסמת לקוח שכבר בשיחה. השלישית היא לספור אותו כביקור. הקוד שלכם לא רץ אצלו, האנליטיקס לא רואה אותו, ומספר השורות ביומן אינו מספר אנשים שקראו: אותו אדם יכול לגרור שלוש בקשות בשיחה אחת.

מתי זה לא רלוונטי לכם

אם אין לפני האתר שכבת סינון ואין לכם גישה ליומנים, אין כאן כמעט מה לעשות, כי המזהה הזה לא נשלט מהקובץ ולא נמדד מהאנליטיקס. גם אתר שכל התוכן שלו מאחורי התחברות לא נוגע לזה: השליח לא מתחבר. ומי שמחפש כאן מדד להצלחה בנראות לא ימצא אותו; כניסה בבקשת משתמש היא אירוע יחיד, לא מגמה.

שאלות נפוצות

אם אחסום אותו ב-robots.txt, הוא יפסיק?

לא בטוח. לפי התיעוד של OpenAI, מפני שהוא פועל בבקשת אדם אין להניח שהוא מציית לקובץ כמו סורק אוטומטי. חסימה שעוצרת אותו בפועל היא ברמת הרשת.

כניסה שלו סופרת כביקור באנליטיקס?

לא. הקוד של האתר לא רץ אצל מי שמושך את העמוד, ולכן האירוע קיים רק ביומן השרת. הביקור האנושי, אם יבוא, יגיע אחר כך מדפדפן רגיל.

הוא משמש לאימון?

לפי התיעוד, לא. איסוף לאימון נעשה על ידי GPTBot, שהוא סורק אחר עם רשימת כתובות אחרת.

למה הוא נראה ביומן כמו דפדפן?

כי המחרוזת שלו מתחילה כמו של דפדפן ומכילה את השם ChatGPT-User בהמשכה. חיפוש לפי השם תופס אותו; סינון לפי תחילת המחרוזת בלבד מפספס.

כדאי לי לעודד אנשים להדביק את הכתובת שלי ב-ChatGPT?

זו שאלה של שיווק ולא של תשתית. מה שכן בידיכם הוא שכשמישהו עושה את זה, העמוד ייפתח ויכיל את המידע בלי הרצת קוד.

מונחים קשורים

OAI-SearchBot

הסורק של OpenAI לחיפוש: הוא שמחליט אם אתר יכול להופיע כמקור בתשובות של ChatGPT.

GPTBot

הסורק של OpenAI לאיסוף נתוני אימון.

מזהה סורק

המחרוזת שהסורק מציג בכל בקשה, וגם השם שכותבים מולו ב-robots.txt.

ניתוח לוגים

קריאת יומני השרת כדי לראות אילו סורקים הגיעו בפועל, לאילו עמודים ובאיזו תדירות.

להרחבה

הערך נבדק מול המקורות הרשמיים של הפלטפורמות. כשמשהו אינו ידוע, כתוב כאן שהוא אינו ידוע. שינויים מתועדים בארכיון העדכונים.

בואו נדבר.

בלי מצגת, בלי התחייבות ובלי שיחת מכירה. עשרים דקות שבסופן תדעו אם יש כאן משהו בשבילכם.

  • מה המוצר ומי הלקוח שלכם
  • איך נמדדת אצלכם המרה היום
  • מאיזה תקציב זה מתחיל להיות הגיוני

לא בקטע של טפסים? info@boostit.co.il

בלי ספאם ובלי רשימת תפוצה. הפרטים משמשים רק כדי לחזור אליכם, לפי מדיניות הפרטיות.