aiadsby boostit דברו איתנו
הצד הטכני והסריקה

Google-Extended

Google-Extended

המזהה שדרכו חוסמים שימוש בתוכן לאימון ולעיגון של ג'מיני. לפי גוגל, הוא אינו משפיע על הופעה בחיפוש ואינו מוציא אתר מסיכומי ה-AI.

עודכן:

לא סורק. מתג

Google-Extended אינו סורק. אין תוכנה שמציגה את השם הזה בבקשה, ולא תמצאו אותו ביומן שרת לעולם. הוא שם שכותבים ב-robots.txt, ושגוגל מתעדת אותו כמזהה מוצר עצמאי: את העמוד מושך Googlebot כרגיל, והמתג הזה קובע מה מותר לעשות עם מה שנמשך.

לפי התיעוד של גוגל, מה שהוא שולט בו הוא שני דברים: אם התוכן ישמש לאימון של דורות עתידיים של מודלי Gemini, ואם הוא ישמש לעיגון, כלומר להזנת תשובה במקורות פתוחים בזמן אמת, באפליקציות Gemini ובשירות העיגון של Vertex AI.

זה כל מה שהוא עושה. השורה הבאה היא הרשימה של מה שהוא לא עושה, והיא הסיבה שהמונח הזה הוא המבולבל ביותר מבין כל שמות הסורקים.

מה הוא לא עושה, במילים של גוגל

גוגל כותבת במפורש, בתיעוד הסורקים שלה, ש-Google-Extended אינו משפיע על ההכללה של אתר בחיפוש ואינו משמש כסיגנל דירוג. אתר שחסם אותו נשאר בתוצאות בדיוק כמו קודם, וגם לא עולה ולא יורד בגלל זה.

הוא גם לא מוציא אתכם מסיכומי ה-AI. הזכאות להופיע בסיכומי AI ובמצב AI נגזרת מ-Googlebot ומהאינדקס הרגיל של החיפוש, ולא מהמתג הזה. מי שרוצה להגביל את מה שגוגל מציגה מהעמוד שלו בתכונות האלה משתמש בכלים שגוגל מתעדת לכך: הגבלות על קטעי טקסט כמו nosnippet ו-max-snippet, או noindex. הכלים האלה משפיעים באותה מידה על תוצאות החיפוש הרגילות, כי זה אותו אינדקס.

המסקנה חדה ולא נעימה: אין מצב ביניים שבו אתם בחיפוש של גוגל ולא זכאים לסיכומים. מי שרוצה לצאת מהם יוצא מהחיפוש. הרחבה על המבנה הזה במדריך ה-AI של גוגל.

מה כן קורה כשחוסמים

התוכן שנסרק לא אמור להיכנס לאימון של Gemini, ולא לשמש לעיגון תשובות באפליקציית Gemini ובשירותים שבנויים עליה. השאלה אם זה פוגע בהופעה שלכם בתשובות של אפליקציית Gemini היא שאלה נפרדת מגוגל חיפוש, ולפי התיעוד התשובה היא כן: עיגון הוא בדיוק המנגנון שמביא מקור פתוח לתוך תשובה.

מה שלא ידוע: איך זה נראה בפועל, ובאיזה עיכוב. אין דוח בסרץ' קונסול שמראה מה נכנס לאימון, ואין דרך לאמת מבחוץ שהמתג כובד. מה שיש הוא הצהרה של גוגל, ולה יש היסטוריה ארוכה של ציות ל-robots.txt.

ועוד נקודה שגוגל מתעדת: בלוק בשם Google-Extended לא מקבל שום דבר בירושה מהבלוק של Googlebot ולא מהבלוק הכללי. הוא נקרא לבד. מי שרוצה לחסום תיקייה אחת מאימון צריך לכתוב אותה שוב תחת השם הזה.

מה מחפשים ביומן, אם לא אותו

את Googlebot. הוא זה שמושך, והוא זה שקובע אם אתם באינדקס. הבדיקה של שורות Googlebot ביומן היא בדיקת ההכללה בחיפוש, וממנה נגזרת גם הזכאות לסיכומים. מי שרואה אפס שורות של Googlebot בחודש נמצא בבעיה גדולה בהרבה מכל שאלה על אימון. זו גם הבדיקה הראשונה בבדיקת הסורקים והחסימות.

לגוגל יש גם היתרון הגדול ביותר באימות: היא מפרסמת קובץ טווחי כתובות, ומעבר לזה מציעה אימות בשני כיוונים לפי שם המארח. הפקודות בסעיף הבדיקה.

איך זה נראה בפועל

תרחיש מומצא: רשת של ארבע חנויות לחומרי בניין באזור השרון, עם אתר קטלוג בלי מכירה מקוונת. הבעלים שם לב שכששואלים בגוגל איפה לקנות בלוקים לגדר בשרון, סיכום ה-AI מציג את המחירים שלו לצד מחירים של מתחרה, והוא לא רצה להופיע שם. יועץ הבטיח לו יציאה מהסיכומים בשורה אחת, וכתב בקובץ User-agent: Google-Extended ואחריו Disallow: /.

עברו שלושה חודשים. הרשת עדיין בסיכומים, עם אותם מחירים, כי הסיכום נשען על האינדקס של החיפוש ולא על המתג. מה שכן קרה, ואף אחד לא ראה, הוא שהתוכן הפסיק להיות זמין לעיגון באפליקציית Gemini, שבה הרשת דווקא הופיעה יפה בשאלות על חומרים.

כשהבינו את זה, עמדו מול הבחירה האמיתית: להישאר בחיפוש ולכן גם בסיכומים, או להגביל את קטעי הטקסט עם max-snippet ולשלם על זה גם בתוצאות הרגילות. בחרו להישאר, ולעדכן את המחירים באתר במקום להסתיר אותם.

השורה של Google-Extended הוסרה, עם הערה בקובץ שמסבירה למה היא הייתה שם. מה שנלמד: המתג הזה לא עונה על השאלה שנשאלה, והוא כן ענה על שאלה שאף אחד לא שאל.

זוויות שונות

לעסק שירותים

אין כמעט תרחיש שבו המתג הזה רלוונטי לכם. אתם רוצים להיות בחיפוש, ולכן אתם זכאים לסיכומים בכל מקרה, וחסימת אימון של Gemini לא נותנת לעסק שמוכר שירות שום דבר. השאירו את השם הזה מחוץ לקובץ, ואם הוא שם, בררו מי הוסיף אותו ולמה.

לחנות מקוונת

המחירים שלכם מופיעים בסיכומים כי הם באינדקס, ושום מתג לא משנה את זה. אם המחירים שגויים בסיכום, הבעיה היא עמוד שלא מתעדכן או מחיר שנטען בדפדפן, לא הרשאה. ההשוואה מול מתחרים בסיכומים היא סוגיה של תמחור ושל תוכן, ואת זה מפרקים במדריך גוגל.

למו"ל ולמי שהתוכן הוא המוצר

זה הקהל שהמתג נוצר בשבילו. חסימה שלו היא עמדה סבירה על אימון, והיא הדבר היחיד שגוגל נותנת בלי לשלם על זה בחיפוש. מה שכדאי לדעת מראש הוא המחיר בצד של Gemini: התוכן לא ישמש לעיגון, ולכן לא יופיע כמקור בתשובות שנבנות שם.

מה זה אומר בפועל

קודם כול תבדקו אם השם הזה בכלל בקובץ שלכם, ואם כן, מי כתב אותו ומה הוא חשב שהוא עושה. ברוב המקרים הוא הגיע מבלוק מועתק שהבטיח יציאה מגוגל AI, וזו הבטחה שהמתג לא מקיים. ההחלטה אם להשאיר אותו היא החלטה על אימון ועיגון ב-Gemini בלבד, ואת ההשלכה על החיפוש ועל הסיכומים אפשר להוריד מהשולחן: אין כזו. אם מה שמטריד אתכם הוא מה מופיע בסיכום, הכלים הם קטעי טקסט ותוכן, לא הרשאות.

איך בודקים את זה לבד

  1. פתחו את כתובת האתר עם התוספת /robots.txt וחפשו Google-Extended. אם הוא שם, קראו את הבלוק כולו וזכרו שהוא לא יורש כלום מבלוקים אחרים.
  2. הבלוק שחוסם אימון ועיגון ב-Gemini ומשאיר את החיפוש כמו שהוא: User-agent: Google-Extended ואחריו Disallow: /. את Googlebot לא נוגעים.
  3. אל תחפשו את השם ביומן. grep -ci "google-extended" access.log יחזיר אפס תמיד, וזה לא אומר כלום. חפשו במקום זה: grep -ci "googlebot" access.log.
  4. אמתו שורה של Googlebot בשני כיוונים. קודם host 66.249.66.1 (הכתובת מהשורה שלכם), ובדקו שהשם שחוזר מסתיים ב-googlebot.com או ב-google.com. אחר כך host על השם שחזר, וודאו שהוא מחזיר את אותה כתובת.
  5. אפשר גם מול הרשימה: גוגל מפרסמת קובץ googlebot.json עם טווחי הכתובות של הסורק, בתיעוד הסורקים שלה. כתובת שאינה שם ולא עוברת את בדיקת שם המארח היא לא Googlebot.
  6. בסרץ' קונסול, בדוח סטטיסטיקות הסריקה, ראו שהבקשות של Googlebot מגיעות ובאיזה קוד. זו בדיקת ההכללה, ואין לה שום קשר למתג.
  7. אם המטרה היא להגביל מה מוצג מהעמוד בסיכומים, בדקו את התגיות nosnippet או max-snippet בעמוד עצמו, וזכרו שהן חלות גם על התוצאות הרגילות.

המלכודת

המלכודת היא השם. Google-Extended נשמע כמו הגרסה המורחבת של גוגל, ולכן כמו מתג שמכבה את גוגל AI, ובלוקים מועתקים מציגים אותו בדיוק כך. בפועל הוא נוגע ל-Gemini ולאימון, ולא לחיפוש ולא לסיכומים. מי שחסם אותו וחיכה לצאת מהסיכומים מחכה לשווא, ובדרך ויתר על עיגון באפליקציית Gemini בלי להתכוון. מלכודת שנייה: לחפש אותו ביומנים ולהסיק מהיעדרו שגוגל לא מגיעה. הוא לא מופיע שם אף פעם, כי הוא לא סורק. השלישית היא הירושה: בלוק בשם הזה לא מקבל את החסימות שכתבתם ל-Googlebot או לכוכבית, וצריך לחזור עליהן.

מתי זה לא רלוונטי לכם

אם אתם עסק שמחפש לקוחות ואין לכם עמדה מיוחדת על אימון, המונח הזה לא נוגע לכם, ואין שום פעולה לעשות מלבד לוודא שהוא לא הודבק לכם בקובץ בטעות. מי שמחפש כאן דרך לצאת מסיכומי ה-AI ולהישאר בחיפוש לא ימצא אותה, כי לפי גוגל היא לא קיימת. ומי שמחזיק אתר שאינו באינדקס של גוגל בכלל, למשל מערכת פנימית, לא צריך את המתג: אין מה לאמן ממה שלא נסרק.

שאלות נפוצות

חסמתי את Google-Extended. יצאתי מסיכומי ה-AI?

לא. לפי התיעוד של גוגל, המתג אינו משפיע על ההכללה בחיפוש ואינו סיגנל דירוג, והזכאות לסיכומים נגזרת מהאינדקס הרגיל. מי שרוצה להגביל מה מוצג משתמש בהגבלות על קטעי טקסט, והן פועלות גם על התוצאות הרגילות.

למה אני לא רואה אותו ביומן השרת?

כי אין סורק בשם הזה. את העמודים מושך Googlebot, והשם Google-Extended קיים רק כמזהה ב-robots.txt שמכתיב מה מותר לעשות עם מה שנמשך.

חסימה שלו פוגעת בדירוג?

לפי גוגל, לא. הוא אינו סיגנל דירוג. מה שכן משתנה הוא הזמינות של התוכן לאימון ולעיגון ב-Gemini.

אפשר לחסום רק תיקייה אחת מאימון?

כן, עם Disallow על הנתיב תחת השם הזה. רק זכרו לכתוב את זה בבלוק שלו, כי הוא לא יורש מבלוק אחר.

זה משפיע על מה שגוגל מציגה על העסק שלי בפאנל הידע?

לא ידוע לנו על קשר כזה, וגוגל לא מתעדת אחד. פאנל הידע נבנה ממקורות שגוגל מחשיבה מהימנים, ולא מהמתג הזה.

מונחים קשורים

ג'מיני

המודל והאפליקציה של גוגל.

עיגון בתוצאות חיפוש

התהליך שבו מודל מריץ חיפוש אמיתי ומרכיב את התשובה ממקורות שמצא, במקום להסתמך רק על מה שלמד באימון.

סיכומי AI

התשובה המסוכמת שגוגל מציגה בראש תוצאות החיפוש הרגילות, מעל הקישורים.

מצב AI

ממשק שיחה נפרד בתוך החיפוש של גוגל, שבו המשתמש שואל שאלה מורכבת, מקבל תשובה מלאה וממשיך לשאול.

קובץ robots.txt

קובץ טקסט בשורש הדומיין שמצהיר לאילו סורקים מותר למשוך אילו נתיבים.

סורק

תוכנה שמושכת עמודים מהאתר בשביל מנוע חיפוש או מנוע AI.

להרחבה

הערך נבדק מול המקורות הרשמיים של הפלטפורמות. כשמשהו אינו ידוע, כתוב כאן שהוא אינו ידוע. שינויים מתועדים בארכיון העדכונים.

בואו נדבר.

בלי מצגת, בלי התחייבות ובלי שיחת מכירה. עשרים דקות שבסופן תדעו אם יש כאן משהו בשבילכם.

  • מה המוצר ומי הלקוח שלכם
  • איך נמדדת אצלכם המרה היום
  • מאיזה תקציב זה מתחיל להיות הגיוני

לא בקטע של טפסים? info@boostit.co.il

בלי ספאם ובלי רשימת תפוצה. הפרטים משמשים רק כדי לחזור אליכם, לפי מדיניות הפרטיות.