סורק
תוכנה שמושכת עמודים מהאתר בשביל מנוע חיפוש או מנוע AI.
אינדקס
Index
המאגר שבו מנוע החיפוש שומר עמודים אחרי שסרק אותם, וממנו הוא שולף מועמדים לתשובה. סריקה אינה אינדוקס: אפשר להיסרק ולא להישמר. מנועי AI ששולפים בזמן אמת נשענים על אינדקס החיפוש, ולכן עמוד שאינו באינדקס אינו מועמד גם לתשובה.
עודכן:
המאגר, לא הסריקה
אינדקס הוא המאגר שבו מנוע חיפוש שומר עמודים אחרי שסרק אותם, מפורקים ומסודרים כך שאפשר לשלוף מהם במהירות. זה לא עותק של האינטרנט אלא ייצוג שלו: טקסט, כותרות, קישורים, מטא-נתונים, ובמערכות מודרניות גם ייצוגים מספריים שמאפשרים התאמה לפי משמעות.
השלב הזה נפרד מהסריקה, וזה ההבדל שאנשים מפספסים. אפשר להיסרק ולא להישמר. מנוע מושך עמוד, מעריך אותו, ומחליט אם הוא ראוי לשמירה בכלל. עמודים דלים, כפולים או חסרי ערך נזרקים בשלב הזה בלי שום הודעה.
כשמנוע AI עונה על שאלה עם מקורות, הוא בדרך כלל מריץ חיפוש ושולף מהמאגר הזה. עמוד שאינו בו אינו מועמד, וכל עבודת התוכן שנעשתה עליו לא נבדקת בכלל. זה גם הסדר שבו מתחילה העבודה על נראות בתשובות: קודם המאגר, אחר כך התוכן.
מה קורה לעמוד בדרך פנימה
השלב הראשון הוא גילוי: המנוע לומד שהכתובת קיימת, דרך קישור, דרך מפת אתר או דרך הפניה. השני הוא סריקה, כלומר בקשה בפועל. השלישי הוא עיבוד, שבו הקוד הופך לתוכן, ובגוגל זה כולל שלב נפרד ומאוחר של הרצת קוד. הרביעי הוא ההחלטה עצמה.
בשלב הרביעי נבחנים כמה דברים: האם יש כאן תוכן שאין כבר במקום אחר, האם העמוד הוא הגרסה הרשמית של עצמו או שיש לו כמה כתובות, והאם הוא מצהיר במפורש שאסור לשמור אותו. עמוד שנפל באחד מאלה ייסרק שוב ושוב ולא ייכנס.
לגבי מנועי AI, המידה שבה הם מחזיקים מאגר עצמאי משלהם לעומת שימוש במאגרים של מנועי חיפוש אינה מפורסמת במלואה, וכל טענה מדויקת בנושא הזה היא ניחוש.
למה עמודים נופלים בשלב הזה
הסיבה הנפוצה ביותר היא כפילות. שני עמודים שאומרים כמעט אותו דבר נכנסים לקבוצה אחת, והמנוע בוחר מהם אחד לייצג. השאר נשמרים לכל היותר כהפניה פנימית, ולרוב פשוט לא נשמרים.
סיבה שנייה היא עומק ערך נמוך: עמוד שהוא בעיקר תבנית, טופס, או רשימת קישורים בלי תוכן משלו. סיבה שלישית, טכנית לגמרי, היא שהעמוד הגיע ריק כי כל הטקסט שלו נבנה בדפדפן. סיבה רביעית היא הצהרה מפורשת של האתר עצמו, בתגית או בכותרת HTTP, שאף אחד לא זוכר מי הוסיף.
כשאתר עולה מחדש, הצהרת חסימה זמנית שנשכחה בסביבת הפיתוח היא אחד הכשלים היקרים שאנחנו רואים, כי היא שקטה לחלוטין.
להיות באינדקס זה תנאי, לא הישג
נוכחות במאגר היא כרטיס כניסה למכרז ולא מקום בו. אחריה יש עוד כמה שלבים: להיבחר כמועמד לשאילתה מסוימת, לעבור דירוג מחדש, ולבסוף להיבחר כמקור שראוי לצטט. עמוד יכול להיות שמור יפה ולהיות מצוטט אף פעם.
מצד שני, כל ההשקעה בתוכן, בסימון מובנה ובקישורים חסרת משמעות בלי השלב הזה. זו הסיבה שהבדיקה הטכנית תמיד באה לפני כתיבה מחדש.
איך זה נראה בפועל
תרחיש מומצא: חברת תוכנה שמוכרת מערכת לניהול גיוס למחלקות משאבי אנוש. השיווק כתב שנים עשרה מאמרים על תהליכי גיוס, כל אחד בעמוד נפרד, וכולם עלו באותו חודש.
חצי שנה אחר כך מסתבר שרק ארבעה מהם שמורים בפועל. השמונה האחרים נסרקו ולא נכנסו, משתי סיבות שונות: חמישה מהם חופפים כמעט לחלוטין זה לזה, כי נכתבו מאותו תדריך עם ניסוח אחר, ושלושה יושבים בכתובת שקיימת גם עם פרמטר מעקב ובלעדיו, בלי הצהרה איזו גרסה רשמית.
מבחינת נראות ב-AI התוצאה חדה. כששואל מקליד שאלה על השוואת שיטות סינון מועמדים, המנוע שולף מקורות מהמאגר, ושמונה מתוך שנים עשר העמודים של החברה לא נמצאים שם כדי להישלף. התיקון כאן אינו לכתוב עוד מאמרים אלא לאחד את החמישה לעמוד אחד עמוק יותר ולהצהיר כתובת מועדפת לשלושה הנותרים.
זוויות שונות
לחנות מקוונת
חנויות מייצרות הרבה יותר כתובות ממה שיש להן מוצרים: סינון, מיון, עמודי המשך ווריאנטים. חלק גדול מהן לא אמור להישמר בכלל, ומי שלא מנהל את זה מגלה שעמודי המוצר החשובים מתחרים על תשומת הלב של המנוע מול אלפי כתובות ריקות מתוכן.
לעסק שירותים מקומי
כאן מדובר בעשרות עמודים לכל היותר, ולכן אפשר לעבור עליהם אחד אחד ולדעת בדיוק מה המצב. הבעיה הטיפוסית אינה כמות אלא עמודי שירות שנבנו מתבנית אחת עם החלפת שם עיר, שנראים למנוע כאותו עמוד שוב ושוב.
לעסק שפרסם אתר חדש
אחרי העלאה מחדש יש חלון של שבועות שבו המצב לא יציב, ולכן אין טעם להסיק מסקנות מוקדם. מה שכן חייבים לבדוק ביום הראשון הוא שהצהרות החסימה מסביבת הפיתוח לא נסעו לאתר החי.
מה זה אומר בפועל
בדקו כמה עמודים שלכם באמת שמורים, לא כמה יש לכם באתר. אם יש פער גדול, אל תמהרו לכתוב תוכן חדש: עברו על סיבות הנפילה לפי סדר, מהכפילות ועד ההצהרות הטכניות. במקום להוסיף עשרה עמודים חדשים, לרוב עדיף לאחד חמישה קיימים לעמוד אחד שיש בו מה שאין באחרים. עמוד שאין לו סיבה להתקיים לא ישתפר מסימון מובנה ולא מקישור פנימי.
איך בודקים את זה לבד
- בגוגל, חפשו site: ואחריו הדומיין שלכם בלי רווח. המספר שמוצג הוא הערכה גסה, אבל פער של פי כמה מול מספר העמודים באתר הוא ממצא.
- בסרץ' קונסול, פתחו את דוח האינדוקס והשוו את מספר העמודים ששמורים למספר העמודים שלא. הדוח גם אומר לכל עמוד למה הוא לא נכנס.
- קחו חמישה עמודים שחשובים לכם באמת והריצו כל אחד מהם בכלי בדיקת הכתובת. זה מדויק יותר מספירה כללית.
- חפשו בקוד המקור של עמוד כזה את המילה noindex, וגם בדקו את כותרות ה-HTTP של אותה כתובת: curl -I https://www.example.co.il/page/ ובדקו אם חוזרת שורת X-Robots-Tag.
- אם עמוד לא נכנס, בדקו קודם אם יש לו תאום כמעט זהה באתר. זו הסיבה הנפוצה ביותר, והיא לא מופיעה כשגיאה.
המלכודת
הטעות הנפוצה היא להתייחס לסריקה כאילו היא אינדוקס. בעל אתר רואה בלוגים שסורק נכנס, מסיק שהכול תקין, ולא בודק אם משהו נשמר. הטעות השנייה היא ההפך הגמור: לראות מספר גדול בבדיקת site ולהסיק שהכול מצוין, כשבפועל חצי מהעמודים הם כתובות עם פרמטרים שאף אחד לא מתכוון להן. שלישית, ואולי היקרה מכולן: אנשים רודפים אחרי אינדוקס של עמודים שלא היו צריכים להתקיים מלכתחילה, במקום למחוק אותם ולהפנות למשהו שיש בו תוכן.
מתי זה לא רלוונטי לכם
לאתר של עשרה עמודים שכולם שמורים אין כאן שום עבודה שוטפת. בדיקה אחת בהתחלה ובדיקה חוזרת אחרי שינוי מבנה מספיקות לגמרי. גם למי שהעסק שלו לא נשען על תוכן, למשל ספק שעובד רק במכרזים סגורים או דרך מפיץ יחיד, זה מדד שלא כדאי לרדוף אחריו: להיות שמור זה טוב, זה לא מטרה עסקית בפני עצמה.
שאלות נפוצות
העמוד נסרק. למה הוא לא מופיע בחיפוש?
כי סריקה היא שלב אחד ושמירה היא שלב אחר. ההסבר הנפוץ הוא שהעמוד נחשב כפול של עמוד אחר, שאין בו די תוכן ייחודי, או שהוא מצהיר בעצמו שאסור לשמור אותו.
כמה זמן לוקח לעמוד חדש להיכנס?
אין מספר. זה נע מיום אחד לשבועות, תלוי בגודל האתר, בקצב העדכונים שלו ובכמה קישורים מובילים אליו. מי שנוקב במספר מדויק ממציא אותו.
מנועי AI מחזיקים אינדקס משלהם?
חלקית, וזה לא מפורסם במלואו. מה שידוע הוא שתשובות מגובות מקור נשענות על חיפוש חי, ולכן נוכחות בתוצאות החיפוש היא תנאי סף מעשי.
מחקתי עמוד. איך מוציאים אותו?
עמוד שמחזיר 404 או 410 נושר מעצמו אחרי זמן. אם צריך מהר, בסרץ' קונסול יש בקשת הסרה זמנית, והיא זמנית באמת: בלי תיקון בצד שלכם העמוד חוזר.
מונחים קשורים
תגית noindex
הוראה ברמת העמוד שאומרת למנוע לא לשמור אותו באינדקס.
כתובת מועדפת
תגית שמצהירה איזו כתובת היא הגרסה הרשמית של עמוד שקיים בכמה כתובות.
סינון כפילויות
כשכמה מקורות אומרים בדיוק אותו דבר, המנוע משאיר אחד ומוותר על השאר.
עיגון בתוצאות חיפוש
התהליך שבו מודל מריץ חיפוש אמיתי ומרכיב את התשובה ממקורות שמצא, במקום להסתמך רק על מה שלמד באימון.
להרחבה
הערך נבדק מול המקורות הרשמיים של הפלטפורמות. כשמשהו אינו ידוע, כתוב כאן שהוא אינו ידוע. שינויים מתועדים בארכיון העדכונים.
בואו נדבר.
בלי מצגת, בלי התחייבות ובלי שיחת מכירה. עשרים דקות שבסופן תדעו אם יש כאן משהו בשבילכם.
- מה המוצר ומי הלקוח שלכם
- איך נמדדת אצלכם המרה היום
- מאיזה תקציב זה מתחיל להיות הגיוני
לא בקטע של טפסים? info@boostit.co.il