כמה שאלות צריך בסט המדידה

בין 20 ל-30 שאלות. זה הטווח שעובד כמעט לכל עסק, ולא בגלל שיש בו קסם סטטיסטי אלא בגלל חשבון פשוט: מתחת ל-20 כל שאלה בודדת מזיזה את האחוז יותר מדי, ומעל 30 הסט מפסיק להיות מורץ במלואו כל חודש. מי שרוצה מספר יחיד להתחיל ממנו, 24 שאלות הן נקודת פתיחה טובה. איך מרכיבים אותן ואיזה סוגים נכנסים פנימה זה נושא אחר לגמרי, והוא מפורק במדריך בניית סט השאלות. כאן מדובר רק בכמות.

המספר האמיתי הוא לא כמות השאלות אלא כמות ההרצות

הטעות שגורמת לרוב הסטים המנופחים היא לחשוב על שאלות כעל שורות בטבלה. שאלה אינה שורה, היא עבודה חוזרת. כל שאלה מורצת בחלון נקי, מספר פעמים, בכל מנוע שאתם מודדים בו. את הסיבה לחלון הנקי ולחזרות מסביר מדריך המדידה, והתוצאה המעשית שלה היא מכפלה.

השורה התחתונה של הטבלה היא הסיבה שסטים גדולים נכשלים. 540 הרצות מתועדות הן יום עבודה שלם ומשעמם, והן נעשות פעם אחת בהתלהבות. בסבב השני מקצרים, מדלגים על מנוע, מוותרים על החזרות. ואז יש בידיים שני מספרים שנמדדו בשיטות שונות, וההשוואה ביניהם חסרת ערך. סט קטן שמורץ במלואו כל חודש שווה יותר מסט גדול שמורץ חלקית, וזה נכון גם כשהסט הגדול מכסה נושאים חשובים יותר.

לכן ההחלטה על הכמות מתחילה מהסוף. קודם קובעים כמה זמן יש לזה בחודש, מחלקים בשלוש חזרות ובמספר המנועים, ומקבלים את מספר השאלות. לא הפוך.

מה קורה כשהסט קטן מדי?

הבעיה בסט קטן היא רזולוציה. בסט של 10 שאלות, כל שאלה שווה עשר נקודות אחוז. שאלה אחת שהתהפכה, מסיבה שאין לכם שליטה עליה, מייצרת קפיצה מ-30 אחוז ל-40 אחוז שנראית בדוח כמו מהלך מוצלח. אתם תדווחו על שיפור של שליש, ולא קרה כלום.

בסט של 25 שאלות אותה תזוזה בודדת שווה ארבע נקודות אחוז, וזה כבר בגודל שאפשר לחיות איתו. עדיין לא הייתי קורא לזה שינוי, אבל הוא לא הופך את הדוח לסיפור.

יש גם עניין שני, פחות מספרי. סט קטן כמעט תמיד מכסה רק את שירות הדגל, כי כשיש מעט מקומות בוחרים את הברור מאליו. התוצאה היא נקודה עיוורת קבועה: אתם עלולים להיות מוזכרים באופן יציב דווקא בשירות המשני ולא לדעת על זה שנה. באיזה סוג שאלות אתם בכלל יכולים להשפיע בטווח קצר מוסבר במדריך הכתיבה לציטוט, ובלי מספיק שאלות מהסוג הזה אין לכם מדד לעבודה שאתם עושים.

יש דרך פשוטה לבדוק אם הסט שלכם ברזולוציה סבירה: חלקו 100 בכמות השאלות שנספרות בציון הראשי. המספר שיוצא הוא כמה נקודות אחוז שווה כל שאלה, כלומר גודל הרעש המינימלי של המדידה שלכם. אם הוא גדול מחמש, כל תזוזה שתראו בדוח קטנה ממנו או שווה לו, ואין לכם דרך להבחין בין שיפור לבין מקריות. שימו לב שהחלוקה היא בשאלות שנספרות, לא בכל השורות בקובץ. שאלות מותג ושאלות ביקורת יושבות מחוץ לציון, ולכן סט שנראה על הנייר כמו 25 שורות עשוי להיות בפועל 19 שאלות נספרות.

הרצפה המעשית היא 12 שאלות. מתחת לזה זו לא מדידה אלא הצצה, ואפשר להריץ אותה כדי לקבל תחושה ראשונית, אבל אסור לבנות ממנה מגמה ואסור להציג ממנה אחוז.

מה קורה כשהסט גדול מדי?

מלבד הנטישה, לסט מנופח יש שלושה נזקים שקטים.

הראשון הוא דילול. סטים גדולים מתמלאים בשאלות חלשות, כי אחרי 30 שאלות טובות נגמרות האמיתיות ומתחילים למלא מקומות. מה שנכנס הוא בדרך כלל שאלות הגדרה כלליות, שכלל לא מפעילות חיפוש חי ולכן לעולם לא יזכירו ספק. הן יושבות בציון כאפס קבוע, מורידות את האחוז ומשטחות כל תזוזה אמיתית. זו אחת הטעויות שמרוכזות בעמוד הטעויות.

השני הוא שכפול גיאוגרפי. הפיתוי לשכפל כל שאלה לכל עיר שאתם משרתים מנפח את הסט פי חמישה ומודד שוב ושוב את אותו דבר. אזור אחד קבוע ואזור שני כבקרה מספיקים.

השלישי הוא איטיות. סט גדול נמאס, ומי שנמאס לו משנה. שינוי בניסוח באמצע הדרך שובר את הרצף, ואז אין השוואה בין החודשים. הקצב שבו בכלל אפשר לצפות לראות תזוזה מוסבר בעמוד על כמה זמן זה לוקח, והוא ארוך מספיק כדי שיציבות הסט תהיה חשובה יותר מהיקפו.

מתי כן מגדילים?

יש שלושה מצבים שמצדיקים סט גדול מ-30, וכולם דורשים תוספת משאבים ולא רק תוספת שורות.

כמה קווי שירות שאין ביניהם קשר. משרד שמטפל גם בנדל"ן וגם בדיני עבודה מודד למעשה שני שווקים. הפתרון הנכון הוא לא סט אחד של 50 שאלות אלא שני סטים של 20, כל אחד עם ציון נפרד. ממוצע בין שניהם מסתיר בדיוק את מה שרציתם לדעת.

מדידה אוטומטית. כשההרצה נעשית בכלי ולא ביד, תקציב ההרצות משתנה לגמרי ו-60 שאלות הן ריאליות. מה כלים כאלה באמת נותנים, ומה המגבלות שלהם, נמצא בעמוד כלי הניטור.

מעקב אחרי מתחרים בתוך אותה הרצה. אם אתם סופרים גם מי עוד מופיע בכל תשובה, כמו שמתואר במדריך המתחרים, הסט לא גדל אבל התיעוד לכל שאלה מכביד. עדיף במקרה כזה להישאר בטווח הנמוך.

מה שלא מצדיק הגדלה: תוצאה חלשה. הוספת שאלות אחרי חודש מאכזב היא הדרך הנפוצה ביותר להרוג סדרת מדידה, כי המספר החדש כבר לא ניתן להשוואה לישן ואף אחד לא זוכר למה.

איך מוסיפים שאלות בלי לשבור את הרצף?

הכלל פשוט: הסט הראשי נעול, והתוספות חיות בצד עד שהן מתבגרות.

שאלות מועמדות נאספות לאורך הרבעון, משיחות מכירה, מהחיפוש הפנימי באתר ומשאילתות אמיתיות. הן נכנסות במועד קבוע אחד, לא באמצע. בסבב הראשון הן מורצות ונמדדות בנפרד, מחוץ לאחוז הראשי, וכך יש להן היסטוריה משלהן. בסבב שאחריו הן מצטרפות לציון, ובדוח נרשם במפורש שהסט התרחב, כולל התאריך והמספר החדש. איך רושמים את זה בדוח בלי לבלבל את מי שקורא אותו מפורט בעמוד הדוח החודשי.

שאלות מותג נספרות תמיד בנפרד ולא נכללות בכמות שדיברנו עליה. הן לא מודדות נראות אלא דיוק, והטיפול במה שנאמר עליכם מתחיל במדריך תיקון מידע שגוי. אם ספק חיצוני מריץ את זה עבורכם, בקשו את הסט עצמו בכתב ואת מספר ההרצות לשאלה. שתי השאלות האלה מפרידות בין עבודה למצגת, והן חלק מהרשימה בעמוד בחירת ספק. אצלנו הסט הכתוב, מספר ההרצות לשאלה ותאריך כל סבב נמסרים כברירת מחדל, וזה חלק מאיך שאנחנו מודדים נוכחות בתשובות.

מה עדיין לא ידוע

אין מחקר פומבי שקובע גודל סט אופטימלי, ואף מנוע לא מפרסם נתוני שונות שמהם אפשר לגזור אותו. הטווח שכתוב כאן הוא מסקנה מעבודה חוזרת ומאילוצי זמן, לא ממצא מדעי. גם ההנחה ששלוש חזרות מספיקות היא בחירה תפעולית, ומי שיריץ חמש יקבל תמונה מדויקת יותר במחיר סט קטן יותר.

אין גם דרך לדעת כמה מהתזוזה בין סבבים נובעת מעדכון גרסה במנוע. פלטפורמות משנות התנהגות בלי הודעה, ולכן שתי מדידות של אותו סט אינן בהכרח שתי מדידות של אותו מכשיר. הצד היחיד שאינו מדגמי הוא תנועה שמגיעה לאתר מציטוט ב-ChatGPT, שנושאת פרמטר מקור ייעודי ונספרת ישירות, וגם היא נמדדת רק אחרי שמישהו לחץ. מה שקורה כשאתם מוזכרים בלי קישור נשאר מחוץ לתמונה, וזו הסיבה שהעבודה על אזכורים אצל אחרים נמדדת פחות טוב ממה שהיא שווה.

ההקשר שמסביב השתנה בצד אחד בלבד: ChatGPT מוכרת מודעות לעסק הרשום בישראל מ-16 בספטמבר 2026, ואילו מצב ה-AI של גוגל פעיל כאן ובעברית בלי מודעות בתוכו. המדידה האורגנית שמתוארת בעמוד הזה לא מושפעת משניהם. אין מיקום שאפשר לקנות ואין קיצור דרך, ולכן הדגימה החוזרת היא כלי המדידה היחיד שקיים. מה פתוח ומה סגור בכל רגע נתון מעודכן בעמוד המצב בישראל, ואיך התשובה נבנית בפועל מוסבר במדריך ChatGPT.