מובהקות סטטיסטית

מה השאלה שהמושג הזה עונה עליה

מובהקות סטטיסטית עונה על שאלה אחת ומצומצמת: בהינתן שהשינוי שראיתי היה יכול לקרות גם במקרה, כמה סביר שהוא אכן קרה במקרה. זה הכל. היא לא אומרת שהשינוי גדול. היא לא אומרת שהוא חשוב. ובוודאי שהיא לא אומרת שאתם גרמתם לו, כי גרימה היא שאלה של תכנון הניסוי ולא של חישוב.

המנגנון פשוט מכפי שנדמה. מניחים שלא קרה כלום, בודקים כמה קיצוני הממצא בהינתן ההנחה הזו, ואם הוא קיצוני מספיק מוותרים על ההנחה. הסף המקובל במחקר הוא חמישה אחוזים, והוא מוסכמה ולא חוק טבע.

שלושה גורמים קובעים אם תגיעו לשם: גודל המדגם, גודל הפער, ופיזור הנתונים. במדידת נראות ב-AI הראשון קטן, השלישי גדול, ולכן השני צריך להיות עצום כדי שיהיה מה לומר.

למה זה כמעט בלתי מושג בערוץ הזה

סט של שלושים שאלות מייצר שלושים תצפיות בחודש. עלייה משתיים לארבע נראית כמו הכפלה, ובמדגם בגודל כזה היא בטווח שיכול לנבוע מהתנודה הרגילה של המנוע בין הרצה להרצה.

מה שמחריף את זה הוא שהתצפיות אינן עצמאיות. שאלות דומות שואבות מאותם עמודים שלכם, ולכן שינוי בעמוד אחד מזיז כמה שאלות יחד. מבחינת חישוב, כמה תצפיות תלויות שוות פחות מכמה תצפיות בלתי תלויות, וגודל המדגם האפקטיבי קטן מהמספר שרשום בגיליון.

התוצאה היא לא נוחה ואין ממנה מנוס. ברוב העסקים, ברוב החודשים, אין די נתונים כדי לומר שמשהו קרה. התשובה הכנה היא עדיין לא יודעים, והיא נכונה הרבה יותר זמן ממה שאנשים מניחים.

מה עושים כשאי אפשר להגיע למובהקות

לא נוטשים את המדידה, ולא מעמידים פנים שיש הוכחה כשאין. עוברים לשפה אחרת. במקום לשאול אם הוכח, שואלים אם הממצא עקבי על פני כמה מקורות שנמדדים בדרכים שונות זו מזו.

שלוש נקודות שזזות באותו כיוון אינן מובהקות, והן מעניינות יותר מנקודה אחת שקפצה. שינוי שמופיע גם בסט השאלות וגם בתנועת ההפניה בפועל חזק יותר משינוי שמופיע רק באחד מהם. ושינוי שקרה בקבוצת העמודים שנגעתם בה ולא בזו שלא נגעתם בה מצביע על משהו מקומי. אף אחד מהשלושה אינו ראיה, ושלושתם יחד הם בסיס סביר להחלטה עסקית.

ההבחנה החשובה כאן היא בין החלטה לבין טענה. להחליט להמשיך לכתוב עמודים בגלל שלוש נקודות שזזות יחד זה סביר לגמרי. להצהיר שהעבודה הוכחה כמוצלחת זה משהו אחר, וזה מה שלא עומד. ההבחנה הזו היא חלק מהמדידה שמלווה את שני השירותים.

המספרים שכן יכולים להגיע למובהקות

לא הכל בקטגוריה הזו נדגם. תנועת הפניה, פניות שהתקבלו ורכישות הן ספירה מלאה, ולכן הן מתנהגות כמו כל נתון עסקי אחר ואפשר לעשות עליהן סטטיסטיקה רגילה.

הבעיה שם היא אחרת: הנפח. ערוץ שמייצר עשרות כניסות בחודש יידרש להרבה חודשים לפני שאפשר יהיה לומר משהו על שיעור ההמרה שלו. השוואה בין שלוש המרות מתוך ארבעים לבין שש מתוך חמישים לא תעבור שום מבחן, למרות שהיא נראית כמו הכפלה.

ובפרסום בתוך מנועי AI, שבו יש דיווח מלא מהחשבון, הכל חוזר לגודל התקציב ולזמן. חשבון קטן בערוץ חדש יגיע לנפח שמאפשר החלטות סטטיסטיות אחרי חודשים, ולא אחרי שבועיים.

שתי טעויות חישוב שכיחות

הראשונה היא להסתכל כל יום ולעצור ברגע שהמספרים נראים טוב. אם בודקים שוב ושוב ומפסיקים בדיוק כשהתוצאה מוצאת חן, כמעט תמיד אפשר למצוא רגע שנראה משכנע, גם כשלא קרה שום דבר. לכן קובעים מראש מתי מסתכלים.

השנייה היא לחפש בכל מקום. מי שבודק שלושים חתכים ומוצא חתך אחד עם פער גדול לא מצא ממצא, הוא מצא את החתך שבמקרה בלט. בקטגוריה שבה החתכים זולים לייצור, זו טעות קלה מאוד לעשות ובלתי אפשרית כמעט לזהות בדיעבד.

זוויות שונות

שאלות נפוצות

מונחים קשורים

להרחבה

• איך התשובות נבנות
• איך מודדים נראות ב-AI
• כל כמה זמן למדוד