aiadsby boostit דברו איתנו
איך מודל עובד

טמפרטורה

Temperature

פרמטר שקובע כמה הניסוח של המודל אקראי לעומת צפוי. הוא לא נחשף בממשקי הצריכה, אבל הוא חלק מהסיבה שאותה שאלה מחזירה שתי תשובות שונות. לכן מדידת נראות היא תמיד דגימה חוזרת ולא בדיקה אחת.

עודכן:

מה הפרמטר הזה קובע

מודל שפה לא בוחר תשובה שלמה. הוא בונה אותה יחידה אחר יחידה, וכל צעד הוא הכרעה בין כמה המשכים אפשריים שלכל אחד מהם משקל. טמפרטורה היא הידית שקובעת עד כמה ההכרעה נצמדת להמשך בעל המשקל הגבוה ביותר. בערך נמוך המערכת כמעט תמיד בוחרת את המועמד המוביל, והתשובות יוצאות דומות זו לזו וצפויות. בערך גבוה גם מועמדים פחות סבירים מקבלים סיכוי, והניסוח נעשה מגוון ולעיתים גם פחות מדויק. זו לא ידית של יצירתיות במובן האנושי, אלא ידית של פיזור.

למה אתם לא רואים אותה, ומה עוד מזיז את התשובה

בממשקי הצריכה אין הגדרה כזו. החברה קובעת אותה מראש, לפעמים בערך שונה לסוגי שאלות שונים, ואתם מקבלים את מה שהיא בחרה. אין טעם לחפש כפתור שייצב לכם את התשובות.

טמפרטורה גם אינה הסיבה היחידה לשונות. באותה שאלה יכולים להשתנות המודל שאליו נותבה הבקשה, תוצאות החיפוש שנשלפו באותו רגע, השיחה הפתוחה שקדמה לשאלה, וההקשר שהמערכת שומרת על החשבון. כשמגיעות שתי תשובות שונות אין לכם דרך לדעת איזו מהסיבות פעלה. מבחינה מעשית זה לא משנה, כי המסקנה זהה בכל המקרים: בדיקה אחת אינה בדיקה.

שאלתי ולא הופעתי, וזה עדיין לא ממצא

הרבה בדיקות נגמרות במשפט הזה, ומיד אחריו מגיעה החלטה. לפעמים עוצרים פרויקט. לפעמים מחליפים ספק. הבעיה היא שהמשפט מתאר דגימה אחת מתוך התפלגות, והוא לא מבדיל בין מצב שבו אתם מופיעים באחוזים בודדים מהמקרים לבין מצב שבו אתם מופיעים ברובם המכריע.

המעבר הנכון הוא מהשאלה 'האם' לשאלה 'באיזו תדירות'. עשר הרצות של אותה שאלה, כל אחת בחלון נקי, נותנות מספר שאפשר לעקוב אחריו לאורך זמן. שמונה מתוך עשר וארבע מתוך עשר הם שני מצבים שונים לחלוטין, ושניהם נראים בדיוק אותו דבר כשבודקים פעם אחת. מה מספר ההרצות הנכון, אנחנו לא יודעים, ולא ראינו מקור רשמי שקובע אותו. מה שברור הוא שאחת אינה מספיקה.

איך מרכיבים דגימה שאפשר לסמוך עליה

הדגימה מתחילה מהשאלות ולא מהכלי. בוחרים סט של שאלות אמיתיות שלקוחות שואלים, כולל כמה ניסוחים לאותה כוונה, ומקפיאים את הסט, וזה התנאי הראשון בשיטת המדידה שלנו. שינוי בניסוח בין הרצה להרצה הופך את הסדרה לחסרת ערך, כי אתם כבר לא מודדים את אותו דבר.

כל הרצה נעשית בחלון נקי, בלי היסטוריה ובלי חשבון מחובר כשאפשר, כי ההקשר השמור מטה את התוצאה לכיוון מה שכבר שאלתם קודם. לכל הרצה רושמים שלושה נתונים: אם הופעתם, אילו מקורות צוטטו, והאם הייתה בתשובה הפניה כלשהי.

ואז מסתכלים על המספר ולא על הטקסט. הניסוח ישתנה בכל פעם וזה בסדר גמור. מה שמעניין הוא כמה פעמים מתוך כמה, ואיך המספר זז בין חודש לחודש. סדרה של חודשיים שווה יותר מעשרים בדיקות שנעשו ביום אחד.

איך זה נראה בפועל

נניח משרד עורכי דין קטן בחיפה שמתמחה בדיני עבודה. השותף שואל את המנוע שאלה על ייצוג בפיטורים באזור שלו, מקבל תשובה שמזכירה שני משרדים אחרים, וסוגר את הנושא במשפט אחד: אנחנו לא שם.

הרצה חוזרת של אותה שאלה, עשר פעמים בחלונות נקיים, מראה תמונה אחרת. המשרד מופיע בשלוש מתוך עשר. שני המשרדים שראה בפעם הראשונה מופיעים בשמונה ובשבע. זה כבר לא 'לא שם', אלא נוכחות חלשה שאפשר למדוד ואפשר לעקוב אחריה. שלושה חודשים אחר כך, אחרי עבודה על עמוד שעונה ישירות על השאלה, אותה סדרה מחזירה שש מתוך עשר.

לא מובטח שהמספר ימשיך לעלות, והוא גם יכול לרדת בלי שנעשה שום דבר. מה שהשתנה הוא שיש עכשיו במה לדון, במקום ויכוח בין שתי הרצות בודדות שכל אחת מהן נכונה.

זוויות שונות

לעסק שירותים שנבדק בשאלה אחת

עסק שירותים נבדק בדרך כלל בשאלה אחת מאוד ספציפית, כזו שכוללת עיר ותחום, ולכן השונות מורגשת אצלו חזק. כאן דגימה חוזרת היא לא מותרות, כי ההפרש בין שלוש מתוך עשר לבין אפס מתוך עשר קובע אם בכלל יש על מה לעבוד. תיעוד של כל הרצה בגיליון פשוט מספיק לגמרי.

למי שמוכר מוצר בשוק צפוף

כשיש עשרה ספקים סבירים לאותה שאלה, המערכת בוחרת מתוכם קבוצה קטנה בכל פעם, והזהות של הקבוצה משתנה. המשמעות היא שכמעט אף אחד לא נמצא בתשובה תמיד, וגם המובילים בשוק מופיעים בחלק מהפעמים בלבד. מדידה של תדירות מגלה את זה מיד, ובדיקה בודדת מייצרת דווקא את התחושה ההפוכה.

מה זה אומר בפועל

הפכו את הבדיקה לשגרה קצרה במקום לאירוע. סט קבוע של חמש עד עשר שאלות, עשר הרצות לכל שאלה, פעם בחודש, והכול בגיליון אחד. מה שמדווחים למעלה הוא שיעור ההופעות ולא צילום מסך של תשובה יפה. צילום מסך הוא אנקדוטה. שיעור הוא נתון.

איך בודקים את זה לבד

  1. בחרו שאלה אחת שחשובה לכם, בניסוח שלקוח היה משתמש בו.
  2. פתחו חלון גלישה פרטי חדש והריצו את השאלה. סגרו את החלון לגמרי לפני ההרצה הבאה.
  3. חזרו על זה עשר פעמים ורשמו בכל פעם אם הופעתם ואילו מקורות צוטטו.
  4. ספרו כמה פעמים מתוך עשר. זה המספר שלכם, והוא נקודת ההתחלה.
  5. חזרו על אותה סדרה בדיוק בעוד חודש, בלי לשנות את הניסוח, והשוו מספר למספר.

המלכודת

המלכודת הכי נפוצה היא לבדוק עשר פעמים באותו חלון שיחה. אז התשובות אכן יוצאות עקביות, אבל העקביות מגיעה מההקשר שנשמר ולא מהמנוע, והמספר שקיבלתם מנופח. המלכודת השנייה היא לתאר את השונות כתקלה ולחפש מי אשם. שונות היא תכונה של המערכת ולא באג, וההתמודדות איתה היא סטטיסטית. מי שמחפש תשובה יציבה אחת יחכה לה הרבה זמן.

מתי זה לא רלוונטי לכם

אם אתם צריכים תשובה אחת לשאלה חד פעמית, למשל לפני פגישה, אין שום סיבה לדגום. גם עסק שרוב הלקוחות מגיעים אליו דרך מכרז, ספר ספקים סגור או הפניה מקצועית, לא יקבל מהתרגיל הזה החלטה שהוא לא יכול לקבל בלעדיו. הדגימה משתלמת כשמישהו עומד להוציא כסף על סמך התשובה.

שאלות נפוצות

אפשר לבקש מהמודל להיות פחות אקראי?

אפשר לבקש והוא ינסח את התשובה אחרת, אבל הפרמטר עצמו לא משתנה מבקשה בשפה חופשית. בממשקי הצריכה הוא נקבע על ידי החברה. מה שכן משפיע הוא כמה השאלה מדויקת: שאלה צרה עם עיר, מחיר או תנאי מצמצמת את מרחב התשובות הסבירות יותר משאלה כללית.

כמה הרצות מספיקות?

אין מספר שאנחנו יכולים להצדיק מול מקור רשמי. בפועל עשר הרצות לשאלה נותנות תמונה שאפשר לעקוב אחריה בלי להפוך את זה לעבודה במשרה מלאה. מה שחשוב יותר מהמספר הוא שהוא יישאר קבוע בין הרצה להרצה, אחרת אי אפשר להשוות.

אם התשובה משתנה כל פעם, איך בכלל מודדים שיפור?

משווים שיעורים ולא תשובות. שיעור ההופעות מתוך סדרה קבועה של הרצות הוא מדד שאפשר להשוות בין חודשים, בתנאי שהשאלות והממשק לא השתנו. אם שיניתם משהו בפרוטוקול, מתחילים סדרה חדשה ומסמנים את הנקודה.

מונחים קשורים

דגימה

מדידה של תופעה גדולה דרך חזרה מבוקרת על סט קטן ומייצג.

הנחיה

הטקסט שהמשתמש מקליד למנוע ה-AI.

הרצת מודל

הרגע שבו מודל מייצר תשובה לשאלה, בניגוד לשלב האימון.

אמת מידה

ערך השוואה חיצוני שאליו מודדים ביצועים.

קבוצת ביקורת

סט שאלות או עמודים שבמכוון לא נוגעים בהם, כדי לראות מה קורה גם בלי התערבות.

להרחבה

הערך נבדק מול המקורות הרשמיים של הפלטפורמות. כשמשהו אינו ידוע, כתוב כאן שהוא אינו ידוע. שינויים מתועדים בארכיון העדכונים.

בואו נדבר.

בלי מצגת, בלי התחייבות ובלי שיחת מכירה. עשרים דקות שבסופן תדעו אם יש כאן משהו בשבילכם.

  • מה המוצר ומי הלקוח שלכם
  • איך נמדדת אצלכם המרה היום
  • מאיזה תקציב זה מתחיל להיות הגיוני

לא בקטע של טפסים? info@boostit.co.il