טוקן
יחידת הטקסט הקטנה שמודל עובד איתה, בערך חלק ממילה.
Context window
כמות הטקסט שהמודל מחזיק בבת אחת בשיחה אחת: ההנחיה, המסמכים שנשלפו וכל מה שנאמר קודם. כשהחלון מתמלא, החלקים המוקדמים נדחקים החוצה. זו אחת הסיבות שדף שהתשובה בו מפוזרת נבלע פחות טוב מדף ממוקד.
עודכן:
המודל לא זוכר את השיחה. בכל תור נשלח אליו מחדש כל הטקסט הרלוונטי, והוא מעבד אותו כגוש אחד: ההוראה הקבועה של המפעילה, כל מה שנאמר בשיחה עד עכשיו, הקטעים שנשלפו מהאינטרנט אם היה חיפוש, והתשובה שהוא כותב עכשיו. לכמות הזאת יש תקרה. חשבו על זה כעל שולחן בגודל קבוע: כל דבר שמניחים עליו תופס מקום, וכשנגמר המקום משהו יורד.
כשמנוע מחליט לחפש, הוא לא מכניס לשולחן אתרים שלמים. הוא מכניס קטעים: פסקה מכאן, סעיף משם, לפעמים כמה עשרות קטעים ממקורות שונים, שנבחרו כי הם נראו רלוונטיים לשאילתה שהוא ניסח לעצמו. המקום מוגבל, והקטעים מתחרים עליו.
ההשלכה על מבנה העמוד ישירה. קטע שעונה תשובה שלמה בעצמו שווה את המקום שהוא תופס. קטע שצריך לידו עוד שני סעיפים כדי להיות מובן, למשל מספר שהתנאי שלו כתוב שתי כותרות מעליו, הוא יקר: או שהוא נחתך ומאבד את הסייג, או שנדרשים בגללו עוד קטעים והוא דוחק החוצה מתחרים. לכן הכלל שחוזר בכל הכתיבה לתשובות, שהסייג יישב באותה פסקה עם המספר, הוא אחד הכללים הראשונים בכתיבה שנועדה להישלף, ואינו כלל סגנוני. הוא כלל של תפיסת מקום.
מה שאין הוא ראייה. אין דרך לדעת אילו קטעים בדיוק נכנסו ואילו לא, ואף מנוע לא מפרסם את זה. מי שמוכר לכם ניתוח מדויק של מה שנכנס לחלון ההקשר מוכר ניחוש.
ככל שהשיחה מתארכת, הפרטים הישנים נדחקים או מתכווצים. מוצרים נוהגים לטפל בזה בתמצות של החלקים המוקדמים במקום בהעברתם במלואם, ותמצות הוא איבוד מידע. פרט שהלקוח מסר בתור הראשון, למשל שהוא מחפש דווקא באזור מסוים או שיש לו אילוץ תקציב, יכול להפסיק להשפיע בתור התשיעי.
מכאן שני דברים מעשיים. אחד, תשובה ששוגה בשיחה ארוכה אינה בהכרח מקור שגוי, ולכן בדיקה של נראות עדיף שתיעשה בחלון נקי. שניים, אם אתם מפעילים בוט באתר שלכם, שווה שהמידע הקריטי יוזרק מחדש בכל תור ולא ייסמך על מה שנאמר בתחילת השיחה.
הכיוון בשוק הוא חלונות גדולים יותר, ואפשר להתפתות להסיק שהבעיה נעלמת. היא לא. הבחירה מה בכלל להכניס נעשית שלב אחד קודם, בשליפה, ואם העמוד שלכם לא נבחר שם גודל החלון לא רלוונטי לכם. בנוסף, מקום פנוי עולה כסף וזמן תגובה, ולכן למפעילות יש תמריץ מובנה לשלוח פחות טקסט ולא יותר.
המסקנה הפשוטה: אל תניחו שהמודל קרא את האתר שלכם. הוא ראה כמה פסקאות שנבחרו מתוכו, בלי התפריט, בלי מה שכתוב בעמוד אחר, ולעיתים בלי הפסקה שמסבירה את ההקשר. כתבו כך שכל פסקה תשרוד לבד.
נניח חנות מקוונת שמוכרת ציוד מטבח מקצועי. תרחיש מומצא.
הלקוח שואל איזה מיקסר מתאים למאפייה קטנה שמכינה בצק כבד כל יום, וכמה זה עולה.
בחנות יש בדיוק את המידע הדרוש, אבל הוא מפוזר. בעמוד המוצר יש טבלת מפרט עם נפח הקערה והספק המנוע. המחיר יושב בתיבה נפרדת בצד. ההסבר על ההבדל בין דגם ביתי לדגם עמידה, וההמלצה מה מתאים לעבודה יומיומית, יושבים בעמוד מדריך אחר לגמרי.
כשמנוע שולף קטעים, סביר שיעלה בידו רק חלק מהחלקים האלה. טבלת מפרט בלי המשפט שמתרגם אותה לשימוש אינה עונה על השאלה שנשאלה, כי הלקוח לא שאל על הספק המנוע אלא על בצק כבד. עמוד המדריך עונה על חצי השאלה ואין בו מחיר.
הגרסה שעובדת אינה עמוד חדש. זו פסקה אחת בעמוד המוצר שכתוב בה שהדגם מיועד לעבודה יומיומית עם בצק כבד, מה טווח המחיר שלו, מה ההבדל מהדגם הביתי הזול יותר, ומתי עדיף לוותר עליו ולקחת דגם גדול יותר. פסקה אחת שעומדת בעצמה, במקום שלושה מקורות שכל אחד מהם חלקי.
מדריך של אלפי מילים אינו יתרון כאן ואינו חיסרון, הוא פשוט לא היחידה שנשלפת. מה שקובע הוא אם בתוכו יש כותרות תכופות שכל אחת מהן שאלה, ומתחת לכל אחת תשובה שעומדת בפני עצמה. מדריך אחד ערוך נכון יכול להשתתף בעשר שאלות שונות, ואותו מדריך כגוש טקסט רציף עלול לא להשתתף באף אחת.
עמוד שמאגד חמישה שירותים נראה יעיל, ובפועל הוא מייצר קטעים שכולם חצי שייכים לשאלה. מנוע ששולף מתוכו מקבל פסקה שמדברת על שלושה דברים במקביל, וזה בדיוק סוג הקטע שקל לוותר עליו לטובת מקור ממוקד. הפיצול לעמוד לשירות עוזר גם לקורא אנושי, ולכן זו אחת ההחלטות הבטוחות ביותר כאן.
עברו על העמודים החשובים לכם ובחנו כל פסקה בנפרד, בשאלה אחת: אם מישהו יעתיק רק אותה, בלי הכותרת שמעליה ובלי מה שכתוב לפניה, האם היא עדיין תשובה מלאה. פסקאות שנופלות במבחן הזה נופלות לרוב מאותן סיבות: כינוי גוף שמצביע על פסקה קודמת, מספר שהתנאי שלו כתוב במקום אחר, או משפט שמסתמך על טבלה שנמצאת מתחתיו. תיקון של פסקה כזו לוקח דקות, ואינו דורש לכתוב שום עמוד חדש.
המלכודת השכיחה היא לחשוב שהמודל קרא את האתר. הוא לא קרא. הוא קיבל כמה קטעים שנבחרו, בלי ההקשר סביבם, ולכן טיעון שנפרס יפה על פני עמוד שלם עלול להגיע לקורא חתוך באמצע. מכאן נגזרת מלכודת שנייה, יקרה יותר: להאריך עמודים כדי להיראות מקיפים. עמוד ארוך אינו מגדיל את הסיכוי להיכנס, כי היחידה שנכנסת היא פסקה, ומילוי מרחיק את התשובה מהשאלה במקום לקרב אותה. קצר וממוקד מנצח ארוך ויסודי, וזה מרגיש לא הוגן למי שהשקיע בכתיבה.
אם האתר שלכם כמעט לא מופיע היום בתוצאות החיפוש בשאלות החשובות לכם, עדיין לא הגעתם לשלב שבו חלון ההקשר נוגע לכם. העמודים שלכם לא מועמדים לשליפה מלכתחילה, והעבודה היא בצד הטכני ובנראות הבסיסית. גם עסק שרוב הפניות אליו מגיעות בטלפון מהמלצה, בלי שלב בירור באינטרנט, ימצא כאן רקע מועיל אבל לא סדר עדיפויות.
לא, כי הסינון האמיתי קורה לפני החלון. השליפה בוחרת אילו קטעים בכלל מועמדים, ומקום פנוי אינו הופך קטע לא נבחר לנבחר. בנוסף, טקסט ארוך יותר עולה יותר ומאט את התשובה, ולכן יש תמריץ לשלוח פחות.
מה שמשפיע הוא אם יש בו פסקה שעומדת בפני עצמה, לא כמה מילים יש בו. עמוד קצר עם תשובה ברורה משתתף, ועמוד ארוך שמסתובב סביב הנושא לא.
אי אפשר לדעת ישירות. הקירוב הקרוב ביותר הוא נוכחות באזור המקורות של התשובה, וגם הוא אינו מדויק: יש מקרים שבהם מקור נשלף ולא צוטט בגוף התשובה. לכן עובדים בדגימה חוזרת ולא בבדיקה אחת.
יחידת הטקסט הקטנה שמודל עובד איתה, בערך חלק ממילה.
פירוק העמוד ליחידות קצרות שנשמרות ונשלפות בנפרד.
שיטה שבה המודל שולף קודם מסמכים ממקור חיצוני ורק אז מנסח את התשובה על בסיסם, במקום להסתמך על מה שלמד באימון.
במקום לבחור עמוד שלם, המנוע מדרג קטעים בתוך עמודים ובוחר את הקטע שעונה הכי טוב.
הרגע שבו מודל מייצר תשובה לשאלה, בניגוד לשלב האימון.
הטקסט שהמשתמש מקליד למנוע ה-AI.
הערך נבדק מול המקורות הרשמיים של הפלטפורמות. כשמשהו אינו ידוע, כתוב כאן שהוא אינו ידוע. שינויים מתועדים בארכיון העדכונים.
בלי מצגת, בלי התחייבות ובלי שיחת מכירה. עשרים דקות שבסופן תדעו אם יש כאן משהו בשבילכם.
לא בקטע של טפסים? info@boostit.co.il