פיתוח AI ומודלי שפה

• אחזור

  תשובות מתוך המסמכים שלכם, עם המקור מצורף.

• חילוץ

  קלט חופשי שהופך לשדות שמערכת יודעת לפעול לפיהם.

• עוזרים

  מודלים שעושים את העבודה, לא רק מתארים אותה.

אחזור מידע מהתוכן שלכם

רוב היכולות השימושיות באמת הן בעיית אחזור מידע שמתחפשת לבעיית יצירה. המודל טוב רק כמו מה שמציבים מולו, ולכן העבודה היא בחלוקה, באינדוקס, בדירוג, ובלדעת מתי התשובה הכנה היא שלא נמצא שום דבר רלוונטי.

אנחנו מעדיפים מערכת שאומרת שהיא לא יודעת, על פני מערכת שמייצרת תשובה רהוטה שמורכבת משלושת המסמכים הכי פחות לא רלוונטיים. את ההעדפה הזו צריך לבנות בכוונה, כי התנהגות ברירת המחדל של כל מודל היא לענות בכל מקרה.

חילוץ מידע מובנה

הפיכת מסמכים, מיילים והודעות לשדות שמערכת יכולה לפעול לפיהם: חשבוניות לשורות, פניות ללידים, טקסט חופשי לקטגוריה. כאן מודלי שפה מחזירים את עלותם בצורה הכי אמינה, כי אפשר לבדוק את הפלט. תאריך, סכום ומטבע ניתנים לאימות, ומה שלא מתפרש נדחה.

עוזרים שיודעים גם לעשות

עוזר שיודע רק לדבר הוא תיבת חיפוש עם זמן תגובה גרוע יותר. הערך הוא ביכולת לפעול: למשוך הזמנה, לפתוח החזרה, לקבוע תור. זה אומר שלכל כלי צריך בדיקת הרשאות, תיעוד ביקורת, וגבול ברור בין מה שהעוזר רשאי לעשות לבד לבין מה שדורש אישור של אדם.

עלות היא החלטת תכנון

העלות לבקשה נקבעת בארכיטקטורה הרבה לפני שהיא נקבעת בבחירת המודל. כמה הקשר שולחים, אם שולחים אותו בכל תור, מה שומרים במטמון, ואם מודל זול יותר היה מטפל בתשעים האחוז מהבקשות שהן פשוטות. אנחנו מתכננים את הניתוב קודם ובוחרים מודלים אחר כך, ואומרים לכם את העלות הצפויה לאלף אינטראקציות לפני שאתם מתחייבים.

זמן תגובה הוא בעיה מוצרית

משתמשים סובלים תשובה איטית אחרת לגמרי תלוי אם רואים שמשהו קורה. הזרמה, ממשק אופטימי והתקדמות כנה הם חלק מההנדסה ולא ליטוש שמוסיפים בסוף. וכך גם ההחלטה אילו קריאות קורות בזמן שהמשתמש מחכה ואילו קורות בתור מאחוריו.

לטעות זו דרישה מהמערכת

לכל יכולת AI צריכה להיות תשובה מוגדרת לשאלות: איך נדע שהיא טעתה, מה המשתמש רואה, וכמה זה עולה לנו. ביכולת סיכום התשובה עשויה להיות משיכת כתפיים. בכל דבר שנוגע בכסף, במלאי או בהתחייבות ללקוח, התשובה היא אדם בתהליך ותיעוד ביקורת. אנחנו מתעקשים לקיים את השיחה הזו לפני הבנייה, כי הוספה שלה בדיעבד היא בנייה מחדש.

מדידה, אחרת אתם מנחשים

בלי מערך בדיקות אי אפשר לדעת אם שינוי בהנחיה שיפר משהו. אנחנו בונים מערך קטן מהמקרים האמיתיים שלכם מוקדם, כך שאפשר למדוד שינויים במקום להתווכח עליהם, ושדרוג מודל הוא משהו שאתם מעריכים ולא משהו שקורה לכם.

חלק לא קטן מפרויקטי ה-AI שפונים אלינו איתם נפתרים טוב יותר בלי מודל. אם הקלט מובנה והכללים ידועים, מנוע כללים זול יותר, מהיר יותר, ניתן לבדיקה ולא ממציא כלום אף פעם. אם הבעיה האמיתית היא שהנתונים שלכם מפוזרים בארבע מערכות, עוזר שיושב מעל הבלגן הזה יטעה בביטחון בדרך חדשה ויקרה יותר.

אנחנו מעדיפים להגיד את זה באפיון מאשר לבנות משהו מרשים שבשקט לא עובד.

האפיון קובע את התרחיש, איך נראית תשובה טובה, כמה עולה תשובה שגויה, ואיפה הנתונים באמת נמצאים. התוצר הוא ארכיטקטורה, עלות תפעול צפויה ותוכנית מדידה.

הבנייה הראשונה צרה בכוונה: תהליך אחד, משתמשים אמיתיים, נמדד. יכולות AI נוטות במיוחד להיראות גמורות בהדגמה ולהתפרק מול מגוון הקלט האמיתי, ולכן להגיע לקלט אמיתי מהר משנה כאן יותר מכמעט בכל מקום אחר.

יכולות AI נבנות בדרך כלל מעל מערכת שכבר מחזיקה את הנתונים, ומגיעות לשאר העסק דרך אינטגרציה. אם הממשק הוא החלק הקשה, ראו עיצוב UX ו-UI.

ספרו לנו מה זה צריך לעשות