להבין איפה זה נעצר
עבור כל פיילוט, מודל או כלי, רשמו מי ביקש אותו, מי אמור היה להשתמש בו, ואיפה בדיוק הוא נעצר ומדוע. בררו אם הוגדר מדד הצלחה מוסכם מראש, וקבלו את התוצאות משני הצדדים.
אם המשתמשים איבדו אמון בתשובות, אספו את התשובות ששברו את האמון וסווגו כל כשל. שגיאות אחזור, מסמכים לא מעודכנים ופרומפטים גרועים דורשים פתרונות שונים. אם מסמכי המקור מעולם לא היו איכותיים מספיק כדי להפיק מהם תשובות, בנייה מחדש פשוט לא תעזור.
מדדו תפוקה במקום נפח שימוש
שימוש גבוה מודד בעיקר סקרנות. בחרו שלושה צוותים עם תפוקה מדידה, כמו קריאות שנסגרו או זמני תגובה, ומדדו לפני ואחרי כשהכלים מופעלים באופן מוגדר. המשיכו לשלם על הרישיונות בצוותים שבהם התפוקה השתפרה.
פיילוט שהצליח בצוות אחד נהנה לרוב מאנשים עם מוטיבציה, נתונים תקינים וליווי צמוד. פריסה רוחבית לא מקבלת אף אחד מאלה כברירת מחדל. שחזרו את תנאי הפיילוט בשני צוותים נוספים ומדדו שוב לפני שממשיכים הלאה.
מה חשוב לבדוק בכל תפקיד
אם אתם בדירקטוריון, דרשו מכל פיילוט להגדיר את ההחלטה שהוא אמור לאפשר לקבל ולהציג גורם אחראי שיכול לאמץ את התוצאה, או שתסגרו אותו. אם התברר שהמוצר נשען על עבודה ידנית מאחורי הצהרות ה-AI, ודאו קודם את העובדות והחליטו על חובת דיווח יחד עם ייעוץ משפטי.
אם אתם מובילים את המוצר או צוות הדאטה, הגדירו מקרה בוחן בודד עם מוביל עסקי, נתיב הטמעה ומדד ברור. קבלו החלטה על הצוות רק לאחר מכן. אם פיילוט הצליח אבל אין תקציב, הציגו את התוצאה בשעות עבודה שנחסכו או בתיקים שטופלו, וחפשו מימון אצל המחלקה שמרוויחה מזה.
מה לבדוק לפני שמחליטים
- עבור כל פיילוט או מודל, תעדו מי ביקש אותו, מי היה אמור להשתמש ואיפה זה נעצר.
- בדקו אם הוגדר מדד הצלחה לפני היציאה לדרך, והשוו את התוצאות שלכם מול אלו של הלקוח או המשתמשים.
- סווגו את התשובות השגויות שפגעו באמון: שליפה, מסמכים ישנים, פרומפטים או נתונים.
- בחרו מדד תפוקה אחד לכל צוות ומדדו אותו לפני ואחרי, ודווחו עליה לדירקטוריון במקום על נפח שימוש.
- בדקו מה ההטמעה דורשת מעבר לרכישת הרישיון: אינטגרציות, הדרכות ותמיכה שוטפת.
- מנו מוביל עסקי בעל סמכות לאמץ את התוצאות, או סגרו את הפיילוט.
- הוסיפו כל סוג כשל שמצאתם למאגר הבדיקות ולרשימת התיוג לקראת שחרור.
שאלות נפוצות
גילינו שמוצר ה-AI הסתמך על עבודה ידנית מאחורי ההבטחות במצגת, מה על הדירקטוריון לעשות?
בררו קודם את העובדות לאשורן: מה המוצר עושה אוטומטית, מה נעשה ידנית, מה בדיוק הובטח ולמי, כולל ללקוחות. לאחר מכן קבלו החלטה על אופן הגילוי, התוכנית לסגירת הפער והיחס למייסדים, בליווי ייעוץ משפטי. הדבר תלוי ברמת ההפרזה בטענות, בשאלה אם לקוחות שמעו את אותם דברים והאם ניתן לגשר על הפער.
האם דירקטוריון של ארגון בריאות צריך לסגור פיילוטים של חדשנות שלא מובילים להחלטה?
דרשו מכל פיילוט להכריע בהחלטה מוגדרת מראש או להיסגר. המשך הפעילות תלוי בגורם אחראי שיכול לקבל החלטה ולפעול לפיה, אי-ודאות שנותרה וראיות לכך שפעילות נוספת עשויה לשנות את המסקנה.
הפיילוט הארגוני שלנו נכשל ברמת הדיוק והצוות מאשים את הנתונים של הלקוח, איך אדע מה קרה באמת?
השיגו את מדד הפיילוט ואת התוצאות משני הצדדים, כי פיילוטים נופלים על הגדרת הצלחה מעורפלת באותה מידה שהם נופלים על דיוק. אם הדאטה של הלקוח היה הבעיה, הפיילוט היה אמור לזהות זאת בשבוע הראשון. תקנו תחילה את תהליך הפיילוט: מדד מוסכם, בדיקת נתונים בהתחלה ודוחות שבועיים. הדבר תלוי בקיומו של מדד הצלחה מוסכם מראש ובמה שהתוצאות הראו בפועל.
כולם משתמשים בכלי ה-AI שרכשנו, אבל אין תוצאה עסקית ברורה. להמשיך לשלם או להפסיק?
קחו שלושה צוותים ומדדו תפוקה יחידה בכל אחד, לפני ואחרי, כשהכלים פועלים בצורה מוגדרת; שימוש כשלעצמו מעיד רק על סקרנות. השאירו את הרישיונות איפה שהתפוקה עלתה ושנו את אופן השימוש במקומות שבהם שום דבר לא זז. הדבר תלוי בעבודה שהכלים באמת נוגעים בה ובשאלה אם מישהו התאים את התהליך סביבם.
פיילוט ה-AI שלנו הצליח בקרב רופאים אבל אין שום תקציב להטמעה, מה האפשרויות שלי?
תרגמו את הישגי הפיילוט למספרים שמחזיקי התקציב מבינים, כמו שעות שבועיות שנחסכו או תיקים שטופלו, וחפשו מימון במחלקה שמרוויחה מהמהלך ולא ב-IT. במקביל, בקשו מהספק מתווה פריסה מדורג שמשלמים עליו ככל שמתרחבים. הדבר תלוי במה שהפיילוט מדד ובשאלה אם אפשר להציג את הרווח בכסף או בקיבולת עבודה.
לקוח פרסם ברשת תשובה מביכה ושגויה של מוצר ה-AI שלנו ונטש, מה לתקן ומה לומר ללקוחות פוטנציאליים?
אתרו את סוג הכשל, טפלו בכל קטגוריית השגיאה הזו ולא רק במקרה הספציפי, והוסיפו את מנגנון ההגנה שהיה מונע אותה, כמו הגבלת נושאים, בדיקה לפלטים רגישים או ספי ודאות. לאחר מכן הסבירו ללקוחות פוטנציאליים במדויק מה שונה. הדבר תלוי בשאלה אם הכשל היה חולשה מוכרת או משהו חדש לחלוטין.
פיילוט ה-AI עבד מעולה בצוות אחד אבל הפריסה לכולם לא הניבה כלום, למה ומה עושים עכשיו?
פיילוטים מצליחים כשיש צוות מגויס, דאטה נקי וקשב רב, בעוד פריסה רחבה לא מקבלת אף אחד מאלה כברירת מחדל. זהו מה משלושת הגורמים היה חסר לצוותים האחרים ותקנו זאת בשני צוותים בלבד לפני המשך ההתרחבות. הדבר תלוי בתיעוד תנאי הפיילוט ובמידת השוני באופי העבודה והדאטה בין הצוותים.
האם כדאי להמשיך להרחיב פנייה אוטומטית ללקוחות כששיחות המכירה הופכות פחות טובות?
שפטו פנייה יזומה לפי שיחות אפקטיביות והשפעות שליליות. נפח תגובות בלבד לא אומר כמעט כלום. התרחבות תלויה בהתאמה של קהל היעד, בדיוק המסרים ובאפשרות להעביר את הטיפול לאדם והשאלה אם האוטומציה פוגעת בקשר עם לקוחות פוטנציאליים.
המשתמשים הפסיקו לסמוך על עוזר ה-AI הפנימי, שמבוסס על המסמכים שלנו (RAG). לבנות אותו מחדש או לוותר עליו?
בררו אילו תשובות היו שגויות ומדוע לפני שאתם חותכים, משום שכשלים באחזור, מסמכים לא מעודכנים והנחיות לקויות דורשים פתרונות שונים לגמרי. בנו מחדש רק אם שורש הבעיה בר-תיקון באמצעות הדאטה והאחריות שלכם. הדבר תלוי בשאלה אם מסמכי המקור היו אי-פעם טובים מספיק כדי לבסס עליהם מענה.
צוות הדאטה סיינס בנה מודלים שאף פעם לא הגיעו לפרודקשן, מה צריך להשתנות לפני שמקבלים החלטה על הצוות?
גלו מדוע כל מודל נעצר: חוסר בבעל בית עסקי, היעדר תשתית הנדסית לפרודקשן, דאטה שמעולם לא היה אמין, או בעיה שאף אחד לא באמת היה צריך לפתור. התיקון נוגע לרוב באחריות ובהנדסה, והיכולות של הצוות הן בדרך כלל העניין המשני. הדבר תלוי בקיומם של מובילים עסקיים לתרחישי השימוש ובשאלה אם ההנדסה מסוגלת לפרוס ולתחזק מודל.
האם לחדש חוזה לבוט זימון תורים שלא מסוגל להעביר פניות לנציגים אנושיים?
החליטו על חידוש החוזה לפי מספר הפניות שהטיפול בהן הושלם, והיכולת לטפל בפניות שהעברתן לנציג נכשלה. ההתאמה תלויה בשאלה אם הנציגים מקבלים הקשר מלא, האם האחריות מוגדרת, והאם העברות שנכשלו נשארות גלויות לעין.
איך אני יכול לעזור בהחלטה הזו
- שאלה או שיחה (ללא עלות)
- אסביר מדוע מהלכים דומים נתקעים בדרך כלל, ואיזו בדיקה של כל פיילוט או מודל תראה אם אפשר לתקן את הבעיה.
- בדיקה והערכה (משלמים רק אם קיבלתם ערך)
- אכתוב ניתוח בלתי תלוי של הפיילוט, הכלי או המוצר ושל התנאים להרחבת השימוש. אמליץ אם לתקן, לצמצם, להרחיב או לעצור, ומה להציג לדירקטוריון.
- ליווי שוטף (בזמן ובקצב שמתאימים לכם)
- אלווה את הפיילוט הבא או את השימוש הראשון במערכת בפועל, ואבחן את המדדים, בדיקות הנתונים והתוצאות.