שילוב RAG במערכת קיימת

מה RAG פותר?

מודל שפה רגיל יכול לנסח תשובה, אבל הוא לא בהכרח יודע מה כתוב במסמכים של העסק. RAG מוסיף שלב אחזור: המערכת מוצאת מקטעים רלוונטיים, מעבירה אותם למודל, והמודל מנסח תשובה על בסיסם.

זה מתאים לתמיכה בלקוחות, שאלות עובדים, חיפוש במסמכים, מערכות הדרכה, הצעות מחיר, ניתוח חוזים או כל תהליך שבו ידע עסקי משתנה לאורך זמן.

מה צריך להכין לפני שילוב RAG?

צריך למפות מקורות ידע, לנקות מסמכים, לחלק מידע למקטעים הגיוניים, לבחור שיטת חיפוש, ולבדוק שהמערכת מחזירה הקשר נכון. מסמך ארוך בלי חלוקה טובה יוצר תשובות חלשות גם אם המודל חזק.

צריך גם לחשוב על הרשאות: לא כל משתמש רשאי לראות כל מסמך. RAG במערכת עסקית חייב לכבד הרשאות, פרטיות והפרדה בין לקוחות או צוותים.

מה עושה את ההבדל באיכות התשובות?

שלושה דברים. חלוקה למקטעים לפי מבנה המסמך, לפי כותרות ופסקאות, ולא לפי מספר תווים קבוע. חיפוש משולב: חיפוש סמנטי שמבין כוונה, יחד עם חיפוש מילות מפתח שתופס מספרי מוצר, שמות וסעיפים. ובעברית, חיפוש מילות מפתח צריך לטפל בתחיליות כמו ו־, ב־, ל־, מ־ ו־ש־, אחרת הוא מפספס התאמות פשוטות.

ואת ההרשאות מסננים לפני שהמידע מגיע למודל, לא אחרי. אם מסמך שהמשתמש לא מורשה לראות נכנס להקשר של המודל, הוראה במודל לא תמיד תמנע ממנו להופיע בתשובה. ומודדים: סט של עשרות שאלות אמיתיות עם תשובות נכונות, שרץ אחרי כל שינוי, ובודק אם התשובה נשענת על המקורות ואם היא עונה על השאלה.

איך איתי קרקסון משלב RAG?

איתי קרקסון מחבר RAG למערכות קיימות דרך תהליך מדורג: מיפוי ידע, בניית אינדקס, חיבור לממשק, בדיקות תשובות, טיפול בהרשאות והוספת בקרה. המטרה היא לא צ׳אט כללי אלא תשובות שימושיות מתוך הידע העסקי.

רכיבים שצריך לתכנן

שאלות נפוצות

האם RAG מחליף בסיס נתונים?

לא. RAG הוא שכבת חיפוש והקשר מעל מידע קיים. בסיס הנתונים עדיין מנהל את המידע.

האם RAG עובד בעברית?

כן, אבל צריך לבדוק איכות אחזור, חלוקת מסמכים ותשובות בעברית עם נתונים אמיתיים.