הרצת AI בדפדפן או בענן? אופטימיזציית חומרה בזמן אמת עם Client Hints

במהלך העבודה על שדרוג מערכת צ'אט עבור חברת פינטק מרחוב רוטשילד, נתקלנו בבעיה מציקה. המפתח הראשי התלהב מהאפשרות להריץ מודל שפה קטן (SLM) של 1.5 מיליארד פרמטרים ישירות בדפדפן באמצעות WebGPU. במחשב ה-MacBook Pro שלו הכל טס — אפס השהיה ואפס עלויות שרת. אבל כשבדקנו את האתר על מכשיר אנדרואיד זול של אחד מעובדי המשרד, הדפדפן פשוט נחנק. המסך קפא, הסוללה התחממה, והחוויה הייתה קטסטרופלית.

הדילמה: WebGPU מול שרתי ענן יקרים

המעבר של מעבדי AI אל מכשירי הקצה שינה לחלוטין את אופן פיתוח האפליקציות. הדפדפנים כיום יודעים לנצל את המאיץ הגרפי של המחשב או הטלפון כדי לבצע חישובים מורכבים בזמן אמת.

הגדרה · Client Hints API

תקן דפדפנים המאפשר לשרת לבקש ולקבל מידע מפורט על רכיבי החומרה, הרשת והמערכת של המשתמש דרך כותרות HTTP, עוד לפני רינדור העמוד.

מצד אחד, להריץ הכל בדפדפן זה החלום של כל מנהל תשתיות. אין חשבוניות ענק מאמזון או מ-OpenAI, והנתונים של הלקוח לא עוזבים את הזיכרון המקומי. מצד שני, המציאות בשטח מורכבת. מגוון המכשירים שנכנסים לאתר שלך עצום — החל ממחשבי גיימינג מפלצתיים ועד טלפונים בני ארבע שנים עם 3GB זיכרון RAM.

אם תכריח את כל המשתמשים להריץ מודל מקומית, תאבד חלק ניכר מהם. אם תשלח את כולם לענן, תקרוס מול עלויות ה-API. זה עולה לך בכסף.

איך Client Hints מספקים פרופיל חומרה בזמן אמת

כדי לקבל החלטה מושכלת, אנחנו צריכים לדעת מול איזה מכשיר אנחנו עומדים עוד ברמת בקשת ה-HTTP הראשונה. כאן נכנס לתמונה ה-Client Hints API.

כאשר הדפדפן מבצע פנייה לשרת, השרת יכול להחזיר כותרת תשובה מסוג Accept-CH וממנה לבקש נתונים ספציפיים. בין הנתונים הבולטים שניתן לשלוף:

• Sec-CH-UA-Model: דגם המכשיר המדויק.
• Sec-CH-UA-Platform-Version: גרסת מערכת ההפעלה.
• Device-Memory: נפח זיכרון ה-RAM המוערך בגיגה-בייט.

בנוסף לכותרות ה-HTTP, ברגע שהקוד רץ בדפדפן, אנחנו משלימים את התמונה בעזרת JavaScript:

• navigator.deviceMemory: מציג את נפח ה-RAM.
• navigator.hardwareConcurrency: מספר ליבות המעבד הזמינות.
• בדיקת תמיכה ב-WebGPU באמצעות navigator.gpu.

כשמחברים את הנתונים האלה יחד, מקבלים ציון חומרה (Hardware Score) תוך מילי-שניות ספורות.

תרחיש מעשי: מנוע נתוב היברידי (Hybrid AI Router)

במקום לבחור גישה אחת, אני ממליץ ליישם רכיב נתוב היברידי. הרכיב הזה מקבל את שאילתת ה-AI של המשתמש, בודק את משאבי המכשיר, ומחליט איפה לבצע את החישוב.

הנה לוגיקת החלטה פשוטה ויעילה:

1. מכשיר חזק (RAM מעל 8GB, תמיכה ב-WebGPU, מעל 6 ליבות): המודל נטען לזיכרון המקומי. העבודה מבוצעת בדפדפן.
2. מכשיר בינוני (RAM של 4GB-8GB): משימות קלות מאוד ירוצו בדפדפן. משימות מורכבות יעברו לשרת.
3. מכשיר חלש (מתחת ל-4GB RAM או ללא WebGPU): כל בקשות ה-AI מנותבות באופן מיידי ל-API של השרת בענן.

התוצאה היא שמשתמשים עם מכשירים חזקים נהנים מתגובה מיידית, ומשתמשים עם מכשירים חלשים מקבלים תשובה מהירה מהשרת מבלי שהטלפון שלהם יקפא.

טיפול בפינות חשוכות: Fallbacks וחוויה רציפה

גם כשהחומרה נראית חזקה על הנייר, נסיבות סביבתיות יכולות להשתנות. טלפון חזק שנמצא על 5% סוללה או מתחמם בשמש של תל אביב בצהריים, יוריד באופן דרמטי את תדר המעבד.

💡

נתובי AI חכמים חייבים לכלול מנגנון Fallback דינמי. אם הרצת המודל בדפדפן חורגת מתקציב זמן שנקבע מראש, המערכת חייבת לעבור באופן שקוף לשרת הענן.

כדי למנוע תקיעות, אני מטמיע תמיד מנגנון מדידת זמנים (Timeout): אם טעינת המודל או יצירת התשובה הראשונה בדפדפן אורכת יותר מ-1500 מילי-שניות, הקוד קוטע את התהליך המקומי ושולח את הבקשה לשרת. המשתמש אפילו לא מרגיש שהתרחשה החלפה ברקע.

סיכום

שילוב של AI באתרי אינטרנט אינו עוד שאלה של אם, אלא של איפה. ניצול של Client Hints API יחד עם זיהוי חומרה בזמן אמת מעניק לכם את הטוב מכל העולמים. אתם חוסכים בעלויות מחשוב יקרות בענן מבלי להקריב את חוויית המשתמש של בעלי מכשירים חלשים.