בינה מלאכותית – מענן ליחידת קצה (Edge AI)

בעבר, נהוג היה לבצע אימון (training) של המודלים של בינה מלאכותית בענן, ואז לפרוס את המודלים המאומנים ליחידות הקצה: להסקת מסקנות, יצירת תוצאות, חיזוי ושליחת נתונים בחזרה לענן. ההתקדמות בטכנולוגיית החומרה וכוח החישוב המוגבר של התקני קצה מאפשרים עמידה בדרישות החישוביות של אימון מודל AI בהתקני הקצה. יתר על כן, הגידול המהיר בנפח הנתונים של AIoT השפיע משמעותית על עלות העברת הנתונים מהקצה לענן. השינוי הנ”ל יצר צורך בביצוע עיבוד של מודל AI ביחידות הקצה.

עיבוד מודל AI – בענן או ב-Edge?

ההחלטה אם לאמן מודלים של AI בענן או ביחידת הקצה נובעת ממספר גורמים: סוג יישום של הבינה המלאכותית, גודל הפרמטרים של מודל AI, נפח הנתונים ורמת האבטחה של הנתונים.

מחשוב ענן מהיר עדיף עבור יישומי בינה מלאכותית עם פרמטרים גדולים, או כאלה שבהם כוח מחשוב קצה אינו מספיק, מכיוון ששני התרחישים מאריכים את זמני הכוונון העדין (fine-tune training). בנוסף, העלאת נתונים ארגוניים לענן אינה מומלצת בדרך כלל מטעמי אבטחה. במקרים של ריבוי הנתונים לכוונון עדין של מודל AI, התקני קצה יכולים להתמודד עם כריית נתונים (data mining) או הכוונון העדין, ובכך להתמודד עם האתגרים בהעברת נפח נתונים גדול.

כשמדובר על יישומי בינה מלאכותית, ארגונים לא מסתפקים ביישומים כמו צ’אטבוטים לשירות לקוחות, אלא משלבים בנוסף מערכות ניהול מידע, מדריכים לתחזוקת ציוד ונתונים אחרים כדי להעלות את יעילות העבודה. שילוב זה משפר את אחזור הנתונים ומסייע לעובדים חדשים להסתגל במהירות לתפקידיהם. מכיוון שהנתונים הפנימיים בדרך כלל חסויים ואינם מתאימים להעלאה לענן, ארגונים יכולים לפרוס שרתי Edge AI לוקאליים כדי לאמן ביעילות מודלים של LLM (Large Language Model) באתר של הארגון.

מצד שני, כוונון עדין של המודלים של LLM בבינה מלאכותית גנרטיבית (GenAI), צורך כמות ניכרת של זיכרון (DRAM). אם קיבולת ה-DRAM אינה מספקת, זה הופך למגבלה בכוונון העדין של ה-LLMs, מה שמחייב שימוש בכרטיסי GPU יקרים נוספים. זהו נטל עלויות משמעותי עבור רוב החברות. לכן, חיוני להפחית את העלות של הרחבת DRAM הנדרשת על ידי הפרמטרים ההולכים וגדלים של GenAI, תוך שמירה על רמת אבטחת נתונים גבוהה וסודיות. זה חיוני להטמעה מהירה של יישומי AI גנרטיביים.

EdgeAI מבוססי GPU ו-NPU

קיימים שתי תצורות שונות ליישום פתרונות EdgeAI:

• פתרונות מבוססי GPU (Graphics Processing Units) מתמחים בעיבוד מקביל של כמויות גדולות של נתונים. GPUs (קיימים בתצורת שבבים או כרטיסים גרפיים עצמאיים) בנויים עם מאות או אלפי ליבות קטנות וייעודיות (ALU: Arithmetic Logic Units) שיכולות לבצע בו זמנית מספר פעולות, מה שהופך אותן לאידיאליות לעיבוד גרפי ולאחרונה לאימון ופריסה של מודלים של LLM.
• פתרונות מבוססי NPU (Neural Processing Units). בעוד שפתרונות GPU יעילים בחישובי floating point ועיבוד מקביל של נפחי נתונים גדולים, NPUs מתוכננים לטפל ביעילות בכפל וחיבור מטריצות – יכולת חיונית לעומסי עבודה הקשורים לבינה מלאכותית (AI) ולמידת מכונה (ML), כגון זיהוי תמונה, עיבוד שפה טבעית ולמידת מכונה.

פתרונות EdgeAI מבוססי GPU

חברת אדוונטק (Advantech), בשילוב פתרונות של NVIDIA, מספקת פלטפורמות קצה EdgeAI מקיפות: פלטפורמות מחשוב (סדרת MIC-AI), מערכות וידאו (MIC-IVAs), מחשבי ושרתי GPU. פלטפורמות AI אלו נמצאות בשימוש נרחב בקווי ייצור, אוטומציה, יישומי ערים חכמות, חקלאות חכמה והדמיה רפואית.

המערכות של אדוונטק מותאמות ליישומי GenAI, שהיא סוג של מערכת בינה מלאכותית שיכולה ליצור תכנים חדשים (טקסט, תמונות או כל סוג של מדיה אחרת) בתגובה להנחיות (פרומפטים). בינה מלאכותית גנרטיבית משתמשת במודלים גנרטיביים, כגון מודל שפה גדול (LLM), כדי לדגום נתונים חדשים באופן סטטיסטי על סמך מערך נתוני האימון (training/validation/test) ששימש ליצירתם.

דגם MIC-733-AO היא מערכת AI Inference מבוססת על כרטיס GPU של NVIDIA® Jetson AGX OrinTM, המציע עד 275 TOPS בביצועי AI, מעבד ARM בעל 12 ליבות, ומאיץ GPU של עד 2048 ליבות NVIDIA® CUDA® cores  ועד 64 ליבות  .Tensor Cores

לצד הממשקים הפריפריאליים הסטנדרטיים (USB, OTG, HDMI), המערכת מציעה ממשק GPIO, עד 4 יציאות 1GbE PoE, 2 הרחבות mPCIe, ממשק M.2, 2 חריצי SIM והרחבה ייחודית iDoor של אדוונטק, המאפשרת חיבור של כרטיסי תקשורת, I/O ועוד.

בנוסף, הדגם MIC-733-AO משלב מנגנון RMM לניטור, בקרה וניהול מערכת מרחוק.

 

 

 

 

 

 

פתרונות EdgeAI מבוססי NPU

שיתוף הפעולה בין חברת אדוונטק לחברת Hailo הישראלית הוליד מערכת היברידית, המבוססת על לוח מחשב מדגם RSB-3720 עם מודול Hailo 8.

לוח RSB-3720 הינו לוח SBC 2.5” של אדוונטק, המבוסס על מעבד ARM  i.MX8M4 ליבות Plus Cortex®-A53 של NXP. הלוח מגיע עם זיכרון LPDDR4 של עד 6GB, זיכרון eMMC של 16GB, ממשקי וידאו HDMI ו-LVDS, מאיץ גרפי דגם GC7000UL ו-CODEC מובנה לעיבוד וידאו.

הלוח מגיע עם 2 יציאות 1GbE, יציאות USB3.2, ממשקים סריאליים (CAN, UART), ממשקי AUDIO ו-2 כניסות למצלמות MIPI-CSI2. כמו כן, הלוח כולל הרחבות mPCIe, M.2, חריץ ל-SDCARD ולכרטיס SIM.

בנוסף, הדגם RSB-3720 משלב מנגנון RMM לניטור, בקרה וניהול מערכת מרחוק.

מודול Hailo 8 הוא NPU מכיל מעבד Hailo-8 edge AI, שמסוגל לבצע עד  26 TOPS (26×10¹² פעולות בשנייה). היעילות וההספק של המעבד מייצרים פתרון המוביל ליישומי AI, תוך שמירה על גודל פיזי קטן, ואף כולל הזיכרון מובנה נדרש. עם ארכיטקטורה המנצלת את תכונות הליבה של רשת עצבית מלאכותית ((ANN – Artificial Neural Network, הרכיב מאפשר למכשירי קצה להפעיל יישומי למידה עמוקה (Deep Learning) בצורה יעילה ויציבה, תוך הוזלה משמעותית של עלויות המערכת.

לוח בקרה של סביבת EdgeAI Suite של Advantech.

---