aiDAPTIV+ 在地端 生成式 AI Server 解決方案

群聯電子 推出的 aiDAPTIV+ 是一套創新的 AI 解決方案, 旨在解決目前 AI 模型訓練與推論在高昂硬體成本(尤其是高頻寬記憶體 HBM/GDDR)和記憶體容量限制方面的挑戰。它透過將 SSD 作為 GPU 記憶體的延伸, 大幅降低了 AI 部署的門檻, 讓更多企業能夠在本地端進行 AI 模型的訓練與應用。

aiDAPTIV+ 產品特色

• 成本效益高：
  • 透過將昂貴的 HBM 和 GDDR 記憶體資源動態調配到成本更低的快閃記憶體(SSD), 大幅降低硬體開銷。
  • 減少對大量昂貴且高耗能 GPU 顯示卡的需求, 使大型語言模型 (LLM) 的訓練成本顯著降低。例如, 訓練一個 700 億參數的 Llama2 模型, 成本可能僅需約 150 萬新台幣, 相較於傳統方式動輒千萬甚至上億的費用, 具有極大的優勢。
• 部署簡單便捷：
  • 無論是在家、辦公室、學校教室或資料中心都能輕鬆部署。
  • 體積小巧, 只需使用一般的電力與冷卻設備。
  • 提供指令列操作與直覺化圖形介面, 內建多種功能套件, 簡化模型的導入、微調、驗證和推論過程。
• 記憶體擴展與效能提升：
  • 透過獨家的 aiDAPTIVCache 技術和中介軟體, 將 SSD 作為 GPU 記憶體的延伸, 為 PC 提供額外 320GB, 工作站與伺服器上至 8TB 的記憶體。
  • 支援低延遲的 LLM 訓練, 讓模型規模不再受限於 GPU 記憶體容量, 能夠訓練更大規模的模型。
  • 具備業界領先的 100 DWPD (Drive Writes Per Day) 極高耐久度, 並支援群聯先進的 NAND 糾錯演算法技術, 確保資料可靠性。
• 資料隱私與安全：
  • 支援本地端部署 (on-premises), 讓企業能夠將 AI 模型的訓練和推論保留在防火牆內, 確保敏感數據的資料主權和隱私安全, 避免雲端服務可能帶來的資安疑慮。
• 加速推論與更長上下文：
  • 透過加速首次 Token 召回時間 (TTFT), 提升推論效率和響應速度。
  • 增加 Token 長度, 提供更豐富的上下文理解, 進而產生更長、更精確的回答。

aiDAPTIV+ 主要功能

aiDAPTIV+ 的核心功能是透過其 aiDAPTIVCache 硬體 和 aiDAPTIVLink 驅動程式 (中介軟體), 實現以下關鍵功能：

• GPU 記憶體擴展：將 SSD 虛擬化為 GPU 的延伸記憶體, 解決大型 AI 模型因 GPU 內存不足而無法運行的問題。這使得即使是搭載較少 HBM/GDDR 記憶體的 GPU 也能處理大規模模型。
• 模型分割與管理：中介軟體能夠將大型 AI 模型進行結構性拆分, 並智慧地將待處理的資料分派到各個 GPU, 同時在 aiDAPTIVCache 上暫存等待處理的資料切片, 並在 GPU 完成處理後進行資料交換。
• 支援多種 AI 模型：支援包括 Vicuna、Falcon、Whisper、Clip Large、Metaformer、Resnet、Deit base、Mistral、TAIDE 等主流 AI 模型, 並持續新增支援的模型。
• 無縫相容性：提供 PyTorch 相容性, 無需修改現有的 AI 應用程式, 即可輕鬆新增節點並擴展運算能力。
• 一體化工具集：提供直觀的圖形介面和指令列操作, 內建模型導入、微調、驗證和推論等一站式工具。
• 高效能與低功耗：在降低硬體成本的同時, 提高運算效率, 並在相同的 AI 模型微調訓練運算條件下, 所需的整體電力消耗更少, 符合節能減碳趨勢。

aiDAPTIV+ 重要模組

aiDAPTIV+ 解決方案主要由以下幾個關鍵模組構成：

• aiDAPTIVCache 硬體：這是核心的 SSD 產品, 具備高耐久度(100 DWPD), 專為 AI 負載設計, 能夠作為 GPU 的高速延伸記憶體。
• aiDAPTIVLink 中介軟體：這是關鍵的軟體層, 負責協調 GPU 和 aiDAPTIVCache 之間資料的流動與管理。它會智慧地分割 AI 模型, 並在 GPU 和 SSD 之間進行資料切片和交換, 確保高效的運算。目前已升級至 3.0 版本, 提供更強大的功能。
• aiDAPTIVProSuite (選配)：這是一套可選的 AI 軟體開發工具集, 提供更全面的 AI 開發與部署功能, 幫助使用者更有效地利用 aiDAPTIV+ 平台。
• NAND 控制晶片與演算法：作為群聯的核心技術, aiDAPTIV+ 將 AI 和機器學習技術直接整合到 NAND 控制晶片和演算法中, 提升儲存解決方案的計算性能與可靠性。

 

aiDAPTIV+ 企業應用

aiDAPTIV+ 解決方案因其成本效益、資料安全和部署靈活性, 在多個企業領域具有廣泛的應用潛力：

• 地端 AI 訓練與推論：
  • 中小企業導入 AI：降低 AI 伺服器的建置成本, 使中小企業無需投入鉅資也能享有 AI 應用, 實現「全民 AI」的概念。
  • 數據隱私與主權：適用於需要嚴格控制資料流向、重視數據隱私的企業(如金融、醫療、政府機構), 確保敏感數據在本地端進行 AI 處理, 避免外洩風險。
  • 專業模型建構：協助企業利用內部資料訓練屬於自己的 AI 模型, 建立專屬的「AI 大腦」, 提升核心競爭力。
• 邊緣運算與 IoT 應用：
  • AI 筆記型電腦：將 LLM 訓練與推論能力下放到個人筆電, 讓使用者在本地端進行模型訓練和客製化推論, 例如 Maingear 推出整合 aiDAPTIV+ 的 ML 系列 AI 筆電。
  • 機器人與智慧製造：與 NVIDIA Jetson IoT 裝置整合, 用於機器人科技和工業自動化, 加速 LLM 訓練、提高推論效能, 並提升上下文識別能力, 使邊緣設備具備 AI 模型訓練和自主學習能力。
  • 智慧城市：在智慧城市基礎設施中應用, 實現更快速、更智慧的數據處理與決策。
• 學術研究與教育：
  • 提供經濟實惠的 AI 基礎設施, 讓大學和研究機構能夠進行大型 AI 模型的研究與實驗, 推動學術發展。

aiDAPTIV+ 特定產業應用情境

1. 金融服務業

金融業對資料安全和隱私有著極高的要求，同時也希望利用 AI 來提升服務效率、風險管理和市場洞察。

• 應用情境：
  • 詐欺偵測與風險管理： 金融機構可以將客戶交易數據、行為模式等敏感資料，在本地端的 aiDAPTIV+ 平台上訓練詐欺偵測模型。由於資料不出防火牆，能有效避免資料外洩風險，同時利用 AI 提升詐欺行為的識別準確度，降低潛在損失。
  • 信用評估與貸款審核： 透過整合客戶的多元數據，訓練客製化的信用評估模型。aiDAPTIV+ 能在不依賴雲端服務的情況下，加速模型訓練與推論，使得貸款審核流程更快速、更精確，同時保障客戶資料的隱私。
  • 合規性監控與報告： 金融法規日趨嚴格，利用 AI 監控交易行為是否符合法規，自動生成合規報告。aiDAPTIV+ 的本地端部署能力確保所有審計軌跡和敏感資料都保留在內部系統，符合監管要求。

2. 醫療健康產業

醫療數據通常涉及病患的個人隱私，且資料量龐大，AI 在疾病診斷、藥物研發和個人化醫療方面潛力巨大。

• 應用情境：
  • 醫學影像分析： 醫院可以利用 aiDAPTIV+ 在本地訓練大型醫學影像識別模型（例如 X 光、MRI、CT 影像），用於輔助診斷疾病（如腫瘤、病變）。由於模型訓練和推論都在內部進行，能有效保護病患隱私，並加速診斷流程。
  • 基因組學與新藥研發： 科研機構和藥廠能利用 aiDAPTIV+ 處理和分析龐大的基因組數據，進行基因變異分析、蛋白質結構預測等，加速新藥分子的篩選與研發。本地部署能確保研究數據的安全性與專利保護。
  • 電子病歷智能分析： 透過對電子病歷（EHR）進行自然語言處理 (NLP)，提取關鍵資訊，協助醫生快速了解病患病史、過敏資訊等，提升看診效率和診斷品質。所有數據處理都可在院內完成，滿足 HIPAA 等醫療隱私法規要求。

3. 製造業與工業自動化

製造業正積極推動智慧製造，AI 在品質檢測、預測性維護和生產流程優化方面扮演關鍵角色。

• 應用情境：
  • 機器視覺品管： 製造商可以在產線上部署整合 aiDAPTIV+ 的邊緣 AI 設備，對產品進行即時視覺檢測，判斷瑕疵。由於推論速度快且在本地完成，能提高檢測效率和準確性，減少不良品率，同時不必將敏感的生產流程數據上傳雲端。
  • 設備預測性維護： 透過分析機器設備運行數據（如溫度、振動、電流），訓練 AI 模型來預測設備故障。aiDAPTIV+ 能讓工廠將這些數據在本地進行處理和模型訓練，及早預警潛在問題，減少停機時間，優化維護計畫。
  • 供應鏈優化： 利用 AI 分析供應鏈數據，優化庫存管理、生產排程和物流規劃。aiDAPTIV+ 提供的本地 AI 能力，讓企業能更彈性、更安全地調整其供應鏈策略，應對市場變化。

4. 教育與研究機構

教育界和研究單位需要高效且成本可控的 AI 運算資源來支持教學和科研項目。

• 應用情境：
  • AI 實驗室建置： 大學和職校可以利用 aiDAPTIV+ 建立成本效益高的 AI 實驗室，讓學生和研究人員能夠實際操作大型 AI 模型，進行訓練和實驗，無需依賴昂貴的雲端運算資源或高階 GPU 伺服器，降低教學門檻。
  • 學術研究與模型開發： 研究人員可以利用 aiDAPTIV+ 平台，在本地進行大模型訓練與微調，探索新的 AI 演算法或應用，例如自然語言處理、電腦視覺、生物資訊等領域的研究，保護研究成果的知識產權。
  • 智慧校園應用： 部署 AI 模型用於智慧圖書館管理、能源優化、校園安全監控等，提升校園運營效率。

這些只是 aiDAPTIV+ 潛在應用的一小部分。由於其成本效益、本地端部署、資料安全和記憶體擴展能力等核心優勢，幾乎所有需要處理大量數據、重視隱私或希望降低 AI 導入門檻的企業，都能從 aiDAPTIV+ 中獲益。

總體而言, 群聯 aiDAPTIV+ 透過其獨特的軟硬體整合方案, 打破了傳統 AI 運算的成本與效能瓶頸, 為企業提供了一種更具成本效益、更安全且易於部署的 AI 解決方案, 加速 AI 技術的普及與應用。