澎科大資管系師生參訪力麗科技 研討AI-Stack GPU資源管理平台

114年10月29日

國立澎湖科技大學資訊管理系 代理主任呂峻益，日前帶領系上約5至6位專題學生，前往產學合作夥伴力麗科技股份有限公司 (LeaLea Technology) 進行企業參訪，實地了解業界在AI伺服器領域的最新解決方案。

此次參訪的核心議題，為力麗科技所代理介紹的「AI-Stack」AI基礎設施管理平台。

力麗科技代表指出，隨著AI模型日趨複雜，企業與學術單位在進行深度學習時，常面臨GPU資源分配不均、利用率低落的挑戰。

而「AI-Stack」平台提供了高效的GPU資源管理方案。透過其獨特的「GPU切割」技術，能將單張高階GPU虛擬化為多個小型單元，讓多位使用者或多項任務同時運行，據介紹，此技術能將GPU平均利用率從傳統的30%大幅提升至90%。

此外，該平台亦整合了MLOps (機器學習運維)，能將AI開發環境的建置時間從數週縮短至僅需1分鐘，並支援高效能運算(HPC)所需的多節點分散式訓練。

參訪學生對於能將昂貴的GPU資源進行彈性調配、提升多人協作效率的技術印象深刻。呂峻益主任表示，此次參訪讓學生深入了解業界如何透過軟體定義硬體，解決AI算力瓶頸，對學生未來的專題研究與職涯發展極具啟發性。