2025年8月5日，OpenAI發表了自2019年GPT-2以來首個開源模型GPT OSS。從年初中國DeepSeek掀起的開源熱潮，，加上Google發布的Gemma 3，到OpenAI主動出擊，地端AI時代正式來臨。數位時代創新長黃亮崢James邀請APMIC（亞太智慧機器）創辦人暨執行長吳柏翰Jerry，深入解析GPT OSS模型如何標誌著企業地端AI部署時代的來臨。

GPT OSS這個120億參數的模型透過MXFP4最佳化技術，將記憶體需求降低到原本的四分之一，讓企業能在單張H100上運行，相較於中國模型如DeepSeek動輒需要5張以上H100，美國開源模型更專注於在有限硬體資源下達到最佳性能。GPT OSS採用混合專家架構（MOE），大幅提升運算效率。更首次引入了Harmony Response Format格式將Agent的分析能力直接內建到模型中，企業可以更精確控制AI的思考過程，無需複雜的提示工程就能獲得高品質回應。

企業在評估地端AI部署時，需要考慮「合法、合規、合用」三大面向：

合法：模型需符合國家規範並具備在地文化理解；
合規：要求通過ISO 27001資訊安全、ISO 42001人工智慧管理、ISO 27701隱私資訊管理等國際認證標準；
合用：強調實際商業價值創造。

在成本計算上，當企業每日Token使用超過新台幣5000元時，就應認真考慮地端部署。對於金融、醫療、政府等受監管行業，地端部署不僅是成本考量，更是合規必要。企業在選擇開源模型時，需要考慮模型的可塑性、基礎能力和訓練難度。GPT OSS雖然訓練較困難但不易遺忘，適合需要穩定性的場景；Llama系列可塑性高但容易遺忘，適合需要頻繁微調的應用。

但是，地端AI部署遠比想像複雜，企業需要做好充分準備。硬體方面，除了GPU採購困難外，還需要升級機房電力系統、網路設備（100G以上交換器）和散熱系統。軟體方面，從作業系統選擇、CUDA環境配置、Python開發環境建置，到模型下載部署、企業系統整合等，每個環節都需要專業技術能力。更重要的是建立驗證標準，企業必須先定義明確的應用情境，建立量化的評估指標，讓實際使用者對AI產出進行評分驗證。

Jerry建議企業採用「先工具後自建」的策略，先透過成熟的企業AI工具建立使用經驗，再根據實際需求決定是否投資自建地端系統。他也提醒整個導入過程通常需要半年到一年時間，企業應該制定短中長期的AI投資計畫。

Powered by Firstory Hosting

數位關鍵字204.為什麼地端AI元年來了！GPT OSS、Gemma 3讓企業自建不再是夢想

數位時代 Business Next