在 AI 應用大爆發的 2024 年，有越來越多能夠提高工作生產力的 AI 應用程式出現，然而你會選擇雲端服務，或是自己建置軟、硬體環境呢？
本地私有雲更安全
GIGABYTE AI TOP 是針對中小企業與個人工作室規劃的 AI 工作站解決方案，其最大特色在於介於個人電腦與專業伺服器中間的市場定位，以相對經濟且節省空間的成本與體積，滿足企業導入 AI 的需求。
AI 運算可以粗分為 2 個階段，分別為事前準備的「訓練」以及之後的「推論」。以比較容易理解的貓、狗照片辨識為例，在模型訓練階段需要提供大量已經標註為貓或狗的照片，讓 AI 模型去分析貓、狗之間有何特徵差異，如此一來便能得到具有分辨貓、狗能力的「AI 模型」。到了推論階段，我們只要輸入一張照片，AI 模型便能分辨照片中的動物是貓或狗。
AI TOP 解決方案不只能夠滿足比較常用的推論工作，比一般個人電腦更高的運算能力與記憶體容量也讓它能夠勝任 AI 模型的訓練，對於計劃導入 AI 的企業來說是相當有競爭力的選擇。
技嘉科技自身就是導入 AI 的成功案例，技嘉科技將多年累積的客訴、售後服務、維修記錄的文檔整理為資料集，進行大型語言模型的訓練，產生具有自家產品相關知識的 AI 模型，並將其應用於客服聊天機器人，如此一來便可減輕客服部門的人力負擔。
基於上述例子，這些用於訓練的文件可能會含有企業機密或是客戶的個資，因此必需考慮資安議題。若將文件上傳至雲端 AI 服務，除了傳輸過程的資訊外洩疑慮，也可能讓文件成為服務提供者用於訓練模型的素材，間接產生資訊外洩的困擾，所以最好的方式就是在自行建置 AI 運算工作站，確保所有機密資料都留在內部企業。
專為 AI 設計的 AI TOP
GIGABYTE AI TOP 解決方案相關產品涵蓋多款工作站級主機板、顯示卡（負責 AI 運算）、SSD、電源供應器，能夠滿足不同等級 AI 運算的需求。其主機尺寸與一般桌上型電腦接近，且規劃最高耗電量僅有 1600W，能夠直接使用大多數住宅、辦公室的配電線路，不像耗電量更高的伺服器需要拉設專線，安裝過程更加簡便。
TRX50 AI TOP 主機板支援 AMD Ryzen Threadripper 7000 系列處理器，具有 8 組 DDR5 ECC R-DIMMs 記憶體插槽，支援八通道模式與最大 2TB 容量，還具有 4 組 PCIe 5.0 x16 插槽及 4 組 PCIe 5.0 x4 M.2 插槽，比一般個人電腦主機板提供更高的擴充性，能夠安裝更多記憶體、顯示卡、SSD，提高運算效能並支援參數量更龐大的AI模型。
AI TOP 顯示卡則有 GeForce RTX 4070 Ti SUPER AI TOP 16G、Radeon PRO W7800 AI TOP 32G、Radeon PRO W7900 Dual Slot AI TOP 48G 等產品，三張顯示卡都使用雙槽空間搭配鼓風扇散熱方案，能夠在系統中安裝最多 4 張顯示卡，串連彼此的算力加速 AI 運算。
此外除了這三款顯示卡之外，其他技嘉科技推出的 RTX 40 系列顯示卡也都可以支援 AI TOP，例如選效效能最強的 RTX 4090，讓消費者能夠更彈性組裝適合的算力需求。
AI TOP SSD 與控制器廠商Phison合作，導入 aiDAPTIV 技術，可以將 VRAM 顯示卡記憶體或 DRAM 系統記憶體的資料卸載到 AI TOP SSD 上的儲存空間。雖然說 SSD 的速度比較慢，但是具有更高容量與更低成本的優點，以較長的運算時間為代價，節省下購買更高 VRAM 顯示卡的成本，或是組合出超過 192GB 的可用記憶體容量（突破 4 張 48GB 顯示卡的總合限制），容納更大的資料集與 AI 模型。
AI TOP SSD 提供 1TB 與 2TB 容量選擇，分別具有 7,200 MB/s、6,500 MB/s 以及 7,000 MB/s、5,900 MB/s 循序讀寫效能，並且具有針對 AI 應用而規劃的高耐用度設計，提供 5 年或是 109,500TBW、219,000TBW 寫入量的保固服務，使用壽命約為一般 SSD 的 150 倍，可以承受使用 aiDAPTIV 技術的大量資料寫入，這是一般 SSD 做不到的功能。
UD1600PM PG5 AI TOP 電源供應器採用伺服器等級零件，具有高穩定性與高可靠度，提供高達 1600W 的高功率，支持工作站級處理器與 4 張顯示卡運作所需，並且能夠直接使用一般住宅、辦公室的牆壁插座，而不需另外拉設更高功率的電源迴路。
大型語言模型也能自己訓練
AI TOP 解決方案最主要的功能就是能夠提供一站式 AI 模型訓練，用戶能夠以現有的開源大型語言模型為基礎，加上自有的資料集強化特定領袖的知識，讓 AI 能夠更聰明，也更接近使用的需求。
AI TOP 的硬體銷售情況會因不同區域而有所差異，所以小編這次並沒有收到全部的 AI TOP 系列硬體，而是 TRX50 AI TOP 主機板、RTX 4070 TI SUPER AI TOP 顯示卡、AORUS Gen5 12000 SSD、UD1300GM PG5 電源供應器。如果客戶想要安裝更多顯示卡，單一電源供應器瓦數不夠的話，TRX50 AI TOP 支援 PSU 串接供電，還可以透過串接 2 個提供充沛電力！
回到前面舉的例子，技嘉科技能夠將客服部門收集的相關文檔整理為訓練資料集，然後搭配現有的 Llama 3 等基礎模型進行訓練，並且每日更新最新的資料，讓原本不具回答售後服務問題能力的 Llama 3，也能成為跟上最新產品知識的 AI 客服聊天機器人，發揮更大的用途與價值。
與 AI TOP 硬體的搭配的 AI TOP Utility 工具程式提供便利的圖型化介面，並提供標準、快速、精準等 3 種預先配置的訓練參數，讓非技術人員也能輕易操作。而專業人員還可以進行詳細的訓練參數設定，並選擇使用的 GPU 以及是否透過 DRAM、SSD 分散 VRAM 的儲存資料，完整控制訓練的各個環節，讓硬體的效能發揮到極致。
另外，用戶也能設定訓練排程，以利靈活安排算力的尖峰、離峰時間，或是利用較便宜的離峰電價進行訓練。舉例來說，如果用戶購買 AI TOP 工作站之後除了將它用來進行 AI 模型訓練之外，也會讓它擔任 AI 客服聊天機器人進行 AI 推論運算，那麼就可以安排在白天暫停訓練，全力執行聊天機器人，能同時服務更多進線的消費者，而到晚上客服負擔比較低的時候，只保留小部分算力給聊天機器人，並將其於算力投入訓練任務，除了能夠提供消費者更快速的服務，也有助於控制整體硬體成本與電費成本，強化 AI 的總持有成本 (TCO)。
靈活搭配解決多種痛點
AI TOP 解決方案的一大特點就是具有靈活的搭配性，用戶可以依照大型語言模型的參數數量以及自身預算，選擇不同的記憶體、SSD、顯示卡搭配，將有限的資源化為最大效益。
舉例來說，如果訓練 7B 參數的 LoRA 模型大約需要 16GB 記憶體，可能一到兩張顯示卡就足以應付，但若要訓練 65B 參數的完整模型則需要 1200GB 記憶體，已經不是 4 張顯示卡能夠負荷，勢力需要借助 aiDAPTIV 技術，合併使用 DRAM 系統記憶體與 SSD 容量來儲存訓練過程的資料。
雖然技嘉科技並沒有進行 AI TOP 整機銷售，但提供多種不同價位的 AI TOP 解決方案搭配範例，這邊列舉 6,499 至 35,999 美金的組合進行說明。最便宜的 6,499 美金方案最高可以負荷 30B 參數模型的訓練，但最適合用於 8B 參數的模型，進行 100K 範例的訓練時間大約為 288 小時。
而11999與16499美金的方案是30B參數模型的最佳選擇，前者最高能負荷 70B 參數模型，後者則可上看 110B，且訓練工作所花費的時間較短。
效能最高的 35,999 美金方案適合處理 70B 參數模型，最高可以負荷 236B 參數模型，訓練時間則只需 15 小時，能夠更快完成每日訓練工作。
技嘉科技自 1986 年成立以來致力於提供尖端技術，生產線供應充足且品質優良，迄今為止已獲得近 20,000 項創新與設計獎項及榮譽，同時與Intel、AMD、NVIDIA 等供應商夥伴密切合作，共同引領在我們的產品中開發並導入先進 AI 科技，不斷擴展產品與影響力，AI TOP 解決方案便是其中一項成果，讓企業能以更低的門檻導入 AI 轉型，協助客戶實現 AI 的落地應用。
請注意！留言要自負法律責任，相關案例層出不窮，請慎重發文！