ADVERTISEMENT
GIGABYTE 於Computex 2024台北國際電腦展發表的AI TOP解決方案具有主機板、顯示卡、固態硬碟與電源供應器等零組件，提供自行訓練模型的基礎設施。
AI訓練最佳化硬體零組件
AI TOP解決方案主要瞄準的客戶族群為需要處理機敏資料、自行訓練AI模型的中小企業，透過完整的硬體系統與軟體功能，簡化訓練模型的流程。
在主機板部分，GIGABYTE提供AMD TRX50 AI TOP、Intel W790 AI TOP等不同處理器陣營的選擇，2者都能安裝8組R-DIMM DDR5記憶體（最高容量為2TB），前者提供4組PCIe Gen 5x16插槽，而後者則提供5組PCIe Gen 5x16插槽，但受尺寸與機殼空間限制，2張主機板皆最多只能安裝4張顯示卡或運算卡。
ADVERTISEMENT
顯示卡具有AMD Radeon Pro W7900 AI TOP 48G / W7800 AI TOP 32G，以及NVIDIA GeForce RTX 4070 Super AI TOP 16G可供選擇，主要的特色為皆採雙槽尺寸並搭配鼓風扇，以便在單一機殼內安裝最多4張顯示卡。
AI TOP 100E固態硬碟具有1TB與2TB容量選擇，採用Phishon的aiDAPTIV+解決方案，能在VRAM（顯示記憶體）不足的情況下以固態硬碟作為虛擬VRAM。雖然它使用TLC類型NAND顆粒，但是設定為SLC模式，提供更高的存取效能與耐用度。以1TB版本為例，能提供19萬TBW的耐用度。
UD1600PM PG5 AI TOP電源供應器具有能夠推動4張顯示卡的高功率，並且符合80 Plus白金認證，1600W的功率規格讓它不會超過一般家庭、辦公室的供電迴路上限，能夠直接插在一般110V電壓的插座使用，而不像部分功耗更高的伺服器可能需要拉設專線才能滿足供電需求，大幅降低使用門檻。
ADVERTISEMENT
ADVERTISEMENT
ADVERTISEMENT
軟體功能也是重點
AI TOP解決方案除了具有許多硬體零組件產品之外，搭配的軟體也是重點之一。目前GIGABYTE規劃免費提供UBUNTU作業系統的AI TOP Utility工具軟體，但限制需要搭配AI TOP主機板才能使用，至於其他零組件則沒有強制要求。
AI TOP Utility的主要有2大功能，程式首頁提供系統監控功能，使用者可以透過儀表板（Dashboard）查看系統狀況，掌握CPU（處理器）、GPU（繪圖處理器）、記憶體等資源使用量。
它的另一大功就是進行AI模型訓練，目前AI TOP Utility將訓練稱為「Experiment」，專注於模型微調（Fine Tune），並提供重新訓練模型（Re-Train）或是產生低秩調整小模型（LoRA。沒錯，就是Stable Diffusion所使用的LoRA）等模式。
此外AI TOP Utility能在訓練時指定使用的GPU（可以空出一些GPU讓它們同時待命、執行AI推論任務），並透過Phison aiDAPTIV+解決方案的協助選擇將資料集卸載（Offload）至系統主記憶體或固態硬碟。
此外使用者也可以在AI TOP Utility中進行排程設定，舉例來說可以設定在離峰負載時才進行AI訓練任務，或是利用電價較低的時段進行訊練。若過程中需要中斷訓練，系統也能暫停任務並儲存進行，待之後再接續進行。
GIGABYTE的AI TOP解決方案提供中小企業自行訓練AI模型的入門管道，若在使用過程遇到問題，也可求助AI TOP Tutor服務，提供完整諮詢、硬體安裝教學以及技術支援，協助初學者或專家輕鬆上手AI訓練專案。
ADVERTISEMENT