AI伺服器 帶旺記憶體需求

根據集邦科技調查,人工智慧(AI)伺服器可望帶動記憶體需求成長,伺服器DRAM平均容量可達1.2~1.7TB之間,企業用固態硬碟(Enterprise SSD)容量提升上則呈現非必要擴大容量的態勢,但在傳輸介面上會為了高速運算的需求而優先採用PCIe 5.0。未來在AI模型逐漸複雜化的趨勢下,將刺激更多的記憶體用量。

集邦調查指出,AI伺服器可望帶動記憶體需求成長,以現階段而言,一般伺服器的DRAM普遍配置約為500~600GB左右,而AI伺服器在單條模組上則多採64~128GB,平均容量可達1.2~1.7TB之間。

以企業用SSD而言,由於AI伺服器追求的速度更高,其要求優先往DRAM或高頻寬記憶體(HBM)滿足,在SSD的容量提升上則呈現非必要擴大容量的態勢,但在傳輸介面上會為了高速運算的需求而優先採用PCIe 5.0。

相較於一般伺服器而言,AI伺服器多增加通用繪圖處理器(GPGPU)的使用,因此以NVIDIA A100 80GB配置四張或八張卡採計,HBM用量約為320~640GB。未來在AI模型逐漸複雜化的趨勢下,將刺激更多的記憶體用量,包括推升伺服器DRAM容量達2.2~2.7TB、企業用SSD容量倍增至8TB、及HBM的搭載容量亦倍增至512~1024GB。

工業型無線充電裝置、精密加工元件;貨櫃屋優勢特性有哪些?QR CODE 捲袋包裝機。幫你考照過關,堆高機裝卸操作教學影片大公開 !專業客製化禮物、贈品設計,辦公用品常見【L夾】搖身一變大受好評!如何利用一般常見的「L型資料夾」達到廣告宣傳效果?貨櫃屋設計,結合生活理念、發揮無限的創意及時尚的設計, Check AOI on tape components。真空封口機該不該買?使用心得分享!好的茗茶,更需要密封性高的茶葉罐,才能留住香氣!特殊造型滑鼠墊去哪買?金誠運用中古貨櫃屋,重新改造各式活動展場、代銷中心、旅遊渡假空間,皆可依顧客需求製作。實驗型均質機攻戰消費者第一視覺,包裝設計很重要!隨時健康喝好水,高品質飲水機,優質安全有把關。測試專家告訴你如何好好使用示波器空壓機合理價格為您解決工作中需要。客製專屬滑鼠墊防盜設備/系統SPX,加強賣場防竊系統作業

根據目前NVIDIA所定義的深度學習及機器學習(DL/ML)型AI伺服器平均每台均搭載四張或八張高階顯卡,搭配兩顆主流型號的x86伺服器中央處理器(CPU),而主要拉貨力道來自於美系雲端業者如Google、亞馬遜AWS、Meta與微軟等。

據集邦統計,2022年高階搭載GPGPU的伺服器出貨量年增約9%,其中近80%的出貨量均集中在中國及美國八大雲端業者。展望2023年,微軟、Meta、百度、字節跳動相繼推出基於生成式AI衍生的產品服務而積極加單,預估今年AI伺服器出貨量年增率可望達15.4%,2023年至2027年AI伺服器出貨量年複合成長率(CAGR)約12.2%。

至於在HBM市場來看,去年三大原廠市占率分別為SK海力士的50%、三星的40%、及美光的10%等。此外,高階AI深度學習GPU的規格也刺激HBM產品更迭,今年下半年伴隨NVIDIA H100與AMD MI300的搭載,三大原廠也已規劃相對應規格HBM3的量產。SK海力士為目前唯一量產新世代HBM3產品的供應商,整體HBM市占率可望藉此提升至53%,而三星、美光則預計陸續在今年底至明年初量產,市占率分別為38%及9%。

#
#
#
#
#

來源鏈接:https://www.chinatimes.com/newspapers/20230419000190-260204