突破計算存儲密集型工作負載中的網絡和內存瓶頸，AMD推出集成HBM的Alveo V80加速卡

為提高特定類型的計算負載，在數(shù)據中心中存在著大量的加速卡，包括GPU、FPGA和ASIC等多種不同的類型。GPU憑借著更高的并行計算能力聞名，對于深度學習和機器學習能夠提供更好的效能優(yōu)勢；而FPGA則具備高度可編程性和可配置性，可針對特定任務進行硬件優(yōu)化來顯著提高性能、優(yōu)化延遲并帶來成本效益。

全球數(shù)據中心加速器市場預計將以24%的年增長率飛速發(fā)展，到2032年達到1300億。這背后不僅是生成式AI的訓練來推動，還包括了各類的推理場景的落地。而在像銀行業(yè)的高頻交易、電信行業(yè)的網絡虛擬化和安全加密、醫(yī)學和科研領域的大規(guī)模數(shù)據分析和實時洞見等具備大規(guī)模數(shù)據集和低延遲需求的應用中，F(xiàn)PGA加速卡憑借著靈活計算和低延遲的優(yōu)勢，通常會為計算負載帶來著更好的加速表現(xiàn)。

近日AMD發(fā)布了其最新的基于Versal HBM自適應SoC的加速卡——AMD Alveo V80加速卡，這是其第一款面向大規(guī)模市場的加速卡產品，旨在幫助突破計算和存儲密集型工作負載中的網絡和內存帶寬瓶頸，幫助客戶實現(xiàn)性能最大化的同時減少功耗、占板面積和時延。

大數(shù)據集計算的真正限制——網絡和內存瓶頸

一個高性能計算架構需要包含數(shù)據的輸入、前級處理、主處理單元、內存和高速互聯(lián)輸出等多個部分，而限制整個計算加速的瓶頸，其實并不出現(xiàn)在計算部分。如下圖所示，傳統(tǒng)的架構中，網絡的輸入帶寬較低，僅支持25G和100G兩個通路的數(shù)據輸入，這為整個計算架構帶來了第一個瓶頸；而計算單元還需要和DDR進行反復的數(shù)據讀寫。但其實DDR內存的帶寬，遠低于計算單元計算帶寬，這就又產生了第二個瓶頸。

網絡帶寬不足可能會成為整個系統(tǒng)性能的瓶頸，限制數(shù)據處理的速度和效率。內存速度和容量如果不足，將影響數(shù)據的快速訪問和處理，尤其是在涉及大規(guī)模數(shù)據集或需要復雜計算的應用中。在這兩個瓶頸的限制下，即使計算單元有著更高的計算速度、后端的PCIe和Interlaken與其他芯片有著更快的連接速度，也無法完全釋放整個計算架構的真正能力。從整個架構來看，要實現(xiàn)數(shù)據流的管理和優(yōu)化，讓其保持與計算單元相匹配的快速響應。

在像高性能科學模擬、視頻處理和分析、金融技術等大型計算任務中，對于網絡帶寬和內存瓶頸尤其敏感。網絡和內存性能不足都會直接影響到任務的處理速度、系統(tǒng)的響應時間以及最終的輸出質量。因此，在設計和部署這些應用時，優(yōu)化網絡和內存配置是關鍵。

“通過Versal HBM，也就是今天給大家介紹的Alveo V80計算加速卡，能夠主要解決高性能計算工作負載的內存和網絡訪問方面形成瓶頸的這兩個問題。“AMD 自適應和嵌入式計算事業(yè)部（AECG ）高級產品線經理Shyam Chander在發(fā)布會上分享到，“V80芯片支持的工作負載非常廣泛，可以從10G到800G，范圍非常廣泛，而且速率有所提高，能夠支持不同的協(xié)議。HBM再加上其他各種Versal器件，它可以處理掉剛剛提到的瓶頸問題，所以不再需要DDR4或其他外部芯片。把安全連接再加上靈活應變的計算，再加上HBM，我們可以幫助用戶實現(xiàn)性能的最大化，同時減少功耗、占板面積以及時延。”

Alveo V80加速卡：靈活硬件加速和低時延處理

Alveo V80加速卡上搭載的加速芯片是來自AMD的一顆7nm Versal系列自適應SoC，其中包含了260萬LUT可編程邏輯資源，以及集成了32GB的HBM2e，能夠達到820GB/s的數(shù)據帶寬。此外，該SoC上還集成了400G加密引擎和600G以太網的高帶寬核心，還包括了DDR控制器、PCIe5等硬核資源。

整個加速卡上除了這顆Versal自適應SoC外，還具備豐富的拓展和連接能力。板載高帶寬收發(fā)器和光纖模塊，能夠支持800G（4X200G）網絡帶寬、PCIe Gen5金手指、32GB DDR4 DIMM拓展插槽和MCIO拓展插槽等。

據Shyam Chander介紹，相比上一代的Alveo U55C加速卡，Alveo V80的提升明顯。通過參數(shù)對比可以看到存儲器帶寬方面，V80是至高1.8倍，邏輯密度是至高2倍，網絡帶寬從200GB每秒升至800GB每秒，至高4倍，在PCle帶寬方面至高2倍。

【FPGA加速卡的獨特優(yōu)勢】

網絡附接加速卡需要與本地的CPU進行連接，而受限于CPU的連接能力，所以不能夠無限增加加速卡的數(shù)量。而如果選擇Alveo V80作為網絡附接加速卡，那么就可以以以網絡限速加速傳入數(shù)據，避開CPU至加速器的PCle的瓶頸，實現(xiàn)每服務器卡數(shù)和計算密度的最大化。

憑借著靈活的存儲器層次，自適應計算架構相比傳統(tǒng)架構有著更低的時延和功耗。在傳統(tǒng)的CPU/GPU架構中，計算核心和緩存之間有著固定的層次結構，大數(shù)據量的讀寫必然需要夸層訪問，這種不規(guī)則的訪問模式會帶來了潛在的低效率。而在自適應計算架構中，內存可以部署地更靠近計算核心，這能夠大大降低了數(shù)據遷移的成本。

加速傳感器處理和數(shù)據壓縮分析等工作負載，大幅降低客戶總體擁有成本

憑借著Alveo V80的獨特優(yōu)勢，不少客戶已經獲得了更好的加速體驗。AMD在發(fā)布會現(xiàn)場展示了多個不同類型的案例。一個非常適合FPGA加速卡的場景是在傳感器處理方面，Alveo V80能夠強化處理相信你，且大幅降低客戶的成本。

聯(lián)邦科學與工業(yè)研究組織（CSIRO）需要在每平方公里的面積上部署131000個天線，以15TB/s的速率進行次序的傳感器數(shù)據采集和傳輸。此前CSIRO選擇的是420塊Alveo U55C卡用于波束成形和相關器計算，總計需要占用21臺服務器和4個機架。而在更新到ALveo V80之后，通過單卡的密集計算簡化了整個新系統(tǒng)的集成、擴展和集群。最終僅需140張V80加速卡就可以完成之前420張U55C才能完成的計算，服務器數(shù)量也減少至14臺，電力消耗也節(jié)省了一半以上。換算總擁有成本預計至高可以降低21%。

另一個典型的用例是在具備壓縮與數(shù)據分析功能的服務器存儲節(jié)點上，V80加速卡可用于數(shù)據壓縮和分析的功能。NVMe SSD可以直接透過MICO連接器將數(shù)據傳入V80上的Versal SoC中進行壓縮、分析和解壓縮等操作，然后將數(shù)據通過PCIe 5傳輸給主機CPU。因為Versal SoC中集成了HBM，所以大大減少了數(shù)據遷移，加速了數(shù)據查詢的效率。

據Shyam Chander分享，通過Alveo V80帶來的壓縮加速和存儲容量增加，傳統(tǒng)上需要55臺服務器、1303個SSD驅動器才能完成的計算負載，現(xiàn)在僅需21臺服務器、504個SSD驅動器和42張V80加速卡即可完成。服務器成本降低了44%，功耗降低了55%，總擁有成本最高可以降低56%。

除此外，在網絡安全和金融科技方面，V80加速卡也有著不可替代的價值。憑借著硬化的加密引擎和靈活的數(shù)據檢測、協(xié)議和安全策略，以及來自HBM帶來的緩沖和流量表儲存功能，Alveo V80可以推動下一代800G網絡防火墻的構建。在金融建模和算法交易方面，Alveo V80中的FPGA和DSP計算資源可用于建模仿真和回測，而HBM資源則可用于大數(shù)據集和歷史定價數(shù)據存儲，此外還有752Mb的RAM用于定價數(shù)據、交易記錄。

結語

FPGA加速卡相比GPU加速卡，在某些工作負載方面有著獨特的優(yōu)勢。而Alveo V80還集成了HBM，因此在提供靈活計算能力的同時，還大大降低了處理的時延和能效。但不可否認的是，F(xiàn)PGA加速卡對于開發(fā)者的硬件編程能力要求更高，純軟件工程師上手可能還需要一些學習成本。AMD也表示，Alveo V80針對傳統(tǒng)FPGA開發(fā)者提供了更為優(yōu)化的開發(fā)流程，當他們需要針對自定義工作負載進行硬件優(yōu)化的時候，可以通過AMD VVivado設計套件來優(yōu)化RTL設計，快速完成啟動項目的示例設計。

Shyam Chander表示，根據不同的工作負載會有不同的計算加速需求，未來各種類型的加速卡將會共存。GPU主要擅長浮點、并聯(lián)、定點計算，可以提供大量的HBM。FPGA主要擅長線上訪問的實時處理，而且具備低時延、靈活應變特點，有非常豐富的存儲器架構資源，就像樂高積木一樣，可以自定義進行拼接和拼裝。“FPGA的自適應SoC能降低時延，也能進行實時的傳入數(shù)據的處理，同時還能夠減少功耗。所以我覺得對于硬件開發(fā)者來說，FPGA為基礎的加速器卡是最為適用的。”