Hot Chips 2024 | 可持續(xù)計算在AI和云原生工作負載中的應用

逍遙設(shè)計自動化

引言
在當今快速發(fā)展的技術(shù)環(huán)境中，對高效且可持續(xù)的計算解決方案的需求從未如此迫切。本文旨在幫助了解AI和云原生工作負載方面的創(chuàng)新。隨著人工智能(AI)和云原生工作負載的復雜性和規(guī)模不斷增長，需要能夠處理這些任務同時最大限度減少能源消耗的處理器變得極為重要。AmpereOne應運而生，這是一系列突破性的云原生處理器，旨在直面現(xiàn)代計算的挑戰(zhàn)[1]。
$ J0 m) t9 G; y; W( X3 U# W
處理器設(shè)計的范式轉(zhuǎn)變
( F7 |* q8 e/ r1 P5 T+ h, h& x傳統(tǒng)的處理器設(shè)計技術(shù)在滿足當今工作負載需求方面已達到極限。AmpereOne代表了范式轉(zhuǎn)變，摒棄了傳統(tǒng)的渦輪頻率和超線程等方法。相反，它專注于功率優(yōu)化、一致的性能和線性核心擴展。
' m- ?$ W1 Z2 y9 x4 W* {
/ E! h& Y0 p7 _) ^圖1展示了從傳統(tǒng)處理器技術(shù)到AmpereOne創(chuàng)新方法的轉(zhuǎn)變，強調(diào)了功率優(yōu)化和線性核心擴展的重點。
3 G& t7 f6 h1 b' x* k
AmpereOne路線圖：持續(xù)創(chuàng)新的承諾
5 m# o; i7 C6 jAmpereOne的產(chǎn)品路線圖展示了快速創(chuàng)新的步伐，明確承諾在氣冷環(huán)境下為AI計算提供每機架最佳性能。路線圖從當前的AmpereOne系列開始，具有高達192個核心的5nm工藝，一直延伸到未來的迭代版本，如AmpereOne Aurora，承諾提供高達512個核心，并集成用于訓練和推理工作負載的AI硅。

圖2展示了AmpereOne的產(chǎn)品路線圖，展示了從當前型號到未來迭代的發(fā)展過程，核心數(shù)量不斷增加，功能不斷先進。

深入了解AmpereOne核心
AmpereOne性能的核心在于其創(chuàng)新的核心設(shè)計。讓我們探索使該處理器脫穎而出的關(guān)鍵組件：
$ u& A8 @1 [4 u$ T  }' P
1. 前端
! E! ?6 H1 s* `

最先進的分支預測

解耦的預測和獲取流水線

用于大代碼足跡的高帶寬接口
5 J; t" y* y, ?% s
2. 執(zhí)行
0 R) N- }7 a9 n% X

8個調(diào)度器供給12個執(zhí)行管道

對稱的整數(shù)和FP/矢量執(zhí)行管道

通過單uop int8 MMLA支持AI推理吞吐量
" k+ G$ x( b4 ]/ L
3. 加載存儲單元

64KB，4路寫直通DL1緩存

4周期整數(shù)加載使用延遲

從零開始的熔斷保護
) ]3 q2 v! d  H. t# G! f
7 A9 p+ w& f& K0 [1 C, ?  S& i4 o4. 內(nèi)存管理
) k/ N2 D3 v/ S- ^5 ~# f7 \  Y

支持任何頁面大小的通用TLB條目

用于頁面遍歷的專用L2接口

優(yōu)化的TLB維護響應時間
% I+ k, g, X  W7 ]7 O
5. L2緩存
, G* U' D' }2 P$ t0 W) q

2MB 8路私有L2數(shù)據(jù)/指令緩存

11周期加載使用延遲

請求率和預取的自適應節(jié)流
8 a: r7 ^4 M. G1 _$ q# Z; j

0 m6 h% H1 x* z5 }% U* D
圖3概述了AmpereOne核心流水線，突出顯示了各個組件及其互連。
- N- ^& M% }/ X! q7 @- e
9 A; {2 \$ O  M; t6 IAmpereOne的分解架構(gòu)
2 t7 T& a6 F# @0 d: Z' k( aAmpereOne的一個關(guān)鍵創(chuàng)新是分解架構(gòu)。這種方法將計算、內(nèi)存和PCIe子系統(tǒng)分離到不同的芯片上，每個芯片使用最合適的制程制造。然后，這些組件通過Ampere的自定義芯片間(D2D)互連連接，每個方向能夠達到2.8TB/s的帶寬。

9 z2 Z. p- B2 }2 s4 [  j( Z, V圖4展示了AmpereOne的分解架構(gòu)，顯示了計算、內(nèi)存和PCIe組件如何分離和互連。

3 c$ @, K1 H- b) V! v這種靈活的架構(gòu)允許：
& {+ d# J7 x9 d  _/ o9 q

使用相同的構(gòu)建塊實現(xiàn)8通道和12通道設(shè)計

快速集成客戶IP

定制以滿足獨特的客戶I/O和內(nèi)存需求

& T9 P4 h( e% D0 {增強安全性和性能的先進功能
6 U: u1 B! f' c0 X5 C, E% C內(nèi)存標記
AmpereOne引入了強大的內(nèi)存標記功能，增強了穩(wěn)健性和安全性。這一功能有助于檢測指針編程錯誤并減輕利用內(nèi)存安全漏洞的攻擊。

' q' F1 J& W" ?3 O, R內(nèi)存標記的關(guān)鍵方面：
! k! }( S" O, {& u/ l4 n+ F

每16字節(jié)內(nèi)存粒度獲得4位"分配標記"

指針在地址的高位攜帶"訪問標記"

核心對每次內(nèi)存訪問檢查"訪問標記 = 分配標記"

不匹配會導致故障并阻止數(shù)據(jù)訪問

* e" B) r2 X3 B+ J0 p) w' y% m( D

圖5演示了內(nèi)存標記的概念，顯示了標記如何與內(nèi)存分配和指針相關(guān)聯(lián)。

! h: a8 b) x, Y2 @4 m& v自適應流量管理
為了提供一致和可擴展的性能，AmpereOne采用了自適應流量管理。這一能力對于最小化運行間變異和獨立并發(fā)工作負載之間的干擾非常關(guān)鍵。
. z! i6 R% H& V: `
# U4 x- E: O1 U$ S5 x8 {* w% l8 \運行原理：

內(nèi)存服務代理通報"繁忙"程度

核心相應地修改請求流量的速率和配置

針對不同工作負載行為的自適應響應
7 U' c* d0 b- ]  C! x7 v) L


圖6比較了AmpereOne與AMD Bergamo和AMD Genoa的加載延遲，展示了自適應流量管理的有效性。
" g" z$ Q( t: S+ R
7 A. W/ M8 D6 h9 F$ F性能領(lǐng)先地位
AmpereOne在各種基準測試和工作負載中展示了令人印象深刻的性能指標：

1. SPECrate 2017_int_base:
" k; J0 c$ g+ J3 J

每機架性能比AMD Genoa高出34%

每瓦性能比AMD Genoa高出50%



) x; L( {: C& O/ |" q# S圖7比較了AmpereOne與AMD Genoa和AMD Bergamo在SPECrate 2017_int_base基準測試中的每機架性能和每瓦性能。

1 N4 \) \* a6 u: k2. 云原生工作負載：
( v. t4 @# d# r. I9 a& j( p

鍵值存儲的每機架性能提高了58%

在容器化Web服務、緩存和數(shù)據(jù)庫方面有顯著改進
/ M, u/ u2 _$ [8 P
- Z6 F" ?# r/ c# [

  F6 t9 `  s- ^& a* o圖8展示了AmpereOne在各種云原生工作負載中相對于AMD Genoa和AMD Bergamo的每機架性能改進。

3. AI推理：
" g3 [; T2 E" l2 a9 W

在無GPU推理性能和效率方面處于領(lǐng)先地位

在各種AI模型（包括BERT、ResNet-50、Stable Diffusion和LLAMA 3 8B）中表現(xiàn)出色

# o- y. L; ~& c

圖9比較了AmpereOne與AMD EPYC和Intel Xeon處理器在不同AI模型中的推理性能和每瓦推理性能。

生態(tài)系統(tǒng)就緒
任何處理器架構(gòu)的成功都取決于生態(tài)系統(tǒng)的支持。AmpereOne在各個類別中都擁有強大的生態(tài)系統(tǒng)：

操作系統(tǒng)：支持流行的Linux發(fā)行版，如Alma Linux和Ubuntu

編排、虛擬化和容器：與Docker、Kubernetes和VMware等領(lǐng)先平臺兼容

語言和運行時：支持Java、Python、Go等

網(wǎng)絡和存儲：與Mellanox、Marvell等解決方案集成

應用程序：準備用于廣泛的Web服務、數(shù)據(jù)庫、AI和云游戲應用
1 M, ?# I' }, R+ F/ ]

1 K2 q5 b, i0 z8 N
" i: D/ p4 u1 ~( }' w9 o圖10展示了AmpereOne廣泛的生態(tài)系統(tǒng)支持，突出顯示了各種軟件和硬件兼容性類別。

0 m) c; }7 Z. f. j: d7 ~8 K  X* f結(jié)論
AmpereOne代表了AI和云原生工作負載處理器設(shè)計的重大進步。其創(chuàng)新架構(gòu)專注于可持續(xù)計算和可擴展性能，使其在快速發(fā)展的數(shù)據(jù)中心和云計算領(lǐng)域處于領(lǐng)先地位。隨著對高效AI處理需求的持續(xù)增長，AmpereOne在分解設(shè)計、先進安全功能和生態(tài)系統(tǒng)支持方面的方法使其成為組織構(gòu)建下一代云基礎(chǔ)設(shè)施的極具吸引力的選擇。

9 J' b7 i  G: F2 V4 I5 L) C通過優(yōu)先考慮每瓦性能和適應多樣化工作負載的能力，AmpereOne不僅滿足了行業(yè)的當前需求，還為未來可持續(xù)計算的創(chuàng)新奠定了基礎(chǔ)。隨著我們邁向日益由AI驅(qū)動的世界，像AmpereOne這樣的處理器將在確保我們的技術(shù)進步不以環(huán)境可持續(xù)性為代價方面發(fā)揮關(guān)鍵作用。
- m" M' u. `3 M+ f4 j4 W; u: v
參考文獻
' F0 O; Z+ d# o& v) Z8 a& u[1] M. Erler, "Sustainable Computing for AI & Cloud Native Workloads," Ampere Computing, Aug. 27, 2024.
' X9 S5 X; F/ P% b( Y# b
END
6 X' q, D5 P! R1 z3 s1 p  H3 {, P4 \2 |2 l
; X& k7 g0 R) B) n% p# M8 T
軟件申請我們歡迎化合物/硅基光電子芯片的研究人員和工程師申請體驗免費版PIC Studio軟件。無論是研究還是商業(yè)應用，PIC Studio都可提升您的工作效能。
" T, j  s& W# ~+ D. Q  R點擊左下角"閱讀原文"馬上申請
( Q2 H! Q, j: ?( I3 {
歡迎轉(zhuǎn)載
! O' ^8 n& ], u! [
8 k: W% Q# n) c0 p, j+ n; S3 F轉(zhuǎn)載請注明出處，請勿修改內(nèi)容和刪除作者信息！



; i2 K7 K1 |5 B% j
) z1 ~2 ?0 G: M; j) T, X3 J  U; t
$ q0 h5 w! j8 i- U2 `6 d關(guān)注我們

' e) q# d1 i7 F4 x- C( D0 N  ~

                     

- |3 g3 F" b6 Q# b; I1 F
9 [2 m; A- [! F" X$ R2 |
關(guān)于我們：
# k* A: k2 c+ h0 z9 y6 g深圳逍遙科技有限公司（Latitude Design Automation Inc.）是一家專注于半導體芯片設(shè)計自動化（EDA）的高科技軟件公司。我們自主開發(fā)特色工藝芯片設(shè)計和仿真軟件，提供成熟的設(shè)計解決方案如PIC Studio、MEMS Studio和Meta Studio，分別針對光電芯片、微機電系統(tǒng)、超透鏡的設(shè)計與仿真。我們提供特色工藝的半導體芯片集成電路版圖、IP和PDK工程服務，廣泛服務于光通訊、光計算、光量子通信和微納光子器件領(lǐng)域的頭部客戶。逍遙科技與國內(nèi)外晶圓代工廠及硅光/MEMS中試線合作，推動特色工藝半導體產(chǎn)業(yè)鏈發(fā)展，致力于為客戶提供前沿技術(shù)與服務。

http://www.latitudeda.com/
（點擊上方名片關(guān)注我們，發(fā)現(xiàn)更多精彩內(nèi)容）