在現今的科技世界，計算性能一直是一個關鍵議題。近期，NVIDIA的首席科學家Bill Dally在一場線上演講中，描述了一個巨大的轉變，即在後摩爾定律時代，算力是如提昇。本文帶大家了解到所謂的「黃氏定律」是如何超越摩爾定律。
後摩爾定律
過去，每一代新處理器的發展主要依賴於不斷縮小、加速的芯片物理特性。然而，Dally指出，現在的處理器需要更多的創新和努力，以創造和驗證全新的元件，這與一代前的工程師所面對的情況大不相同。
然而，Dally也指出，儘管在過去十年中，NVIDIA將GPU的半導體工藝從28納米升級到5納米，但這一技術只佔了總增長的2.5倍。這標誌著計算機設計的巨大變化，摩爾定律所帶來的性能每兩年翻倍的時代已經過去。
黃氏定律
在過去的十年中，Dally領導的NVIDIA研究團隊卻成功實現了單一GPU在AI推論方面的性能提升達1,000倍，這一成就被稱為「黃氏定律」，以紀念NVIDIA的創始人兼首席執行長黃仁勳（Jensen Huang）。
按照書本上的說法，如果採用摩爾定律，這樣的提升是不可能實現的，而製程的縮減也不會對這一數字產生任何影響。現在，你可能會問我這是怎麼實現的，我的回答是，優先考慮單個「堆疊」內的創新，而不是晶片開發。
性能提升因素
Dally在演講中詳細介紹了推動這一1,000倍增長的元素。首先，他提到了簡化計算機用於計算的數字表示方法，這一變革帶來了整體性能的16倍提升。新的NVIDIA Hopper架構使用了動態混合的8位和16位浮點數以及整數數學，以滿足當今生成式AI模型的需求。此外，他的團隊通過創建高級指令，幫助GPU更高效地組織工作，這一改進帶來了12.5倍的性能提升。
創新與未來
NVIDIA Ampere架構引入了結構上的稀疏性，這是一種創新方法，可以簡化AI模型中的權重，同時不影響模型的準確性，這一技術帶來了另外2倍的性能提升。Dally還強調了NVLink互連和NVIDIA網絡在系統中GPU之間的通信如何增強了單一GPU性能提升的效果。
然而，Dally表達了對未來的信心，他相信「黃氏定律」將繼續存在，並提到了多個未來改進的機會，包括簡化數字表示方法、增加AI模型中的稀疏性以及改進記憶體和通信電路等方面。
結論
總之，現代計算機工程師正處於一個充滿機遇的時刻，他們需要不斷創新，以應對後摩爾定律時代的挑戰。在這個新的計算機設計動態下，NVIDIA的工程師擁有參與贏得團隊、與聰明的人一起工作並致力於有影響力設計的三大機會。這正是科技發展的驅動力，也是未來的展望。
