以下文章來源于EETOP ，作者Nancy Zhou
近日，馬斯克透露，他的人工智能初創公司xAI正計劃建造一臺超級計算機，并希望在 2025年秋季之前讓擬議的超級計算機運行，為其下一版本的人工智能聊天機器人Grok提供算力。
其實，早在今年3月，xAI就發布了其最新版的Grok 1.5。不過，4月，馬斯克宣布，由于沒有足夠多的先進芯片，故推遲了Grok 2模型的訓練和發布。他表示，訓練Grok2模型需要大約2萬塊英偉達H100，而Grok3模型及更高版本將需要10萬塊英偉達H100。完成后，其連接的芯片組將至少是當今最大GPU集群的4倍。
確實，生成式AI從云端走向終端，芯片已經成為推進大模型發展的關鍵。大模型企業也已經開始將目光聚焦到芯片公司，期待從底層展開合作，以解決算力成本在端側的覆蓋問題。基于算力需求，芯片廠商與大模型廠商走得更近了。
在泰克最新對清華大學教授高濱的采訪中，他表示：“自2023年開始，大模型就非?；稹H上、以及幾個大公司都在研究怎么去支持大模型。從新的器件到新的工藝，這幾個公司的技術路線都不太一樣。有的相對傳統一些，有的嘗試用新工藝新器件去做。在去年的IEDM大會中，還專門設置了一個探討大模型的section?！?
高濱老師特別強調說：“大模型不僅僅是算法和應用上，其實底層的算力支撐也是非常重要。”
大模型與存算一體技術
當前，各行各業都在數字化轉型，數據處理和存儲的需求與日俱增。傳統的計算與存儲的模式已經很難滿足當下高性能、低能耗、強安全的需求。存算一體技術被認為是可以有效解決傳統馮·諾依曼架構下的“存儲墻”和“功耗墻”問題的有效途徑。
存算一體的優勢是打破存儲墻，消除不必要的數據搬移延遲和功耗，并使用存儲單元提升算力，成百上千倍的提高計算效率，降低成本。除了用于AI計算外，存算技術也可用于存算一體芯片和類腦芯片，代表了未來主流的大數據計算芯片架構。
高濱老師表示，大模型對功耗及成本的要求很高。如果憶阻器真的能應用到大模型里面的話，能效比預計將會有數量級的提升。現在大模型基本都是在云端，未來在端側，功耗將會是一個非常大的挑戰。憶阻器這種高能效的優勢在端側就會有很多的優勢。
高濱老師分享了近兩三年的研究重點，主要是希望把存算一體的技術往應用上去牽引，具體在開展的工作包括以下三大方面：
與企業合作。嘗試在實際邊緣智能的場景中做芯片設計，以及實際場景下的可靠性。高濱老師特別指出：“我們發現，在很多實際場景下，芯片電阻狀態的保持其實是存在隨機偏移的relaxation效應的，如何抑制隨機偏移，以滿足未來的應用需求，這是當前非常重要的課題?！?
大模型的應用研究，主要是致力于提高密度。傳統的小的卷積網絡加速是不需要高密度的，但大模型需要。希望把密度盡可能的做高。以前做小的卷積網絡的加速，其實不需要這么高的密度。但是大模型需要。這其實主要是工藝方面的研究。
類腦學習。這是更前沿更創新的領域，除了去年十月在Science上發表的新近研究成果之外，其實清華大學還在布局新型類腦計算，它更看重整體算法效果，而非器件個體，最后是落實到器件上去做優化，調節器件中的電子離子的輸運。
后摩爾時代，從系統層面進行頂層規劃，根據系統需求優化器件，并做好器件與系統的協同設計，這點這尤為重要。就此，高濱老師特別分享了后摩爾時代，系統和器件的全新范式的研究模式。
系統和器件的全新范式的研究模式
摩爾定律的黃金時代，主要是將晶體管、電阻、電容和電感等元器件集成在一起，并形成具有預期功能的電路。這個時期，不太需要在意系統和器件的協同，只要器件做的足夠小，芯片的性能大體就能得到保證。
但是，后摩爾時代，應用場景的需求正向著高密度、小型化、強功能、低功耗、低成本、高可靠、易設計等方向發展，已經不僅僅是簡單的電路設計，而是要做系統化的集成。很多時候，需要把系統和器件做一個協同的設計，根據系統的需求去優化器件，很典型的就是存算一體，最終目的是要做人工智能的加速。
高濱老師進一步分享說，人工智能對器件性能的要求很復雜，不是單純把器件阻值調穩，就能達到系統要求。如加速一個深度神經網絡，它的卷積層、全連接層等各種層，其實對器件的性能要求都不一樣。器件的指標很難抽象到具體的數值標準，以保證芯片設計的好壞。
比較全新的一個概念就是做陣列測試。不一樣的算法模型解決不一樣的數學問題，從底層的設計是有區別的，對器件的要求也不一樣。所以在小規模的陣列上，去做測試和研究，是有助于做器件的優化的。
圖為一個 4X4 1T1R 陣列測試框圖。從框圖可以看出，陣列測試不僅測試硬件連接復雜，其控制流程及測試序列更需要定制。
高濱老師特別強調說：“不過最好還是要落實到器件上去做優化。去調整器件里面電子、離子的輸運，最后去看整體算法的效果。這其實就是系統和器件之間的協同發展?！?
而在新器件工藝上，當前摩爾定律正面臨極限挑戰，一個方向是繼續“延續摩爾定律”。國際上幾大公司，都還在不斷研究新的先進工藝，如堆疊三維基層晶體管。但門檻太高，能做的企業寥寥無幾。
高濱老師分享說：“目前另一個新的方向是單片三維集層，它與現在較熱的 chiplet，其實是平行路線。具體做法是，在一個襯底上盡量把很多器件三維堆疊起來。相對chiplet，其器件間的帶寬會更高。這是一個新的趨勢，可用新型 TFT 材料、薄膜氧化物、二維材料等嘗試做成后端兼容器件。”
面向傳統存算分離架構制約算力提升的重大挑戰，去年十月，清華大學吳華強、高濱團隊成功研制出了國際首顆支持片上學習的憶阻器存算一體芯片，提出了一種適于憶阻器實現高效片上學習的新型通用神經網絡算法和STELLAR架構，有效實現大規模模擬型憶阻器陣列與CMOS的單片三維集成，并成功演示了圖像分類、語音識別和控制任務等多種片上增量學習功能。該成果通過算法、架構、集成方式的全流程協同創新，展示出高適應性、高能效、高通用性、高準確率等特點，為發展高算力芯片探索出了一條創新路徑。
憶阻器的發展趨勢
在新興的信息時代，發展和探究憶阻器的各種性能刻不容緩。憶阻器全稱記憶電阻，是一種具有電荷記憶功能的非線性電阻，于1971年，由加州大學伯克利分校的華裔科學家蔡少棠教授提出。蔡教授從電路完整性角度出發，從數學上推導出憶阻器的概念。
憶阻器是神經元網絡的核心器件，它為發展信息存儲與處理融合的新型計算體系架構，突破傳統馮·諾伊曼架構瓶頸，提供了可行的路線，其性能直接影響神經元網絡的計算能力。
憶阻器的發展有三個階段：
第一個階段主要做存儲；
第二階段，就是現在做的存算一體，加速人工神經網絡的；
第三便是類腦計算，不過它本質還是憶阻器，因為它需要利用憶阻器的一些動力學特性。憶阻器主要是調節內部的離子輸運，存算一體更多是利用它的靜態過程。未來還可以利用電離子的很多動態過程，去做更像神經元的一些行為。
憶阻器也是目前材料和電子領域的研究前沿和熱點。其中，氧化物材料在憶阻器研究中具有重大價值。高濱老師分享說：“雖然對于氧化物憶阻器目前看似已經到了發展的瓶頸期，但未來，還是有好幾個突破點的?！?
據高濱老師分享，可靠性和密度是非常值得關注的方向。
可靠性。一個器件能調節出很多個穩定的電路狀態，叫多比特存儲。只有做到多比特存儲，很多計算的效率才能提高。而多比特存儲，目前最高阻和最低阻都比較穩定。但中間阻態，由于原子分布的形貌比較特殊，就沒那么穩定，這很大程度就限制了憶阻器的應用。如何把中間阻態做穩定，本身是一個科學問題。以及如何同時去監測中間阻態，對測試也提出了很大的挑戰。
密度。高濱老師表示，終極目標是希望能與 M3D 高密度存儲器拼密度，但這很難做到。清華大學現在在嘗試用HBM的方式，把多片憶阻器堆疊起來。這就需要把片內憶阻器的尺寸盡量做小。其中面臨的挑戰就是憶阻器和晶體管的匹配問題，需要兩者的共同優化，本質還是工藝。
高濱老師滿懷期望的分享到：“未來，憶阻器還有可能會應用到高速存儲，用憶阻器去研究憶阻器，就像用人去研究生物。這將是更高階的智能。這個方向，我覺得在學術界，還是非常值得去探索的。但是短期落地還是有困難的。因為現在想做大規模的，無論是在工藝上，還是在算法上，都還存在很多挑戰。不過，由高校牽頭去探索，確實是一個非常好的方向?！?
存算器件的發展與測試需求
類腦計算的研究，本身需要用到動力學特性，希望能看到電阻隨時間怎么變。同時，希望有很多電阻狀態，并且能監控每一個電阻狀態的情況。其中，靜態情況的保持，需要關注絕對的電阻數值；動態的，涉及到讀和寫的切換，速度越快越好。幾納秒的時鐘內完成切換。
器件的測試結果，其實是沒辦法直接轉換到芯片里面去做。在器件狀態就得去做芯片方面的模擬測試。在靜態測試轉向動態測試，對于微安級的電流，需要有納秒級別的寫入或者讀出，跟調控阻態的時候希望能有更精準的寫和讀，是相近的需求。
高濱老師表示，他們現在想做模仿類腦的神經形態器件，其實也是受限于設備。他分享說：“我們看到，近幾年有一些這方面的研究，但是速度基本也都是在毫秒，也有可能是因為大腦就是毫秒，所以我們也就是做到毫秒。但如果能做到比大腦快，那肯定更好?！?
現在超級神經元在毫秒量級，會有一個動力學的響應，器件可以做的很快，能做到納秒量級的響應，是比生物量級快的一個超級大腦。我們相信，隨著技術的不斷進步和應用的不斷拓展，存算一體技術將在更多領域發揮重要作用。
高濱
清華大學集成電路學院 副教授，博士生導師
高濱，現為清華大學集成電路學院長聘副教授。2008年本科畢業于北京大學物理學院，獲得物理學學士學位；2013年博士畢業于北京大學信息科學技術學院微電子系，獲得微電子學與固體電子學專業博士學位；讀博期間曾赴新加坡南洋理工大學和美國斯坦福大學交流訪問。2013年至2015年在北京大學信息科學技術學院做博士后，2015年加入清華大學微納電子系，2017年晉升準聘副教授，2022年成為清華大學集成電路學院長聘副教授。
現主要從事先進存儲器和存算一體芯片研究，在Science、Nature、Nature Electronics、Nature Nanotechnology、Nature Machine Intelligence等期刊發表論文200余篇，在微電子三大頂級會議（IEDM、VLSI和ISSCC）發表論文50余篇，總引用超過15000次。申請專利300余項。擔任了IEDM、IRPS、EDTM、ICTA的sub-committee chair，DAC、IMW、IPFA的TPC member，在重要國際學術會議做特邀報告20余次。2020年獲得國家青年人才項目支持，2024年獲得國家高層次人才項目支持。獲得中國電子學會自然科學一等獎、教育部自然科學二等獎、中國產學研合作創新成果獎、中國科協中國十大新銳科技人物、清華大學年度教學優秀獎和優秀博士學位論文指導教師等獎勵。
