（圖片來源：brookings.edu）
通用人工智能（AGI）領域又出一系列重磅消息。
3月29日上午，IEEE的頭版刊登臺積電董事長劉德音聯合撰寫題為《我們如何實現1萬億個晶體管GPU》的文章。
劉德音在文中預測，半導體技術的突破給AI技術帶來重要貢獻。在未來10年，GPU集成的晶體管數將達到1萬億。而且，GPU能效性能每2年提高3倍，未來15年（到2040年）內，每瓦GPU性能將提高1000倍。
同時，有消息稱，華人團隊創立的 AI 龍頭Scale AI正在進行新一輪融資，估值高達130億美元，比2021 年的73億美元估值提高近 80%。報道指，2023年，Scale AI產生超過 6.75 億美元的收入，同比增長約 150%。
此外，馬斯克還發布了Grok 1.5，不僅支持長文本，而且性能“遙遙領先”。
臺積電董事長：未來15年，每瓦GPU性能將提高1000倍
在IEEE文章中，臺積電董事長劉德音及臺積電首席科學家H.-S Philip Wong講述了臺積電是如何達成1萬億晶體管芯片的目標。
文章指出，從1997年擊敗國際象棋人類冠軍的IBM深藍超級計算機，到2023年爆火的ChatGPT，再過15年，人工智能（AI）將發展到可以“合成知識”（synthesize knowledge）的地步，可以創作詩歌、編寫總結報告和計算機代碼，甚至可以設計集成電路。
GTC 2024大會上，黃仁勛祭出世界最強GPU——Blackwell B200 ，整整封裝了超2080億個晶體管。比起上一代H100（800億），B200晶體管數是其2倍多，AI推理性能直接飆升5倍，運行速度提升30倍。
所有這些奇妙的人工智能應用都歸功于三個因素：高效機器學習算法的創新、訓練神經網絡的大量數據的可用性，以及通過半導體技術的進步實現節能計算的進步。
文章內容稱，如果AI要以目前的速度發展下去，它將需要半導體產業做出更多貢獻。10年內，它將需要1個1萬億晶體管的GPU，也就是說，GPU的設備數量是當今典型設備數量的10倍。
文章稱，CoWoS是臺積電的硅晶圓上芯片先進封裝技術，目前已在產品中得到應用。示例包括英偉達Ampere和Hopper GPU。Ampere有540億個晶體管，Hopper有800億個。從7 nm技術到更密集的4nm技術的轉變使得在基本相同的面積上封裝的晶體管數量增加了50%。Ampere和Hopper是當今大型語言模型 ( LLM ) 訓練的主力，訓練ChatGPT需要數萬個這樣的處理器。
HBM是對AI日益重要的另一項關鍵半導體技術的一個例子，通過將芯片堆疊在一起來整合系統的能力，臺積電稱之為SoIC（system-on-integrated-chips）。
文章預測，10年內，多芯片GPU將擁有超過1萬億個晶體管。
那么，所有這些創新的硬件技術如何提高系統的性能呢？
劉德音在文章中表示，GPU芯片需要節能性能的指標的穩步改進，比如 EEP 芯片是系統能源效率和速度的綜合衡量標準。過去 15 年來，半導體行業的能效性能，每兩年就提高了三倍左右。
“我們相信這一趨勢將以歷史速度持續下去。它將受到多方面創新的推動，包括新材料、器件和集成技術、極紫外（EUV）光刻、電路設計、系統架構設計以及所有這些技術元素的共同優化等。特別是，EEP 的增加將通過我們在此討論的先進封裝技術來實現。此外，系統技術協同優化 (STCO)等概念將變得越來越重要，其中 GPU 的不同功能部分被分離到各自的小芯片上，并使用性能最佳和最經濟的技術來構建每個部分?！?/span>
文章配圖中指出，2025年-2040年之間，每瓦GPU性能將從0.019（Energy-efficient 0.019892 performance，1/femtojoulespicoseconds），提升到126.337，未來15年每瓦GPU效能將提高1000倍。
文章結論認為，在智能時代，半導體技術是人工智能新能力和應用的關鍵推動者。新的GPU不再受過去的標準尺寸和外形尺寸的限制。新的半導體技術不再局限于在二維平面上縮小下一代晶體管。整合人工智能系統可以由盡可能多的節能晶體管、用于專門計算工作負載的高效系統架構以及軟件和硬件之間的最佳化關系組成。
“過去 50 年來，半導體技術的發展就像走在隧道里一樣。前面的路很清晰，因為有一條明確的道路。每個人都知道需要做什么：縮小晶體管。現在，我們已經到達隧道的盡頭。從這里開始，半導體技術將變得更加難以發展。然而，在隧道之外，還有更多的可能性。我們不再受過去的束縛?！眲⒌乱舯硎?。
Scale AI：估值高達130億美金，去年收入超 6.75 億美元
3月29日，據The information報道，總部位于舊金山的美國 AI 初創企業Scale AI 正在進行新一輪數億美元的融資，風險投資公司 Accel有望領投，投資估值達到約 130 億美元，比2021 年的73億美元估值提高近 80%。
報道還稱，Scale AI公司2023年的營收超過6.75億美元，比2022年增長約150%。
報道稱，本輪融資尚未最終敲定，條款可能會有變化。Accel 的發言人拒絕發表評論，Scale AI 的代表沒有回復置評請求。
Scale AI 首席執行官 Alexandr Wang（圖片來源：ZeeBiz WebDesk）
公開資料顯示，Scale AI成立于2016年，主要為 AI 訓練提供數據服務，創始人為華裔青年Alexandr Wang。據報道，Alexandr Wang的父母均為物理學家。他從小就表現出了杰出的數理天賦與才能，曾被麻省理工大學錄取，但在出色地完成第一年學業后便選擇了輟學創業，與Lucy Guo共同創辦了Scale AI。
值得注意的是，Scale AI創業初期就得到了創業孵化公司Y Combinator的支持。彼時，Y Combinator的總裁為山姆·奧特曼，也即OpenAI的聯合創始人及現任首席執行官。
Scale AI主要從事的AI訓練數據標注，通俗理解，就是通過分類、畫框、標注、注釋等對圖片、語音、文本、視頻等原始的數據進行處理，標記對象的特征，以作為機器學習基礎素材。比如，如果要訓練AI識別出圖片中的狗，則需要采集大量有關于狗的圖片，將其中的關鍵信息標注出來，供AI識別，在多次識別的過程中讓AI形成識別各式各樣的狗的能力。
Scale AI從創立至今，融資過程可謂順風順水，而且融資金額節節攀升。創辦伊始，Y Combinator向其提供了12萬美元的投資；2017年，獲得了450萬美元的A輪融資；2018年，成功完成1800萬美元的B輪融資；2019年，再獲1億美元C輪融資；2021年1月，完成1.5億美元D輪融資；同年4月，順利完成3.25億美元E輪融資。至此，Scale AI用5年的時間將估值水平提升至73億美元的水平，成為AI數據標注領域的獨角獸。
Scale AI 通過向 OpenAI 和其他對話式人工智能初創公司銷售服務而獲得了發展。報道稱，本輪融資將為公司未來幾年可能的IPO做準備。目前尚不清楚還有哪些投資者參與了本輪投資。
不過，目前，Scale AI公司估值依然低于OpenAI。本周二，Accel 的合伙人 Rich Wong 表示，該公司對 Scale AI 這樣的 "鋤頭和鏟子 "企業更感興趣。
“它是數據引擎，是許多基礎企業以及試圖為其垂直應用進行調整的企業的模型背后的數據引。我們認為，將成為重要客戶的將遠不止五大模式?！盧ich Wong表示。
馬斯克發布Grok 1.5
在Grok 1開源十天后，馬斯克創立的xAI宣布推出其大模型最新版本 Grok 1.5。
事實上，為了尋求替代微軟支持的 OpenAI 和 Google 大模型的解決方案，馬斯克去年創立了 AI 公司 xAI，以創建他所說的“最大程度尋求真相的人工智能” 。2023年 12 月，xAI 為 X 的 Premium+ 訂閱者推出了 Grok。
如今，馬斯克更新到Grok 1.5模型。新一代模型實現了長上下文理解和高級推理能力，計劃將在未來幾天內向早期測試人員和 X 平臺（前 Twitter）上的現有 Grok 用戶提供。
具體來說，首先，Grok-1.5 最明顯的改進之一是其在代碼和數學相關任務中的性能。在 xAI 的測試中，Grok-1.5 在 MATH 基準上取得了 50.6% 的成績，在 GSM8K 基準上取得了 90% 的成績，這兩個數學基準涵蓋了廣泛的小學到高中的競賽問題。同時，它在評估代碼生成和解決問題能力的 HumanEval 基準測試中得分為 74.1%。
其次，Grok-1.5 中的另一個重要升級是在其上下文窗口內可以處理多達 128K token 的長上下文。這使得 Grok 的容量增加到之前上下文長度的 16 倍，從而能夠利用更長文檔中的信息。
再次，該模型還可以處理更長、更復雜的提示（prompt），同時在上下文窗口擴展時仍然能保持其指令跟蹤能力。在大海撈針（NIAH）評估中，Grok-1.5 展示了強大的檢索能力，可以在長度高達 128K token 的上下文中嵌入文本，實現完美的檢索結果。
最后，xAI 介紹了用于訓練模型的算力設施。Grok-1.5 構建在基于 JAX、Rust 和 Kubernetes 的自定義分布式訓練框架之上。該訓練堆棧允許開發團隊能夠以最小的精力構建想法原型并大規模訓練新架構。而在大型計算集群上訓練 LLM 的主要挑戰是最大限度提高訓練作業的可靠性和正常運行時間。xAI 提出的自定義訓練協調器可確保自動檢測到有問題的節點，并將其從訓練作業中剔除。工程師還優化了檢查點、數據加載和訓練作業重新啟動等問題，以最大限度地減少發生故障時的停機時間。
xAI 表示，Grok-1.5 很快就會向早期測試者開放，其團隊將繼續改進 Grok。隨著新版本推向公眾，在未來幾天 X 上的大模型將陸續推出一些新功能。
