原文標題：
大模型Groq首秀引爆話題 自研LPU服務速度遠快於GPU
原文連結：
https://news.cnyes.com/news/id/5457929
發布時間：
2024-02-20 16:50
記者署名：
鉅亨網新聞中心
原文內容：
ChatGPT 的新競爭對手 Groq 推出了語言處理單元 (LPU)，並於近期首度公開成果。當提
示模型時，答案立即產生。 而且，答案是依據事實，並引述來源，長達數百字，這讓它
在社群媒體造成轟動。
Groq 憑藉的武器是語言處理單元 (LPU)。 這項尖端技術的速度接近每秒 500 個 token
。 它為數位處理的速度和效率樹立了新的基準。LPU 能將延遲降至最低而脫穎而出，提
供了迄今為止聞所未聞的服務速度。
據報導，Groq 的 LPU 旨在解決 CPU 和 GPU 等舊技術的限制。 當面對大量運算需求時
，傳統的處理架構往往無法滿足要求。 Groq 使用新的張量流處理器 (TPS) 架構來實現
LLM 運算。 憑藉其快速推理和降低功耗的承諾，TPS 和 LPU 有望改變處理資料的方式。
據 X 平台帳號 k_zer0s 發文表示，Groq 的 LPU 不需要像 Nvidia GPU 那樣快速的資料
傳輸，因為它們的系統中沒有 HBM。它們使用 SRAM，其速度比 GPU 使用的速度大約快
20 倍。由於推理運行使用的資料比模型訓練少得多，因此 Groq 的 LPU 更節能。與用於
推理任務的 Nvidia GPU 相比，它從外部記憶體讀取的資料更少，功耗也更少。
LPU 的運作方式與 GPU 不同。 它使用臨時指令集電腦架構，因此不必像 GPU 使用高頻
寬記憶體 (HBM) 那樣頻繁地從記憶體重新載入資料。 這有助於避免 HBM 短缺問題並降
低成本。
LPU 不像 GPU 需要超高速儲存。 Groq 聲稱其技術可以憑藉其強大的晶片和軟體在人工
智慧任務中取代 GPU。
Google TPU 專案的先驅 Jonathan Ross 於 2016 年創立了 Groq。該公司迅速確立了自
己在處理單元創新領域的領導者地位。 Ross 在人工智慧和處理技術方面的豐富背景推動
了 LPU 的發展。
Groq 公司宣稱，其技術能夠透過其強大的晶片和軟體，在推理任務中取代 GPU 的角色。
Ross 曾表示，「Groq 的存在是為了消除『富人和窮人』，並幫助人工智慧社群中的每個
人發展。 而推理是實現這一目標的關鍵，因為『速度』是將開發人員的想法轉化為商業
解決方案和改變生 APP 的關鍵」。
心得/評論：
如果真如報導所聲稱的那麼強, 那麼算力的要求就不需要那麼高?
成本可以大幅下降，對Nvidia是個挑戰
另外該技術似乎不需要大量HBM，對這半年HBM的概念股MU、海力士也是挑戰
網友怎麼說：
- 「真的這麼強那GPU要退下了嗎？」
- 「所以這幾天NV跌這個?」
- 「Gemini 的 Demo都可以 不講重點 類造假了」
- 「針對inference的加速器很多公司都有在做」
- 「」
- 「這新聞應該還有後半段，Groq的綜合成本是NV的30多倍」
- 「沒有像菇狗、軟軟的規模，錢燒完就入土了」
- 「Cuda還比較萬用 TPS算是比較貴又功能單一的新解」
- 「其實史丹佛大學已經用AI模擬出95種新的合金」
- 「用在新藥開發也是很可怕的速度」
- 「Groq是推論引擎，硬體成本高很多，只能在推論引擎」
- 「資訊速食的年代 只要AI幫我們整理個大概就能把資訊」
- 「以前去圖書館找資料的最後也是被上網找資料的效率」
- 「同意樓上 我的小學時代 還有查百科全書比賽」
- 「現在紙本百科，有的新的還有附光碟版，但根本沒人去」
- 「蠻神的 速度很快 而且不左膠」
- 「連大英百科全書都早就被 Google + Internet 打入冷」
- 「處理高難度的科學運算基本上是超級電腦的任務，AI」
- 「在很多已經有「數學證明的最佳演算法」的大量複雜運」
- 「你換個角度去想吧 這些數學都證實能做但太花時間」
- 「百科+光碟 真的是時代的眼淚大合體」
- 「你沒讀懂我的意思或你不是很瞭解 CS — 我講的是「」
本文章轉載自ptt stock 版
