挑戰用 Pentium 4 跑 AI 模型
本地運行 Llama 3.2 答一題需 33 分鐘
【天啊 ...😂 】如果大家不小心穿越到 20 年前，以當時的主流電腦究竟能運行甚麼 AI 模型呢？近日，YouTube 科技頻道「Fully Buffered」就這個話題進行研究，成功使用 20 年前的 Intel Pentium 4 處理器主流 PC，順利運行 Meta 最新的開源大型語言模型 Llama 3.2，創造了科技界的一大奇蹟。
為了驗證 20 年前的電腦能否運行現今的 AI 模型，該團隊找來了 2006 年的主流 PC 硬件，CPU 採用了 Pentium 4 641、代號 Cedar Mill 的單核心處理器，支援 Hyper-Threading、最高時脈達 3.2GHz 及擁有 2MB L2 Cache，並搭配 ASUS P5WDH Deluxe 主機板及 4 條 2GB DDR2-800 記憶體，合共 8GB 系統記憶體。
團隊一開始嘗試了多款主流的本地 AI 模型，但都因為程式要求 CPU 必須支援 AVX2 指令集而失敗，導致無法正常啟動。最後，他們發現 Meta 的 Llama 3.2 模型可以使用 No-AVX 模式。這款具備 30 億參數的輕量化模型，剛好能完全載入至該系統的記憶體中。
測試結果顯示，Pentium 4 真的能夠運行 Llama 3.2 3B 模型，只是速度慢得令人發瘋。當輸入問題「What's a Pentium 4?」後，CPU 散熱器隨即狂轉。根據後台數據顯示，其生成速度僅為每秒 0.21 個 Token，光是回答這個簡單的問題，就花費了將近 33 分鐘。
「Fully Buffered」指出，相信當年設計「NetBurst」架構的工程師，絕對無法想像這顆晶片在 20 年後，竟然能用來運行 LLM 推理。這個測試實在太有意義了，日後大家如果有機會穿越到 20 年前，記得要帶一份 Llama 3.2 3B 模型回去呢！
資料來源:
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。