余睹dev.to之Gemma 4之挑战,欲参与之。然实不知其始何在。
余启其页,首睹"于本地运行Gemma 4模型",余凝视此句良久。
运行于本地,其意何指耶?
吾本以为,人工智能独存于巨机之中,尔键入,彼思虑,吾得应答。未尝疑其理,惟觉其效。
遂始问诸浅近之问。至为浅近。
"何者运行于本地?"
"若内存不足,将何以处之?"
"吾何不能以吾之笔记本电脑为众人之服务器?"
缓而 — 疑问逐个 — 乃渐通其理.
是篇乃吾所学者也。为吾数日前之我而作.
"运行于本地"者何意?
尔用ChatGPT时,尔之讯息往于互联网,达于远方之服务器,经处理而返。尔用他人之机也。
本地运行者,即AI于汝之电脑上运行也。无网无月费无他者之服务器。唯汝之笔记本电脑思虑耳。
此乃全意。吾心自扰,无谓之极。
何谓Gemma 4?
此乃Google所造之AI模型,且使其可任君下载运行。
其形各异。
| 模型 | 尺寸 | 适用 |
|---|---|---|
| E2B | ~2 GB | 手机、边缘设备 |
| E4B | ~4 GB | 多数笔记本电脑 |
| 31B | ~20 GB | 强力桌面/服务器 |
越大越智,然缓且需忆更多。
寻常之笔记本电脑,当以E4B始。
吾之设置
吾处 Windows 之境,有八千兆内存,Nvidia GPU 亦具四千兆显存。
有告余启其终端而书之曰:
nvidia-smi
吾不知其将示何物。吾键之,击Enter,得:
NVIDIA-SMI 566.07 Driver Version: 566.07 CUDA Version: 12.7
吾未尝尽解之。然则善也——汝之GPU已备矣.
CUDA者,使汝Nvidia之GPU与人工智能之软件相语者也。Ollama——吾等用以运行Gemma之器——自动用汝之GPU以速其事。模型之部分入GPU之内存,部分入RAM。汝之显卡始作人工智能之推论.
此感甚为奇妙。
何运行Gemma 4(三步)
第一步:下载Ollama(ollama)自ollama.com下载
寻常安装。如安装他般安装之。
第二步:启汝之终端,而键入之:
ollama run gemma3:4b
乃下载模型,启一聊室。讫。
第三步:与之语。
>>> What is photosynthesis?
>>> Write me a Python function to sort a list
>>> You are a helpful doctor. Answer my health questions simply.
无网无密钥无费。AI运行于汝之机。
变吾思此之问
偶有所问"何不使吾之笔记本电脑为服务器,任众皆可访问耶?"
闻之,答案自明。
- 君之笔记本电脑须昼夜不息
- 家中有网,非为迎客而设
- 十人同用,则其机必崩。
- 至要者 — 亦未解无网者之困 末句引我入不期之境
吾心所慕者
想一村,无信网。
一能呼云之API之聊,于彼无用。讯息断绝,则聊亡矣。
然一微廉之器,运Gemma E2B于地,置之社区中心或诊所乎?无互联网之需。此AI身居其地。人众通局域WiFi而得应答。
此乃谷歌构制微模型之由也。E2B运行于价值八十至三百之硬件。非人人皆具云网。Gemma 4之设,即虑及此实情。
是故,“运行于本地”之术,初若匠人戏法,后渐觉其有实效。
何時當用此 API
若有应用,用户需于互联网中访问之——勿于笔记本电脑上运行。当用Gemma API。
至简之道在焉启路者—一账户,一API密钥,免费使用Gemma 4。无需烦忧设置之事。
至简之则:
地之Ollama,习而试之。
API者,构建与部署之谓也。
斯已矣
数日前,吾未知模型为何物。亦不知CUDA之意。更不知RAM之要。
今Gemma 4运行于吾之笔记本电脑,吾实知其故矣。
初观之,学道之途似峻岭难攀。实则不然也。
下载Ollama。运行一条指令。观其效验。万般由此而生。
初学者乎?留言相询,乐助君以启之.
以Gemma为器,助离城乡者成事?愿闻其详。











