惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
V
Visual Studio Blog
IT之家
IT之家
博客园 - 聂微东
The Cloudflare Blog
月光博客
月光博客
阮一峰的网络日志
阮一峰的网络日志
S
SegmentFault 最新的问题
Apple Machine Learning Research
Apple Machine Learning Research
酷 壳 – CoolShell
酷 壳 – CoolShell
爱范儿
爱范儿
H
Help Net Security
博客园 - 叶小钗
V
V2EX
WordPress大学
WordPress大学
J
Java Code Geeks
Hugging Face - Blog
Hugging Face - Blog
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
博客园_首页
C
Check Point Blog
B
Blog
D
DataBreaches.Net
美团技术团队
罗磊的独立博客

StudyingLover's Blog

Diffusion Policy笔记 rwkv笔记 act笔记 nanovllm-block_manager opencode多智能体 nanobot-pre-train nanobot-rl nanobot-sft nanobot-checkpoint_manager nanobot-gpt nanobot-mid-train Vision Mamba (Vim)笔记 BPE演示 最后一遍学习Transformer YOLOv5 目标检测笔记 下载根服务器解析记录 Dynaseal A Backend-Controlled LLM API Key Distribution Scheme with Constrained Invocation Parameters 判断链表有环 王道25数据结构勘误 关于perplexity的open-sourcing-r1-1776 AI为什么不像人类一样进行多轮对话 新博客改造日记和功能测试 linuxqq只显示登陆背景图 数字设计和计算机体系结构(机械工业出版社)勘误(自制) Dynaseal:面向未来端侧llm agent的llm api key分发机制 A Definitive Guide to Markdown Style This post is using MDX, Where you can embed JSX and Astro components RT-Patch学习 pydantic实现的LLM ReAct fastapi 和 uvicorn 设置监听 ipv6
colab运行google最新开源模型Gemma
About the Author StudyingLover · 2024-02-22 · via StudyingLover's Blog

Google开源了新的大模型 GemmaGemma是一系列轻量级、最先进的开放式模型,采用与创建Gemini模型相同的研究和技术而构建。Gemma 由 Google DeepMind 和 Google 的其他团队开发,其灵感来自 Gemini,其名称反映了拉丁语_gemma_,意思是“宝石”。除了模型权重之外,我们还发布了工具来支持开发人员创新、促进协作并指导负责任地使用 Gemma 模型。

Gemma 是为推动人工智能创新的开发人员和研究人员的开放社区而构建的。您今天就可以开始与 Gemma 合作,使用 Kaggle 中的免费访问权限、Colab 笔记本的免费套餐以及首次使用 Google Cloud 用户的 300 美元积分。研究人员还可以申请高达 50 万美元的Google Cloud 积分来加速他们的项目。

google提供了keras3.0来提供跨所有主要框架的推理和监督微调 (SFT) 工具链:JAX、PyTorch 和 TensorFlow 。还有 即用型ColabKaggle 笔记本,以及与Hugging FaceMaxTextNVIDIA NeMoTensorRT-LLM等流行工具的集成,让您可以轻松开始使用 Gemma。

google也提供了一个快速指南来使用ai.google.dev/gemma

kaggle 获取访问权限

首先访问Gemma在kaggle的页面,登陆你的kaggle账号

image.png

这里会有一个 Request Access,点击(我这是已经有访问权限了,你点了之后也变成这样说明就成功了)

然后我们点击kaggle的设置,按照我的截图依次点击 image.png

image.png image.png 你的浏览器会下载一个json文件,例如就像下面这样 image.png

colab运行

如果你有google账号那就直接打开Gemma的colab页面 (没有的话就注册一个啦)

不出意外你会看到这样一个页面 image.png

接下来点击右上角,按照我的截图顺序,选择显卡为t4 image.png image.png

image.png 点击保存,等待右上角变成这样,代表成功 image.png

接下来点击左侧 image.png

选择新建新密钥 image.png 先添加一个叫做 KAGGLE_USERNAME, 值写我们刚下载的json里面的username字段对应的值,

举个例子,加入我们下载的json是这样,那就填入的是example_username

{"username":"example_username","key":"12345678901112131415"}

image.png 再添加一个KAGGLE_KEY,值填写的是key对应的值,在刚才的例子那就是写12345678901112131415

image.png

记着打开两个的访问权限

运行colab

运行notebook即可,就是点击这里的开始按钮就会执行这个小方格里的代码 image.png

里面有推理和微调的示例,感兴趣的同学可以自己实践

评测

我这边运行了几个2b模型的例子,效果是实话实说,emmmmmmmmmmmm,一言难尽,可能是2b太拉胯了吧 image.png

经过微调之后效果好了不少 image.png