惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

罗磊的独立博客
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
博客园 - 三生石上(FineUI控件)
Hugging Face - Blog
Hugging Face - Blog
小众软件
小众软件
量子位
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
IT之家
IT之家
V
V2EX
阮一峰的网络日志
阮一峰的网络日志
爱范儿
爱范儿
人人都是产品经理
人人都是产品经理
博客园 - Franky
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
博客园_首页
V
Visual Studio Blog
Last Week in AI
Last Week in AI
有赞技术团队
有赞技术团队
WordPress大学
WordPress大学
博客园 - 司徒正美
大猫的无限游戏
大猫的无限游戏
博客园 - 【当耐特】
MyScale Blog
MyScale Blog
月光博客
月光博客

博客园 - woaiusd

claude各种客户端的关系 Agent原理与模拟 为红米Note 5 Pro编译Lineage OS 15.1的各种坑 C语言调用DIRECT3D的实例代码,通过lpVtbl字段进行 OBS插件学习入门:一个非常简单的、调节音量的filter 从工程角度看C++观察者模式中的接口是否需要提供默认的实现 Windows音频SDK的发展历程 闲话__stdcall, __cdecl, __fastcall出现的历史背景以及各自解决的问题 为什么需要超出48K的音频采样率,以及PCM到DSD的演进 wireshark使用笔记 managed_shared_memory.construct造成的性能损失 java.lang.NullPointerException Ubuntu中QT使用FFmpeg的奇怪问题 QT开启C++11的支持 尝鲜CodeBlocks ops中set_sysclk set_clkdiv set_pll详解 在内核中异步请求设备固件firmware的测试代码 探究MaxxBass音效 Alsa驱动snd_soc_read的底层实现 Device Drivers Should Not Do Power Management 探究platform_driver中“多态”思想 探究platform_driver中的shutdown用途
pytorch对大模型推理,实现简单的对话
woaiusd · 2026-05-01 · via 博客园 - woaiusd

回车换行

一直好奇命令行下的进度条是怎么实现的,问了AI,验证控制台输出字符都是等宽\r转移光标覆盖前面字符后面覆盖字符并不会产生间隙

helloworld

run and debug a python helloworld in vscode

tqdm进度条

pip install tqdm

example

大模型下载进度条看着怪舒服

huggingface_hub

pip install huggingface_hub

下载qwen 0.5b小模型测试

再次运行不会重复下载缓存

transformers 

pip install transformers torch
pip install --upgrade Pillow

编码张量然后解码出来

对话成功回答怪怪可能0.5b模型太小有关系

推理能力这样实现

pytorch

日志就是问题文本送给大模型预测生成下一个单词然后下个单词追加问题送给大模型预测下个单词不断循环生成完整问答文本