tb_yolo 下篇用于制作最终上车模型：自己采集目标板数据，在 Windows 上训练 YOLOv5，导出 ONNX，转换为 ncnn 的 param/bin，部署到久久派实测。

采集真实目标板数据 -> 标注 -> 训练 -> 导出 ONNX -> 转换 ncnn -> 久久派实测 -> 补数据再训练

下篇默认你已经按 docs/01_demo_test_flow.md 跑通过测试数据集和 example/yolo_ncnn_app 部署链路。

一、数据采集与标注

1.1 建立原始数据目录

在 tb_yolo 下建立：

raw_dataset/
  images/
  labels/

采集图片放入：

raw_dataset/images/

标注文件放入：

raw_dataset/labels/

raw_dataset/ 已加入 .gitignore，不会误提交到仓库。

1.2 采集建议

真实目标板数据要覆盖：

近距离、中距离、远距离
正视、左偏、右偏、俯仰角变化
强光、弱光、背光、阴影
运动模糊、轻微失焦
赛道背景干扰
目标板边缘不完整
不同车速下的画面

不要只采集正面、清晰、居中的目标板。数据越接近实车场景，部署后越稳定。

1.3 图片命名建议

建议稳定命名：

0001.jpg
0002.jpg
0003.jpg

或带场景前缀：

left_far_0001.jpg
backlight_0001.jpg
blur_0001.jpg

标签文件必须与图片同名，仅后缀改为 .txt。

1.4 启动 LabelImg

执行：

PS E:\SmartCar\loongson_2k300_lib\tb_yolo> labelimg

如果命令不存在，先安装依赖：

PS E:\SmartCar\loongson_2k300_lib\tb_yolo> powershell -ExecutionPolicy Bypass -File .\scripts\setup_env_windows.ps1

1.5 LabelImg 设置

在 LabelImg 中设置：

标注格式切换为 YOLO
Open Dir 选择 raw_dataset/images
Change Save Dir 选择 raw_dataset/labels

常用快捷键：

W       创建矩形框
A       上一张
D       下一张
Ctrl+S  保存

YOLO 标签格式：

class_id center_x center_y width height

要求：

每张图片必须有同名 .txt
没有目标的背景图可以保留空 .txt
class_id 从 0 开始
坐标必须是 0-1 归一化值

1.6 类别顺序

LabelImg 生成的：

raw_dataset/labels/classes.txt

必须与项目类别文件一致：

configs/target_board.names

类别顺序一旦确定，不要随意交换。训练、标签、ncnn 推理代码中的类别数组必须同序。

二、整理数据集并训练

2.1 编辑真实类别文件

执行：

PS E:\SmartCar\loongson_2k300_lib\tb_yolo> notepad .\configs\target_board.names

按比赛目标板类别填写，每行一个类别，例如：

left
right
straight
stop
slow

实际类别名称以你的目标板设计和策略代码为准。

2.2 刷新 yaml

执行：

PS E:\SmartCar\loongson_2k300_lib\tb_yolo> python .\scripts\update_yaml_from_names.py

检查：

configs/target_board.yaml

其中 names 数量和顺序必须与 target_board.names 一致。

2.3 划分训练集和验证集

执行：

PS E:\SmartCar\loongson_2k300_lib\tb_yolo> python .\scripts\split_dataset.py --images .\raw_dataset\images --labels .\raw_dataset\labels --out .\dataset --val-ratio 0.2 --copy --clean

参数含义：

参数	说明
--images	原始图片目录
--labels	原始标签目录
--out	输出到 YOLOv5 数据集目录
--val-ratio	验证集比例，0.2 表示 20%
--copy	复制文件，不移动原始数据
--clean	清空旧的 train/val 数据后重新生成

输出结构：

dataset/images/train/
dataset/images/val/
dataset/labels/train/
dataset/labels/val/

2.4 启动训练

执行：

PS E:\SmartCar\loongson_2k300_lib\tb_yolo> powershell -ExecutionPolicy Bypass -File .\scripts\train_yolov5_windows.ps1 --name exp_target_board_gpu

最终优先使用：

outputs/train/exp_target_board_gpu/weights/best.pt

2.5 推荐参数调整

参数	作用	建议
--epochs	训练轮数	先用 150，数据较多时可用 200
--batch-size	显存占用和训练速度	显存不足按 32 -> 16 -> 8 -> 4 降低
--imgsz	输入图像尺寸	目标板很小时可从 96 提到 128
--workers	数据加载线程	Windows 异常时改为 0
--name	输出目录名称	写清数据版本和尺寸，例如 exp_target_board_128
--patience	早停等待轮数	默认 50

目标板较小时可尝试：

PS E:\SmartCar\loongson_2k300_lib\tb_yolo> powershell -ExecutionPolicy Bypass -File .\scripts\train_yolov5_windows.ps1 --imgsz 128 --batch-size 16 --epochs 200 --name exp_target_board_128

2.6 判断训练结果

查看：

outputs/train/exp_target_board_gpu/results.png
outputs/train/exp_target_board_gpu/confusion_matrix.png
outputs/train/exp_target_board_gpu/weights/best.pt

重点关注：

box_loss 是否下降
obj_loss 是否下降
cls_loss 是否下降
P / R / mAP50 是否稳定提升
各类别是否有明显短板

如果某类误检或漏检明显，优先补充该类真实场景数据，而不是只调训练参数。

三、导出、转换和部署

3.1 本机检测验证

执行：

PS E:\SmartCar\loongson_2k300_lib\tb_yolo> python .\vendor\yolov5\detect.py --weights .\outputs\train\exp_target_board_gpu\weights\best.pt --source .\dataset\images\val --data .\configs\target_board.yaml --imgsz 96 --conf-thres 0.25 --project .\outputs\detect --name exp_target_board_val

查看：

outputs/detect/exp_target_board_val/

逐类检查类别是否正确、框是否覆盖目标板、远距离和角度变化是否漏检。

3.2 导出真实模型 ONNX

默认 96 尺寸：

PS E:\SmartCar\loongson_2k300_lib\tb_yolo> powershell -ExecutionPolicy Bypass -File .\scripts\export_onnx_windows.ps1 --weights .\outputs\train\exp_target_board_gpu\weights\best.pt --imgsz 96

如果训练时使用 128：

PS E:\SmartCar\loongson_2k300_lib\tb_yolo> powershell -ExecutionPolicy Bypass -File .\scripts\export_onnx_windows.ps1 --weights .\outputs\train\exp_target_board_128\weights\best.pt --imgsz 128

导出结果：

outputs/train/exp_target_board_gpu/weights/best.onnx

3.3 转换真实模型为 ncnn

执行：

PS E:\SmartCar\loongson_2k300_lib\tb_yolo> powershell -ExecutionPolicy Bypass -File .\scripts\export_ncnn_windows.ps1 --onnx .\outputs\train\exp_target_board_gpu\weights\best.onnx --param .\outputs\train\exp_target_board_gpu\weights\best.param --bin .\outputs\train\exp_target_board_gpu\weights\best.bin --copy-demo

加上 --copy-demo 后会同步：

models/demo/best.param
models/demo/best.bin

后续 example/build_deploy_run.sh 默认上传这两个文件。

3.4 同步推理参数

修改 example/yolo_ncnn_app/main.cpp 顶部配置：

Category_NUM = 真实类别数量
DATA_LEN = Category_NUM + 5
kClassNames = 按 configs/target_board.names 顺序填写
kInputWidth / kInputHeight = 训练和导出时的 imgsz
input_name = best.param 中输入 blob 名，通常是 images
out_name = best.param 中输出 blob 名，通常是 output0
conf = 置信度阈值，先用 0.25，再按实车效果调整

类别数组示例：

static const char *kClassNames[Category_NUM] = {
    "left",
    "right",
    "straight",
    "stop",
    "slow",
};

3.5 一键部署到久久派

在仓库根目录执行：

cd example
./build_deploy_run.sh --app yolo_ncnn_app --deploy root@172.23.17.235 -- --param best.param --bin best.bin --image test.jpg --output result.jpg

指定真实验证图片：

./build_deploy_run.sh --app yolo_ncnn_app --deploy root@172.23.17.235 --yolo-image ../tb_yolo/dataset/images/val/0001.jpg -- --param best.param --bin best.bin --image test.jpg --output result.jpg

3.6 开发板测试顺序

建议按顺序测试：

1. 离线图片测试
2. 静态目标板测试
3. 低速接近测试
4. 策略触发测试
5. 强光、弱光、角度、运动模糊干扰测试

不要一开始就高速跑车。先确认模型输出稳定，再接入控制策略。

3.7 根据实车结果回到数据集

如果实车误检：

补充容易误检的背景图片
提高或调整置信度阈值
检查类别顺序是否错乱

如果实车漏检：

补充漏检角度、距离、光照下的目标板图片
检查目标框标注是否过松或过紧
适当提高 imgsz

完成补充后重新执行：

划分数据集 -> 训练 -> 本机验证 -> 导出 ONNX -> 转换 ncnn -> 开发板测试

四、常见问题与排查

4.1 显存不足

优先降低：

--batch-size 32 -> 16 -> 8 -> 4

仍然不足时降低：

--imgsz 128 -> 96 -> 64

4.2 指标很好但实车效果差

常见原因：

测试集太简单
真实光照和角度没有覆盖
摄像头画面与训练图片差异大
目标板运动模糊没有覆盖
背景干扰样本太少

解决方式是补真实数据，而不是只调模型参数。

4.3 ncnn 输出维度不匹配

优先检查：

Category_NUM 是否等于 configs/target_board.names 行数
DATA_LEN 是否等于 Category_NUM + 5
kClassNames 是否与 configs/target_board.names 完全同序
input_name / out_name 是否与 best.param 一致
训练、导出、推理 imgsz 是否一致

4.4 框位置不对

优先检查：

letterbox 预处理是否一致
scale/pad 还原坐标是否正确
BGR/RGB 是否一致
训练和推理输入尺寸是否一致

4.5 类别全部偏移

说明类别顺序不一致。检查：

raw_dataset/labels/classes.txt
configs/target_board.names
example/yolo_ncnn_app/main.cpp 中的 kClassNames