惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

cs.AI updates on arXiv.org
cs.AI updates on arXiv.org
PCI Perspectives
PCI Perspectives
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
Google Online Security Blog
Google Online Security Blog
K
KPMG report finds enterprise disconnect between AI and its ROI | CIO
The GitHub Blog
The GitHub Blog
S
Secure Thoughts
cs.CV updates on arXiv.org
cs.CV updates on arXiv.org
WordPress大学
WordPress大学
SecWiki News
SecWiki News
B
Blog
小众软件
小众软件
Hacker News - Newest:
Hacker News - Newest: "LLM"
Webroot Blog
Webroot Blog
CTFtime.org: upcoming CTF events
CTFtime.org: upcoming CTF events
L
LINUX DO - 热门话题
Recent Commits to openclaw:main
Recent Commits to openclaw:main
酷 壳 – CoolShell
酷 壳 – CoolShell
IT之家
IT之家
The Cloudflare Blog
Google DeepMind News
Google DeepMind News
Know Your Adversary
Know Your Adversary
Y
Y Combinator Blog
F
Fortinet All Blogs
W
WeLiveSecurity
博客园 - Franky
MongoDB | Blog
MongoDB | Blog
Last Week in AI
Last Week in AI
The Last Watchdog
The Last Watchdog
S
Schneier on Security
爱范儿
爱范儿
V
V2EX - 技术
L
LINUX DO - 最新话题
月光博客
月光博客
博客园 - 【当耐特】
Latest news
Latest news
阮一峰的网络日志
阮一峰的网络日志
博客园 - 司徒正美
U
Unit 42
Schneier on Security
Schneier on Security
E
Exploit-DB.com RSS Feed
J
Java Code Geeks
Cyberwarzone
Cyberwarzone
T
The Blog of Author Tim Ferriss
TaoSecurity Blog
TaoSecurity Blog
博客园 - 叶小钗
T
Troy Hunt's Blog
大猫的无限游戏
大猫的无限游戏
AI
AI
Security Latest
Security Latest

又见苍岚

COLMAP PatchMatch Stereo 算法详解 事件驱动的状态机框架:从理论到工程实践 Git 在国内网络环境下无法 Push 的排查与修复 —— 配置 Clash 代理 分段五次多项式插值原理详解 路径插值方法深度对比研究 Claude Code 使用指南 OpenClaw 记忆管理与技能创建指南 CBS(Conflict-Based Search)算法详解 A* 算法及其变种详解 OpenClaw 配置多 Agents Windows Powershell 无法加载文件,因为在此系统上禁止运行脚本问题的解决方案 MaxClaw 安装流程 大模型 AI 名词介绍 AList 网盘聚合工具简介 Protobuf 简介与测试 Claude Code 简介以及 GLM 4.7 模型接入 Github 歌词下载工具 163MusicLyrics Python __getattr__ 懒加载 Python TypedDict 机器人仿真平台 Gazebo 安装记录 机器人仿真平台 Gazebo 简介 多机器人路径规划问题(Multi-Agent Path Finding, MAPF)简介 Python exifread 读取修改过的 jpeg 信息错误问题修复 3D 坐标系变换的理解 3D 旋转矩阵基本概念 MongoDB Compass 介绍 Python 环境管理工具 uv Flutter 开发指南 Snipaste 安装下载与黑屏问题解决方案 全局路径规划算法记录 2025 Python 版本性能测试 Flutter Hello World Flutter 安装环境配置 Ubuntu VMware 硬盘扩容后 SMBus Host controller not enabled 报错问题解决 Python NetworkX 教程 Docker GPU 报错 - Failed to initialize NVML Unknown Error 解决方案 Python matplotlib 图表绘制 cuda-toolkit 安装替代 Cuda 与 Cudnn Jinja2 Python 利用 docxtpl 和 Jinja2 生成基于模板的 Word 文档 Docker 实现 CPU 核心隔离 LoFTR 基于 Transformer 的特征提取匹配算法 OmniGlue 特征匹配 SuperGlue 使用图神经网络学习特征匹配 Ubuntu 下将 xlsx 文件按照 sheet 转换为 图片 Python 使用 SQLAlchemy Python FastAPI 教程 openwrt 软路由配置安装 Nav2 地图文件(PGM/YAML)规范标准 3D OBJ 模型转换为 glb 瓦片格式 Python 源码 Redis 数据库介绍 Ubuntu 22.04 内核自动升级导致 MongoDB 7.0.12 错误记录 ubuntu 20.04 安装 ROS Noetic ubuntu 18.04 安装 ROS Melodic VMware Workstation Pro 个人免费版下载、安装、使用指南 Hybrid A-star 路径规划 Reeds-Shepp 曲线 Dubins 曲线 Linux kvm 虚拟机网络不通的问题解决方法 Ubuntu 自动内存清理 BiliBili 缓存视频转 mp4 Python 求解线性规划 3D Gaussian Splatting 官方源码实践记录 ImageMagick 教程 Ubuntu 22.04 安装 Colmap 对数几率 odds Ubuntu nmcli 网络管理工具使用指南 SuperPoint 自监督深度学习特征点提取 SyncTV Music Tag Web 在线音乐信息整理工具 ncm 格式转 mp3 MusicBrainz 音乐元数据百科数据库 Ubuntu 网络流量监控工具 私人云音乐平台 Navidrome 入门 手眼标定 四元数(Quaternions) OHTTPS 实现免费自动 https 证书申请、更新、部署 ubuntu 22.04 安装 CloudCompare 单机 KVM 虚拟机冷迁移 Ubuntu 22.04 使用 mdadm 实现软 raid 小鱼 一键安装 ROS-humble Fluid -46- 基于 Simpletex API 构建公式识别页面 公式识别 API 简介 -- Simpletex 使用 Python web 部署库 waitress 3D Gaussian Splatting for Real-Time Radiance Field Rendering Ubuntu Swap 简介与空间扩展 Ubuntu 24.04 安装 forticlient Clash Verge 使用 MongoDB 7.0.17 集群 Docker 构建源码 Error code - 2013. Lost connection to MySQL server during query 问题解决 Python 日志记录库 loguru 使用指北 Python 实现 Web 日志查看服务 MySQL LOAD DATA LOCAL INFILE 极速数据加载 Image size exceeds limit of 89478485 pixels 解决方案 Docker 使用 NVIDIA GPU 驱动错误解决 阿里云 docker 镜像仓库 Ubuntu中没有wired connected的解决方案 MinIO 简介 subconverter 代理订阅格式转换 修复 node –openssl-legacy-provider is not allowed in NODE_OPTIONS 错误
通过投影统计计算灰度图像朝向
Yiwei Zhang · 2022-09-14 · via 又见苍岚

图像处理中会遇到需要计算物体朝向的情况,前文计算了二值图物体朝向,本文进一步放宽条件,计算灰度图像朝向。

问题描述

  • 对于一个灰度图像,需要求解图像的朝向

解决思路

  • 按照根据投影计算二值图朝向的思路,在二值图中默认密度为1,因此在计算中忽略了图像的像素值,对于灰度图相当于薄板密度不再为1

  • 于是可以通过计算加权距离,求解灰度图像体朝向

  • 我们可以将该带密度的薄板理解为平面上的二维概率分布,即将整个图像每个像素值除以总质量,即得到了总和为1的 $x,y$ 的联合分布

    当图中物体部分密度相同(非零),背景部分密度为 0 时,灰度图像朝向即坍缩为二值图的朝向计算问题

  • 那么我们的目标是找到某个方向,使得该联合分布投影到这个方向得到的边缘分布方差最小,我们认为这个方向为与物体朝向垂直的方向。

计算方法

  • 考虑单通道非零灰度图像$I$,假设其中的点有 $N$ 个
  • 第$i$个点坐标为 $(x_i, y_i), 0 <i<N+1$,合并为列向量

$$
\textbf{x}=[x_1,x_2, …,x_N]^T, \textbf{y}=[y_1,y_2, …,y_N]^T
$$

  • 合并为维度 $N \times 2$ 的矩阵 $\textbf{M} = [\textbf{x}, \textbf{y}]$

  • 对应 $N$ 个点的密度 $[\rho_1,\rho_2, …,\rho_N]^T $

  • 总质量为 $S=\sum_{n=1}^N\rho_n$

  • 将原始图像转义为二维分布,$N$ 个点的概率密度为 $\textbf{p} =[p_1,p_2, …,p_N]^T $,其中 $p_i=\rho_i/S$

  • 给定一条直线,直线过点 $(x_t, y_t)$,直线的法向量 $\textbf{v} = [a, b]^T$,该法向量为单位向量,有:

$$
a^ 2 + b ^2=1
$$

  • 则直线可表示为:

$$
[x-x_t,y-y_t]\textbf{v} = 0
$$

  • 二值图上的点 $(x,y)$ 到直线的有向距离为: 点到$(x_t, y_t)$ 的向量到直线法向量 $\textbf{v}$ 的投影:

$$
d =[x-x_t,y-y_t]\textbf{v}
$$

  • 所有点的有向距离组成向量:

$$ \begin{array}{c} \textbf{d} &= [\textbf{M}-[x_t,y_t]]\textbf{v}\\ &= \textbf{M}\textbf{v}- [x_t,y_t]\textbf{v} \end{array} $$

  • 设 $[x_t,y_t]\textbf{v}$ 为常数 $c$,有:

$$
d =[x,y]\textbf{v}-c,\textbf{d} = \textbf{M}\textbf{v}- c
$$

  • 我们的目标是找到所有点的有向距离组成的样本集合的方差统计量最小,有向距离的均值为:

$$ \overline{d} = \sum_{i=1}^Np_i\textbf{m}_i\textbf{v}- c\\ =[\overline{x},\overline{y}]\textbf{v}- c $$

其中 $[\overline{x},\overline{y}]$ 为 $x,y$ 的期望向量

  • 灰度图像,有向距离的方差可表示为:

$$ \begin{array}{c} Var&=&\frac{1}{N} \sum_{i=1}^N (d_i-\overline{d})^2p_i\\ &=&\frac{1}{N} \sum_{i=1}^N ([x_i,y_i]\textbf{v}-c-[\overline{x},\overline{y}]\textbf{v}+c)^2p_i\\ &=&\frac{1}{N} \sum_{i=1}^N ([x_i-\overline{x},y_i-\overline{y}]\textbf{v})^2p_i \end{array} $$

  • 可见二值图到直线的有向距离的方差与直线的偏置无关,仅与法向量有关,设 $\textbf{M}’=\textbf{M}-[\overline{x}, \overline{y}]$,有:

$$ \begin{array}{c} Var&=&\frac{1}{N} \sum_{i=1}^N ([x_i-\overline{x},y_i-\overline{y}]\textbf{v})^2p_i\\ &=&\frac{1}{N} (\sqrt{\textbf{p}}^T\textbf{M}’\textbf{v})^T(\sqrt{\textbf{p}}^T\textbf{M}’\textbf{v})\\ &=& \frac{1}{N} \textbf{v}^T\textbf{M}’^T\sqrt{\textbf{p}}\sqrt{\textbf{p}}^T\textbf{M}’\textbf{v} \end{array} $$

  • 可以看做 $Var$ 是关于 $\textbf{v}$ 的二次型,系数矩阵为 $\frac{1}{N}\textbf{M}’^T\sqrt{\textbf{p}}\sqrt{\textbf{p}}^T\textbf{M}’ $
  • 注意:我们需要该方差最小,但不能直接对 $\textbf{v}$ 求导,令其取值为零:

$$ \begin{array}{c} \frac{{\partial Var}}{{\partial {\bf{v}}}} = \frac{2}{N}\textbf{M}’^T\sqrt{\textbf{p}}\sqrt{\textbf{p}}^T\textbf{M}’\bf{v}= 0\\ \textbf{M}’^T\sqrt{\textbf{p}}\sqrt{\textbf{p}}^T\textbf{M}’\bf{v}= 0 \end{array} $$

  • 因为这样做会得到 $\bf{v}$ 为零向量的平凡解,但是事实上 $\bf{v}$ 是有模长为 1 的约束的,因此我们需要解的是带约束的优化方程:

    $$ \begin{array}{c} minimize \quad Var= \frac{1}{N} \textbf{v}^T\textbf{M}’^T\sqrt{\textbf{p}}\sqrt{\textbf{p}}^T\textbf{M}’\textbf{v}\\ subject \ to \quad \bf{v}^T\bf{v}-1=0 \end{array} $$

解方程

拉格朗日

  • 至此之后的方程解法和之前完全相同,只是矩阵数值根据密度发生了一些变化
  • 之后解该方程需要在 $|\bf{v}|= 1$ 的约束下进行,因此可以引入拉格朗日乘数法
  • 可以参考 拉格朗日解该方程 的流程

特征向量

  • 我们用 $\bf{A}$ 表示上述系数矩阵 $\frac{1}{N}\textbf{M}’^T\sqrt{\textbf{p}}\sqrt{\textbf{p}}^T\textbf{M}’ $ (此处为 $2\times 2$ 的矩阵)
  • 因此我们的优化目标变为: $\bf{v}^TA\bf{v}$
  • 拉格朗日方程为:

$$ L =\bf{v}^TA\bf{v}+\lambda(\bf{v}^T\bf{v}-1) $$

  • 对 $\bf{v}$ 求导,令其为 0:

$$ \begin{array}{c} 2A\bf{v}+2\lambda\bf{v}=0\\ A\bf{v}+\lambda\bf{v}=0\\ (A+\lambda I)\bf{v}=0 \end{array} $$

  • 哈,这不就是在求 $\bf{A}$ 的特征向量吗?
  • 求就完了,会得到两个特征向量,特征值小的对应的特征向量为方差最小的投影方向。

参考资料

文章链接:
https://www.zywvvd.com/notes/study/image-processing/robot-vision/chapter-3/obj-orientation/gray-obj-orientation/