惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

Cisco Talos Blog
Cisco Talos Blog
S
Securelist
C
Cisco Blogs
D
DataBreaches.Net
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
V
Vulnerabilities – Threatpost
Latest news
Latest news
T
The Exploit Database - CXSecurity.com
小众软件
小众软件
S
SegmentFault 最新的问题
罗磊的独立博客
I
Intezer
雷峰网
雷峰网
T
Threatpost
博客园 - 叶小钗
阮一峰的网络日志
阮一峰的网络日志
A
About on SuperTechFans
AWS News Blog
AWS News Blog
A
Arctic Wolf
P
Privacy International News Feed
The Register - Security
The Register - Security
Vercel News
Vercel News
L
LangChain Blog
S
Schneier on Security
D
Docker
J
Java Code Geeks
L
LINUX DO - 热门话题
cs.CL updates on arXiv.org
cs.CL updates on arXiv.org
M
MIT News - Artificial intelligence
Spread Privacy
Spread Privacy
MyScale Blog
MyScale Blog
量子位
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
K
Kaspersky official blog
C
CERT Recently Published Vulnerability Notes
Know Your Adversary
Know Your Adversary
D
Darknet – Hacking Tools, Hacker News & Cyber Security
Recorded Future
Recorded Future
C
Cyber Attacks, Cyber Crime and Cyber Security
Scott Helme
Scott Helme
Security Latest
Security Latest
人人都是产品经理
人人都是产品经理
T
Threat Research - Cisco Blogs
Cyberwarzone
Cyberwarzone
F
Full Disclosure
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
Jina AI
Jina AI
NISL@THU
NISL@THU
P
Proofpoint News Feed
T
The Blog of Author Tim Ferriss

元视角

.NET 生态下的 Agent 框架选型:从 ReAct 到原生推理 - 元视角 从「能用」到「好用」:LLM 流式响应实现方式的探索之路 - 元视角 当我用 2000 条聊天记录,让 AI 为我画一幅自画像 - 元视角 基于 Supabase 的 AI 应用开发探索 - 元视角 微博 × MCP:社交媒体新玩法解锁 - 元视角 四点钟海棠花未眠 - 元视角 Semantic Kernel × MCP:智能体的上下文增强探索 - 元视角 基于 K-Means 聚类分析实现人脸照片的快速分类 - 元视角 容器技术驱动下的代码沙箱实践与思考 - 元视角 温故而知新:后端通用查询方案的再思考 - 元视角 浅议 CancellationToken 在前后端协同取消场景中的应用 - 元视角 Semantic Kernel 视角下的 Text2SQL 实践与思考 - 元视角 关于 ChatGPT 的流式传输,你需要知道的一切 - 元视角 RAG 的是与非、Rewrite 和 Rerank - 元视角 使用 EFCore 和 PostgreSQL 实现向量存储及检索 - 元视角 基于 LLaMA 和 LangChain 实践本地 AI 知识库 - 元视角 使用 llama.cpp 在本地部署 AI 大模型的一次尝试 - 元视角 如何为 Git 配置多个 SSH Key - 元视角 C# 使用 LibUsbDotNet 实现 USB 设备检测 - 元视角 基于 C# 实现样式与数据分离的打印方案 - 元视角 基于 SVG 的图形交互方案实践 - 元视角 前端视频播放技术概览 - 元视角 温故而知新,再话 Python 动态导入 - 元视角 后 GPT 时代,NLP 不存在了? - 元视角 视频是不能 P 的系列:使用 Milvus 实现海量人脸快速检索 - 元视角 GDI+下字体大小自适应方案初探 - 元视角 小爱音箱集成 ChatGPT 的不完全教程 - 元视角 程序员视角下的三体世界随想 - 元视角 关于 Docker 容器配置信息的渐进式思考 - 元视角 在 Docker 容器内集成 Crontab 定时任务 - 元视角 为你的服务器集成 LDAP 认证 - 元视角 似花还似非花 - 元视角 视频是不能 P 的系列:使用 Dlib 实现人脸识别 - 元视角 浅议分布式链路追踪与日志的整合 - 元视角 关于 Git 大文件上传这件小事 - 元视角 .NET 进程内队列 Channel 的入门与应用 - 元视角 使用 Fody 实现 .NET 的静态编织 - 元视角 .NET Core + ELK 搭建可视化日志分析平台(下) - 元视角 聊一聊前端图片懒加载背后的故事 - 元视角 支持外部链接跳转的 Vue Router 扩展实现 - 元视角 视频是不能 P 的系列:OpenCV 和 Dlib 实现表情包 - 元视角 不得不说的 ASP.NET Core 集成测试 - 元视角 再议 DDD 视角下的 EFCore 与 领域事件 - 元视角 Vue.js 前端项目容器化部署实践极简教程 - 元视角 再见,人间四月天 - 元视角 Python 图像风格化迁移助力画家梦想 - 元视角 利用 ASP.NET Core 中的标头传播实现分布式链路追踪 - 元视角 利用 gRPC 实现文件的上传与下载 - 元视角 七种武器:延迟队列的原理和实现总结 - 元视角 gRPC 流式传输极简入门指南 - 元视角 Envoy 集成 Jaeger 实现分布式链路追踪 - 元视角 浅议非典型 Web 应用场景下的身份认证 - 元视角 gRPC 借助 Any 类型实现接口的泛化调用 - 元视角 分布式丛林探险系列之 Redis 集群模式 - 元视角 分布式丛林探险系列之 Redis 主从复制模式 - 元视角 通过 Python 预测 2021 年双十一交易额 - 元视角 gRPC 搭配 Swagger 实现微服务文档化 - 元视角 SSL/TLS 加密传输与数字证书的前世今生 - 元视角 使用 Python 自动识别防疫健康码 - 元视角 你不可不知的容器编排进阶技巧 - 元视角 ASP.NET Core 搭载 Envoy 实现 gRPC 服务代理 - 元视角 再话 AOP,从简化缓存操作说起 - 元视角 ASP.NET Core 搭载 Envoy 实现微服务身份认证(JWT) - 元视角 ASP.NET Core 搭载 Envoy 实现微服务的监控预警 - 元视角 ASP.NET Core 搭载 Envoy 实现微服务的反向代理 - 元视角 ASP.NET Core gRPC 打通前端世界的尝试 - 元视角 EFCore 实体命名约定库:EFCore.NamingConventions - 元视角 ASP.NET Core gRPC 集成 Polly 实现优雅重试 - 元视角 ASP.NET Core gRPC 健康检查的探索与实现 - 元视角 ASP.NET Core gRPC 拦截器的使用技巧分享 - 元视角 SnowNLP 使用自定义语料进行模型训练 - 元视角 使用 HttpMessageHandler 实现 HttpClient 请求管道自定义 - 元视角 ABP vNext 的实体与服务扩展技巧分享 - 元视角 ABP vNext 对接 Ant Design Vue 实现分页查询 - 元视角 源代码探案系列之 .NET Core 跨域中间件 CORS - 元视角 源代码探案系列之 .NET Core 限流中间件 AspNetCoreRateLimit - 元视角 源代码探案系列之 .NET Core 并发限制中间件 ConcurrencyLimiter - 元视角 通过 EmbededFileProvider 实现 Blazor 的静态文件访问 - 元视角 低代码,想说爱你不容易 - 元视角 记一次失败的 ThoughtWorks 面试经历 - 元视角 从 C# 1.0 到 C# 9.0,历代 C# 语言特性一览 - 元视角 通过 Python 分析 2020 年全年微博热搜数据 - 元视角 基于 Python 和 Selenium 实现 CSDN 一键三连自动化 - 元视角 使用多线程为你的 Python 爬虫提速的 N 种姿势,你会几种? - 元视角 实现网页长截图的常见思路总结 - 元视角 温故而知新,由 ADO.NET 与 Dapper 所联想到的 - 元视角 作为技术宅的我,是这样追鬼滅の刃的 - 元视角 使用 Python 抽取《半泽直树》原著小说人物关系 - 元视角 厉害了!打工人用 Python 分析西安市职位信息 - 元视角 使用 dotTrace 对 .NET 应用进行性能分析与优化 - 元视角 一道 HashSet 面试题引发的蝴蝶效应 - 元视角 基于选项模式实现.NET Core 的配置热更新 - 元视角 Dapper.Contrib 在 Oracle 环境下引发 ORA-00928 异常问题的解决 - 元视角 .NET Core 中对象池(Object Pool)的使用 - 元视角 利用 MySQL 的 Binlog 实现数据同步与订阅(下):EventBus 篇 - 元视角 利用 MySQL 的 Binlog 实现数据同步与订阅(中):RabbitMQ 篇 - 元视角 利用 MySQL 的 Binlog 实现数据同步与订阅(上):基础篇 - 元视角 记一次从已损坏的 Git 仓库中找回代码的经历 - 元视角 .NET Core 原生 DI 扩展之属性注入实现 - 元视角 .NET Core 原生 DI 扩展之基于名称的注入实现 - 元视角
视频是不能 P 的系列:OpenCV 人脸检测 - 元视角
飞鸿踏雪 · 2020-12-26 · via 元视角

恍惚间,2020 年已接近尾声,回首过去这一年,无论是疫情、失业还是“996”,均以某种特殊的方式铭刻着这一年的记忆。也许,是这个冬天的西安雾霾更少一点。所以,有时透过中午的一抹冬阳,居然意外地觉得春天的脚步渐渐近了,甚至连圣诞节这种“洋节日”都感到亲切而且期待,我想,这大概是我丧了一段时间的缘故吧!可不管怎样,人们对未来的生活时常有一种“迷之自信”,果然生还还是要继续下去的呀!趁着最近的时间比较充裕,我决定开启一个信息的系列:视频是不能 P 的。这是互联网上流传的一个老梗了,正所谓“视频是不能 P 的,所以是真的”。其实,在如今这个亦真亦假的世界里,哪里还有什么东西是不能 PS 的呢?借助人工智能“改头换面”越来越轻而易举,而这背后关于隐私和伦理的一连串问题随之而来,你越来越难以确认屏幕对面的那个是不是真实的人类。所以,这个系列会以 OpenCV 作为起点,去探索那些好玩、有趣的视频/图像处理思路,通过技术来证明视频是可以被 PS 的。而作为这个系列的第一篇,我们将从一个最简单的地方开始,它就是人脸检测。

第一个入门示例

学习 OpenCV 最好的方式,就是从官方的示例开始,我个人非常推荐的两个教程是 OpenCV: Cascade ClassifierPython OpenCV Tutorial,其次是 浅墨大神【OpenCV】入门教程,不同的是, 浅墨大神 的教程主要是使用 C++,对于像博主这样的“不学无术”的人,这简直无异于从入门到放弃,所以,建议大家结合自己的实际情况,选择适合自己的“难度”。好了,思绪拉回我们这里,在 OpenCV 中实现人脸检测,主要分为以下三个步骤,即,首先,定义联级分类器CascadeClassifier并载入指定的模型文件;其次,对待检测目标进行灰度化和直方图均衡化处理;最后,对灰度图调用detectMultiScale()方法进行检测。下面是一个简化过的入门示例,使用世界上最省心的 Python 语言进行编写:

import cv2

# 步骤1: 定义联级分类器CascadeClassifier并载入指定的模型文件
faceCascade = cv2.CascadeClassifier('./haarcascades/haarcascade_frontalface_alt2.xml')

# 步骤2: 对待检测目标进行灰度化和直方图均衡化处理
target = cv2.imread('target.jpg')
target_gray = cv2.cvtColor(target, cv2.COLOR_BGR2GRAY)
target_gray = cv2.equalizeHist(target_gray)

# 步骤3: 人脸检测
faces = faceCascade.detectMultiScale(target_gray)
for (x,y,w,h) in faces:
    cv2.rectangle(target, (x, y), (x + w, y + h), (0, 255, 0), 2)

# 步骤4: 展示结果
cv2.imshow('Face Detection', target)
cv2.waitKey(0)
cv2.destroyAllWindows() 

正常情况下,你会得到下面的结果,这里选取的素材是经典日剧《半泽直树》:

OpenCV人脸检测效果展示 OpenCV人脸检测效果展示

怎么样?是不是被 OpenCV 的强大给震惊到了?下面我们针对每个步骤做更详细的说明:

  • 第 1 行引入 OpenCV,需要我们安装 OpenCV 的Python 版本
  • 第 4 行实例化级联分类器 CascadeClassifier,关于这个级联分类器,它是 OpenCV 下做目标检测的模块,内置HaarHOGLBP三类特性算法,而所谓“级联”,则是指它通过多个强分类器串联实现最终分类的思路。在初始化级联分类器的时候,需要载入指定的模型文件,这些模型文件是官方提前训练好的,可以从Github上进行下载,不同的模型文件对应不同的功能,这里使用的haarcascade_frontalface_alt2.xml主要针对面部检测,而像haarcascade_eye_tree_eyeglasses.xml则可以对眼睛进行检测。除此之外,我们还通过训练获得自己的模型文件,当然,这一切都是后话啦!
  • 第 7~9 行,我们载入了一张图片素材,并对其进行了灰度化和直方图均衡化处理。这里需要关注的三个函数是:imreadcvtColorequalizeHist,它们的作用分别是读取图片、转换颜色和直方图均衡化处理。其中,对人脸检测而言,灰度图是必要的条件,而直方图均衡化则是可选的一个过程。
  • 第 12~14 行,通过 detectMultiScale 方法我们就可以对待检测目标进行检测,关于它的参数,常用的有 scaleFactor、minNeighbors、minSize、maxSize,它可以对人脸检测做进一步的细节上控制,对于我们而言,我们更关心检测的结果,这里我们将检测到的人脸区域以矩形的方式绘制出来。
  • 第 17~19 行,主要是为了方面大家观察结果,实际使用中可能会输出为文件或者实时渲染,这里需要关注的重点函数是:imshow,顾名思义,它可以让图片展示在窗口中,类似我们这个示例中的效果。

柴犬界的“网红”

曾经,有“好事者”分析过微信和 QQ 的年度表情,表情包文化流行的背后,实际上表达方式多样化的一种体现,例如:“笑哭”这一符号,固然有哭笑不得的含义在里面,可又何尝不是二十多岁人生总是边哭边笑的真实写照呢?而“捂脸”这一符号在我看来更多的是一种无可奈何,甚至有一种自我嘲讽的意味在里面。至于“呲牙”,朴实无华的微笑背后,大抵是看惯了庭前花开花落,可以“不以物喜,不以己悲”地笑对人生吧!其实,在这许许多多地表情里,我最喜欢的是微博里的“Doge”,这个眉清目秀的“狗头”能表达出各种丰富的含义,相比之下,微信里的“Doge”就有一点拙劣的模仿的意味了,俗话说**“狗头保命”**,在一个互联网信仰缺失的时代,用这样一种表情作为人类的保护色,又是不是一种反讽呢?而大家都知道,这个“Doge”表情,实际上是源于一个叫做Homestar Runner的网上动画系列,其原型则来源于一只名为Kabosu的柴犬,由于它融合了萌宠和故意搞笑两大特点,因此在网络上迅速走红,并由此衍生出一系列二次创作。

微信年度表情 微信年度表情

QQ年度表情 QQ年度表情

现在,让我们唤醒身体里的中二灵魂,通过 OpenCV 让这个柴犬界的网红出现在我们面前。这里的思路是,在检测到人脸后,在人脸区域绘制一个“狗头”表情,为此,我们需要定义一个copyTo()函数,它可以将一张小图(MaskImage)绘制到大图(SrcImage)的指定位置,我们一起来看它的具体实现:

def copyTo(srcImage, maskImage, x, y, w, h):
    # 按照区域大小对maskImage进行缩放
    img_h, img_w, _ = maskImage.shape
    img_scale = h / img_h
    new_w = int(img_w * img_scale)
    new_h = int(img_h * img_scale)
    img_resize = cv2.resize(maskImage ,(new_w ,new_h))

    # “粘贴”小图到大图的指定位置
    if (srcImage.shape[2] != maskImage.shape[2]):
        y1, y2 = y, y + img_resize.shape[0]
        x1, x2 = x, x + img_resize.shape[1]
        alpha_s = img_resize[:, :, 3] / 255.0
        alpha_l = 1.0 - alpha_s
        for c in range(0, 3):
            srcImage[y1:y2, x1:x2, c] = (
                alpha_s * img_resize[:, :, c] + alpha_l * srcImage[y1:y2, x1:x2, c]
            )
    else:
        srcImage[y:y + img_resize.shape[0], x:x + img_resize.shape[1]] = img_resize

    return srcImage

在这里,我们首先要关注这样一件事情,即 OpenCV 默认使用的是由 R、G、B 组成的三通道,可对于像 PNG 这种格式的图片,它会含有一个 Alpha 通道。这样,当我们尝试把一张含 Alpha 通道的小图,“粘贴”到只有 R、G、B 三个通道的大图上时,就会出现通道数对不上的问题,所以,这个函数实际上对这种情况做了特殊处理。其次,每一个 OpenCV 中的图片,即 Mat,其 shape 属性是一个由三个元素组成的元组,依次为图片高度、图片宽度和图片通道数。“黏贴”的过程实际上是修改对应位置处的像素信息。好了,现在,我们来修改一下第一版的代码:

# 步骤1: 定义联级分类器CascadeClassifier并载入指定的模型文件
faceCascade = cv2.CascadeClassifier('./haarcascades/haarcascade_frontalface_alt2.xml')
# cv2.IMREAD_UNCHANGED表示保留Alpha通道信息
doge = cv2.imread('doge-4.png', cv2.IMREAD_UNCHANGED) 

# 步骤2: 对待检测目标进行灰度化和直方图均衡化处理
target = cv2.imread('target.jpg')
target_gray = cv2.cvtColor(target, cv2.COLOR_BGR2GRAY)
target_gray = cv2.equalizeHist(target_gray)

# 步骤3: 人脸检测
faces = faceCascade.detectMultiScale(target_gray)
for (x,y,w,h) in faces:
    target = copyTo(target, doge, x, y, w, h) # 粘贴“狗头”表情至每一个面部区域

# 步骤4: 展示结果
cv2.imshow('Face Detection', target)
cv2.waitKey(0)
cv2.destroyAllWindows() 

此时,我们就可以得到下面的结果:

全员Doge! 全员Doge!

其实,我本人更喜欢这张,一张充满精神污染意味的图片:

来自神烦狗的精神污染 来自神烦狗的精神污染

视频级 PS 入门

OK,相信到这里为止,各位读者朋友,都已经顺着博主的思路实现了图片级别的“PS”,既然我们这个系列叫做视频是不能 P 的,那么大家要问了,视频到底能不能 P 呢?答案显然是可以,不然博主写这个系列就不是“人脸检测”而是“人肉打脸”啦!下面,我们来继续对今天的这个例子做一点升级。考虑在 OpenCV 中,VideoCapture可以通过摄像头捕捉视频画面,所以,我们只需要把这个“狗头”绘制到每一帧画面上,就可以实现视频级别的 PS 啦!

# 步骤1: 定义联级分类器CascadeClassifier并载入指定的模型文件
faceCascade = cv2.CascadeClassifier('./haarcascades/haarcascade_frontalface_alt2.xml')
doge = cv2.imread('doge-4.png', cv2.IMREAD_UNCHANGED)
cap = cv2.VideoCapture(0) #笔记本自带摄像头

while (True):
    ret, frame = cap.read() 
    if (ret == False):
        break

    # 步骤2: 对待检测目标进行灰度化和直方图均衡化处理
    # 读取视频中每一帧
    target = frame
    target_gray = cv2.cvtColor(target, cv2.COLOR_BGR2GRAY)
    target_gray = cv2.equalizeHist(target_gray)

    # 步骤3: 人脸检测
    faces = faceCascade.detectMultiScale(target_gray)
    for (x,y,w,h) in faces:
        target = copyTo(target, doge, x, y, w, h)

    # 步骤4: 展示结果
    cv2.imshow('Face Detection', target)
    # 按Q退出
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

cap.release() 
cv2.destroyAllWindows() 

一起来看看实现的效果吧!可能当你看完这篇博客的时候,你会觉得我写这玩意儿到底有什么用?不好意思,这玩意儿还真有用!它解决了像博主这样腼腆、不敢在公开场合抛头露面的人的困惑。暴走大事件里“王尼玛”一直戴着头罩,所以,很多人都好奇他本人到底长什么样子,如果当时能考虑这个思路的话,是不是可以不用一直戴着头罩。同样地,还有在浪客剑心真人版里饰演志志雄真实的藤原龙也,全身上下缠满绷带的造型其实对演员来说是非常不友好的,如果当时能考虑这个思路的话,是不是演员可以不用受那么大的罪。如果说这些都有些遥远的话,那么,至少在采访后期希望保护受访者隐私的场景下,这个思路是完全可行的,就像大家看到的它可以完全的遮挡住我的脸,而类似的打马赛克等等技术,本质上还是对图像进行处理,甚至美颜相机里的各种特效,底层都离不开 OpenCV 里的这些算法。怎么样?现在有没有觉得博主其实是一个非常有趣的人,哈哈!

视频级别的“PS” 视频级别的“PS”

本文小结

这篇博客主要分享了 OpenCV 在人脸检测方面的简单应用,OpenCV 中的 CascadeClassifier 整合HaarHOGLBP三类特性算法,通过预置的模型文件可以实现不同程度的目标检测功能,而在人脸检测的基础上,我们可以通过训练来实现简单的人脸识别,正如今年爆发的新冠疫情让人脸识别出现新的挑战一样,虽然人脸识别的场景正在变得越来越复杂,可作为一个世界上最流行的计算机视觉库,OpenCV 中的各种模块、算法还是一如既往的经典。结合 imread()、resize()、cvtColor()等等的方法,我们可以将“狗头”表情贴到图片或者视频中的人脸区域,而这个思路可以为人脸遮挡相关的场景做一点探索。

在一个流行美颜的时代,人们对于别人甚至自己的期望在无限拔高,像博主本人一直不怎么喜欢拍照,有时候我们埋怨别人没有把我们拍得好看一点,可那究竟是你眼中的自己还是别人眼中的自己呢?正如相亲的时候,人们总喜欢把最好的、美化过的一面展示给别人,因为只有这样才能让别人对你产生兴趣,可往往现实的落差会让这种来得快的兴趣消失得更快。所以,我想说,虽然在技术面前万物似乎皆可“PS”,可对于我们自己而言,你是否了解真正的自己呢?关于我博客的写作风格,我一直不确定是要用偏严谨还是偏活泼的方式来表达,因为眼看着被后浪们一点点超越,这实在是种难以言说的感觉,欢迎大家在评论区留下你对博客内容或者观点的想法,祝大家周末愉快,一个人一样要活得浪漫!