惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

S
SegmentFault 最新的问题
爱范儿
爱范儿
博客园 - 三生石上(FineUI控件)
Microsoft Security Blog
Microsoft Security Blog
Google DeepMind News
Google DeepMind News
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
GbyAI
GbyAI
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
V
V2EX
酷 壳 – CoolShell
酷 壳 – CoolShell
量子位
博客园_首页
T
Tailwind CSS Blog
aimingoo的专栏
aimingoo的专栏
A
About on SuperTechFans
T
The Blog of Author Tim Ferriss
Stack Overflow Blog
Stack Overflow Blog
Recent Announcements
Recent Announcements
P
Proofpoint News Feed
博客园 - 司徒正美
有赞技术团队
有赞技术团队
Engineering at Meta
Engineering at Meta
Last Week in AI
Last Week in AI
MongoDB | Blog
MongoDB | Blog

博客园 - Ray Liang

吐血整理JSON-RPC2.0的原理与应用 一小时手搓轻量级可代替 Qdrant 的向量数据库 彻底治愈AI“失忆”和胡说八道的真正办法 AI基于Spec开发是巨坑? 用六边形架构与整洁架构对比是伪命题? 老兵不死,只是换了战场:从27年的企业开发转型AI应用开发 被低估的量化版模型,小身材也能干大事 概念设计在AI时代的重要性:我是这样设计仿生大脑的 Opus现实打脸GLM5“教课书“式架构 顶极模型大比拼,到底谁才是真正的编程之王? EvoMap 硬刚 OpenClaw!从基因胶囊到仿生大脑,AI 的尽头果然是生物学 吊打OpenClaw!国产AI助理MindX开源:Token消耗砍至10%,还能养出专属数字分身 老程序员的信仰 HAAR与DLib的实时人脸检测之实现与对比 ESP8266的低功耗方案-睡眠模式 WIFI智能配网 - SmartConfig Arduino Core For ESP8266 ESP8266-Arduino杀手? Arduino通过MAX9814实现录音 nrf2401 - 最廉价的2.4G无线通信方案
Raspberry Zero 上实现平滑视频图传
Ray Liang · 2018-11-01 · via 博客园 - Ray Liang

在某些应用场合我们可能需要通过一个设备通过WIFI将图像传到其它的机器进行显示或者图形分析,那怎么可以低成本地实现呢?其实很简单,我们只需要一块 Raspberry Zero W 和一个RPI 摄像头就行了,两个加起来成本也只不过150左右。

这个组合不单单只是实现一个图传,最重要的是Raspberry Zero上运行的是Linux,它几乎可以运行我们各种各样的代码。将它作为一个小型的编程平台也未尝不可。

由于硬件部分太简单了没有必要浪费篇幅过多地讲述,那就直接进入软件部分。实现图传必然有两端:发送端与接收端。

发送端 - 运行于Raspberry Zero通过OpenCV直接读取视频流,然后将数据写入到Socket中发送出去。如果实时传递的话可能会由于网络通信等的各种原因导致丢包,或者说由于失去有效的网络连接而引发程序的异常,为了防止这种情况出现我使用了pyzmq这个包,发送端也是消息的发布方,将Socket的处理放到消息队列中,当订阅方从消息队列中读取信息时就从Socket中拿出排队的数据,这样处理起来就平滑多了。

接收端 - 可运行于所有能运行python环境的平台,它只负责从Socket中读取流数据然后通过OpenCV显示到窗口中,也是消息的订阅方。

Python 中的Socket使用可以说是在众多语言中最简单的,关于Socket的知识在此不多讲,不懂的朋友可以先去找些资料先学习一下。

发布方与订阅方都需要安装pyzmq:

安装 pyzmq

$ pip install pyzmq

如果在树莓上安装pyzmq会非常慢可能要等个10来20分钟的,不要以为你的树莓挂了只是Raspberry Zero性能实在太低要进行本机编译实在是一件非常痛苦之事。

发布方 - Streamer

Raspberry Zero 端的发布方的代码如下:

import base64
import cv2
import zmq

context = zmq.Context()
footage_socket = context.socket(zmq.PUB)
footage_socket.connect('tcp://*:5555')

camera = cv2.VideoCapture(0)  
while True:
    try:
        success, frame = camera.read() 
        if not success:
           break;
        frame = cv2.resize(frame, (640, 480))  # 将每一帧的画面大小设置为640x480
        encoded, buffer = cv2.imencode('.jpg', frame)
        jpg_as_text = base64.b64encode(buffer)
        footage_socket.send(jpg_as_text)

    except KeyboardInterrupt:
        camera.release()
        cv2.destroyAllWindows()
        break

原理非常简单就是将每一帧的画面先转成base64的编码格式以字符流的方式写入到socket中传出去。

运行代码:

pi $ python streamer.py 

订阅方 Viewer

import cv2
import zmq
import base64
import numpy as np

context = zmq.Context()
footage_socket = context.socket(zmq.SUB)
footage_socket.bind('tcp://10.0.0.25:5555') # 这里需要指定Steamer的发地址
footage_socket.setsockopt_string(zmq.SUBSCRIBE, np.unicode(''))

while True:
    try:
        source = footage_socket.recv_string()
        img = base64.b64decode(source)
        npimg = np.fromstring(img, dtype=np.uint8)
        frame = cv2.imdecode(npimg, 1)
        frame = cv2.flip(frame, flipCode=-1)
        cv2.imshow("Stream", frame)
        cv2.waitKey(1)

    except KeyboardInterrupt:
        cv2.destroyAllWindows()
        break