惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

L
LINUX DO - 最新话题
A
Arctic Wolf
I
Intezer
V
Vulnerabilities – Threatpost
C
Cisco Blogs
MyScale Blog
MyScale Blog
NISL@THU
NISL@THU
Y
Y Combinator Blog
C
CERT Recently Published Vulnerability Notes
P
Privacy International News Feed
H
Hackread – Cybersecurity News, Data Breaches, AI and More
酷 壳 – CoolShell
酷 壳 – CoolShell
Recorded Future
Recorded Future
云风的 BLOG
云风的 BLOG
S
SegmentFault 最新的问题
Microsoft Security Blog
Microsoft Security Blog
L
LangChain Blog
博客园 - 聂微东
博客园 - 叶小钗
F
Fortinet All Blogs
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
Recent Announcements
Recent Announcements
C
Cyber Attacks, Cyber Crime and Cyber Security
Latest news
Latest news
Simon Willison's Weblog
Simon Willison's Weblog
P
Palo Alto Networks Blog
S
Schneier on Security
C
Cybersecurity and Infrastructure Security Agency CISA
V
V2EX
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
The Hacker News
The Hacker News
博客园 - 司徒正美
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
L
LINUX DO - 热门话题
罗磊的独立博客
K
Kaspersky official blog
Last Week in AI
Last Week in AI
Know Your Adversary
Know Your Adversary
小众软件
小众软件
Stack Overflow Blog
Stack Overflow Blog
T
Threat Research - Cisco Blogs
D
DataBreaches.Net
Scott Helme
Scott Helme
P
Proofpoint News Feed
P
Privacy & Cybersecurity Law Blog
P
Proofpoint News Feed
博客园 - 三生石上(FineUI控件)
Hugging Face - Blog
Hugging Face - Blog
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
F
Full Disclosure

夜行人

回家路上 第一期的直播演示项目 震动检测器 正能量 在线参观CodeLab Neverland 发布 CodeLab Adapter 3.3.1 DynamicTable 之 纸糊方向盘 CodeLab DynamicTable: 一个可实施的技术方案 CodeLab Insight 发布 Alpha 版 情人节 Home Assistant 周报 && IoT 周报 (02) Joplin: 关注隐私的 Evernote 开源替代软件 浏览器的未来与 Web 传感器 Home Assistant 周报 && IoT 周报 (01) 百宝箱(01) 论自由 介绍 WebThings Home Assistant 周报 && iot 周报 (00) 百宝箱(00) 毛姆读书心得 传世之作 周末徒步 CodeLab Adapter ❤️ Jupyter/Python 航班 躲雨 夏令营途中 [译]思想--作为一种技术 The future of coding 美国之行 三门问题的程序模拟 从Python转向Pharo https://blog.just4fun.site/post/iot/iot-open-source-projects/ Python异步编程笔记 https://blog.just4fun.site/post/iot/iot-open-source-hardware-community/ 万物积木化开发者社区 CodeLab ❤️ Blender Scratch3技术分析之云变量 API(第7篇) [译]对管道(Pipes)的偏爱 [译]提出正确的问题比得到正确答案更重要 蓝牙设备与Scratch3.0 创建你的第一个Scratch3.0 Extension Scratch3技术分析之项目内部数据(第6篇) Scratch3技术分析之社区 API(第5篇) Scratch3技术分析之User API(第4篇) Scratch3技术分析之项目主页API(第3篇) Scratch3技术分析之静态资源API(第2篇) Scratch3.0、micro:bit与Windows7 https://blog.just4fun.site/post/iot/zerynth-vs-micropython/ 核聚变、方所与半宅空间 可视化编程为何是个糟糕的主意 codelab.club周末聚会 关于codelab.club '下一件大事'是一个房间 Hungry Robot - Eat everything 编程作为一种思考方式 今日简史 史蒂夫·乔布斯传 罗素自选文集 https://blog.just4fun.site/post/edx/tianjin-scratch-ai/ https://blog.just4fun.site/post/edx/richie-cms-openedx/ 徒步武功山 WebUSB与micro:bit 积木化编程与3D场景 夜宿武功山顶 scratch3-adapter接入优必选Alpha系列机器人 https://blog.just4fun.site/post/edx/video-migration-note/ scratch3-adapter重构笔记 https://blog.just4fun.site/post/edx/edx-community-members/ 两种硬件编程风格的比较 使用micro:bit自制PPT翻页笔 柏拉图对话集 scratch3.0 + micro:bit 七月电影放映计划 非营利组织的管理 Screenly--用树莓派让任何屏幕变为可编程的数字标牌 以最佳实践开始你的Django项目 micro:bit与事件驱动 OCR应用一例 近两年读过的一些好书 blockly开发之使用python驱动浏览器中的turtle(2) 牛顿新传 文学理论入门 逻辑的引擎 人生的意义 blockly开发之生成并运行js代码(1) blockly开发之hello world(0) micro:bit使用笔记 神器之Termux https://blog.just4fun.site/post/iot/micropython-notes/ Cozmo what is this Scratch的前世今生 下段旅程 我行在远方 爆裂 途中杂记 https://blog.just4fun.site/post/edx/open-edx-startup/ cozmo系列之入门 - 有性格且可编程的机器人 PaperWeekly开发笔记 创业二三事 blockly与结对编程
为Scratch3.0设计的插件系统(上篇)
2018-03-20 · via 夜行人

我们每个人在内心深处都怀有一个梦想: 希望创造出一个鲜活的世界,一个宇宙。处在我们生活的中间、被训练为架构师的那些人,拥有这样的渴望: 在某一天,在某一个地方,因为某种原因,创造出了一个不可思议的、美丽的、摄人心魄的场所,在那里人们可以漫步,可以梦想,历经很多世纪绵延不绝. –Christopher Alexander

Scratch是一个游乐场

在我心目中,Scratch便是这样的一个美丽的场所,孩子们和保持着童真的成年孩子们在其中漫步、游戏以及梦想。Ta们在Scratch这个游乐场中创造并分享着乐趣

Scratch是一个伟大的项目,无论从它最初的愿景(在A Networked, Media-Rich Programming Environment to Enhance Technological Fluency at After-School Centers in Economically-Disadvantaged Communities这篇提案中有详述最初的构想和愿景),还是它后来的实现,无论就它的软件设计,还是项目影响力而言,都堪称杰作。

如果你对Scratch的前世今生感兴趣,可以翻翻我之前的这篇文章:Scratch的前世今生, 当时刚读完《爆裂》,借助《爆裂》一书提供的线索和借助互联网,我沿着理念传承这条线,从雷斯尼克的Scratch追溯到派珀特的Logo语言,之后抵达皮亚杰的认知论(再往前甚至将追溯到洛克的经验论)

将于今年8月发布的Scratch3.0无疑将延续这个传统,继续做出振奋人心的东西。

Scratch是个游乐场,而且是一个设施完善的游乐场,你可以在其中发挥天马行空的想象力,创造出属于你的世界。

Scratch是个像素世界

唯一的遗憾是,这个世界以像素的形式出现。当然你可能觉得这哪是什么遗憾,像素世界比身边这个原子世界广阔多了。去过四维空间的人,回到三维空间,即便漂浮于太空,外面是浩瀚的星空,仍会觉得逼仄得很,一些人的星辰大海只不过是囚禁另一些人的牢笼。这是一种患有幽闭恐惧症的感受。同样,如果你在虚拟世界浪荡久了,回到现实中来,可能也会觉得匮乏,饭居然是要一口一口吃的!我明明都已经完整吃了一口了,这个世界甚至都不提供一个for循环积木块!

但现在是三月,江南的三月,鸡鸣寺樱花盛开的三月,站在鸡鸣寺下、玄武湖前的樱花树下,无论阴雨还是春风,你都很难不被这个由原子而非像素构成的世界所打动。

虽然这个原子世界的确可能就是像素构成的…anyway,先抛开你的怀疑论,让我们进入正题。

我们说了这个多科幻的内容,正题并不是你期待的《三体》,这篇文章准备讨论的是如何为Scratch3.0构建一个通用的插件系统,让Scratch3.0能与来自物理世界的硬件打交道

我们准备构建一个通道,连接原子和像素世界

来自物理世界的硬件

物理世界有许多参数,诸如温度、湿度、磁场、速度、光照强度…以及,你喜欢的姑娘身上特有的香味

这些参数可以被各种各样的传感器所捕获(你身上的绅士风度属于不可知论范畴,不能被物理参数描述),一旦你能捕捉到现实世界的各种参数,你就能做出许许多多好玩的东西,诸如,通过捕捉楼道的声音,你可以做到: 当楼道里有声响时,把楼道里的灯打开,这样一来你就做出了声控灯。可是你不想白天楼道里也亮着灯,怎么办呢? 你可以把光照的信息也捕捉了,这样一来你就可以在光线不足且有人经过的时候才开灯,这样一来就节约了电力。注意我说的是光线不足就开灯,而不是晚上,为什么呢,因为我们希望光线昏暗的时候,都能为行人提供照明,而不只是晚上,我们通过获取光线而不是根据昼夜时间来决定是否亮灯。这样系统可以在大白天里黑云压城的时候,也能贴心地为行人亮起灯,这便是所谓的"科技以人为本"

Scratch是个教育项目,如果它能更多地和现实发生关联,一个孩子在Scratch中创作的作品,能对接到各种硬件,在Ta现实中被使用,这些作品帮助了Ta的父母和邻居解决生活问题,Ta的学习热情将将被噼里啪啦点燃。关于这方面的描述,PC之父Alan Curtis Kay和LOGO语言之父Papert都有过精彩论述

我们结下来要做的,就是实现这样一种架构,在这个架构之下,各种硬件(小车、四轴飞行器、cozmo、microbit、Circuit Playground Express)都能与Scratch3.0交互,而且这个架构将基于消息,利用pub/sub的机制,降低构件的耦合,提高系统健壮性和可重用性

Make everything as simple as possible, but not simpler

Scratch3.0

Scratch3.0基于html5构建,能轻松支持多平台运行,十分可期,而且带来了多项有趣的改进。目前的开发版可以在这儿尝鲜. 对源码有兴趣的小伙伴,想围观或者参与,都可以戳这里

社区里不少公司已经用Scratch3.0作出了许多令人惊叹的东西,Cozmo是其中的佼佼者

Scratch3.0原计划在今年春季正式发布,春天来了,樱花如期盛开,Scratch3.0却跳票了,推迟到8月份发布

人面不知何处去,桃花依旧笑春风

Scratch3.0的插件机制

自由有时候是一种负担

我们的目标是为Scratch3.0做一个插件系统,准确地说是做一个连接Scratch3.0与外围硬件的插件系统.

Scratch3.0已经有它自己的插件机制。Scratch3.0的插件机制比较简单,它允许你写一个自己的插件,这个插件在UI层面表现为自定义的积木块,你在积木块中定义好自己的原语(opcode),之后这个积木块和Scratch中默认的积木块一样,可以被用户拿来拼拼搭搭。用户拼搭的过程中,积木块的组合形式也就是程序将语义以json的形式传到scratch-vm,它们在vm中被解释运行,至于你在页面上看到的小猫的运动和声音,则是scratch-vm中程序的output:output的具体实现是scratch-audioscratch-render的东西.这些属于实现细节,跟着官方的插件走一遍就行。

如果你熟悉scratch2和scratchx项目,你会发现,scratch3.0的插件机制和之前相似

从上边的描述中,我们可以发现,Scratch3.0的插件机制对于你应该如何与外部硬件设备交互,啥都没说。

在官方的插件机制中,你有极大的自由,因为它无为而治。有时候自由是一种负担,自由意味着你自己得作出选择,并承担所有的风险。

官方的尝试

说官方对Scratch3.0如何与外部硬件设备交互只字未提,可能会遭到官方的反驳,毕竟他们为乐高的wedo2机器人写了一个Scratch3.0插件(目前源码已经基本完成了,只是官方没有启用这个插件),通过这个插件,我们可以在Scratch3.0中操控wedo2机器人。这个插件的源码向你展示了Scratch3.0是如何与硬件交互的,但这个插件也还是缄默多于言说,目前开发文档几乎保持空白,Scratch官方似乎在有一种向维特根斯坦的恶意模仿

wedo2的源码很好读,写的也漂亮,虽说乐高赞助了mit media lab一个教授席位,但wedo2的源码并没有获得特殊待遇,而是用了标准的插件机制。如前所述,插件提供了wedo2的编程积木块,这些积木块的语义将传递到scratch-vm中执行,其中最关键的一步是通过socketio将语义传递给硬件。当然上边的说法过于笼统,我跟踪了这个过程,websocket管道的那端并不是直接连着wedo2机器人,而是连着一个本地插件,这个本地插件接着通过蓝牙连接wedo2. 这个本地插件本质上是个代理。

我之前的的blockly4pi和wedo2的设计几乎一样,这个项目之后我应该会开源出来,之前在jupyter的架构分析的文章中提到过,如果你有兴趣可以翻阅我之前的文章

社区的尝试

在说我的设计之前,我们来看看社区上已有的方案

目前把Scratch3.0玩得很溜的,国外有Cozmo,而国内有makeblock和kittenbot

我去年长途旅行经过深圳时,和makeblock和kittenbot在Maker Faire上碰过面,两个团队都非常优秀

Cozmo

先从Cozmo说起,Cozmo一骑绝尘,从产品、sdk源码到体验都惊艳之极。Cozmo的目前只公开了python SDK源码,从源码中我们可以看出,Cozmo的server里藏有一个ROS(Robot Operating System),这个ROS应该在它的APP里,这也是它为何如此依赖于APP的原因以及APP如此臃肿的原因。而它的Scratch3.0界面与它的ROS通信,我接下来准备提出的插件架构,本质上是我对Cozmo架构的猜想,因为它的源码未开放,我暂时没办法验证,但我们可以断言的是,cozmo的scratch是以消息的方式与硬件交互的(这是ROS系统的核心),这和wedo2很像,实际上在这一类项目目前只有两种架构风格。大分类下,wedo2和cozmo属于一类,下边我们要说的makeblock和kittenbot是另一类

我最近花了1.5个周末读完《ROS机器人编程实践》才理解了Cozmo的架构设计(至少在逻辑上),这里边的很多问题,并不是Scratch图形化编程的问题,而是ROS的问题,所以至今Cozmo并无对手。毫无疑问,Cozmo对Scratch3.0的应用上也是一骑绝尘的。这让人想起那句称赞约翰·麦卡锡的那句话

巨人随手丢下的鹅软石都是巨石

mblock

接下来我们说说makeblock对Scratch3.0的应用,这里我们只关心mblock操作程小奔(硬件机器人)相关的部分,AI和DL部分有空再说

插个题外话,mblock中有许多精彩的工作,其中我最喜欢的一个部分是,他们顺利做到让microbit支持多任务(甚至事件),这个microbit官方目前都还做不到(在python中),实现机制十分精巧,经过逆向分析,我们可以看到具体的代码实现(实际是用正则做预处理),不过即便不通过逆向分析,我们通过观察积木块生成的python代码,也能猜到预编译的机制,关于这块我们之后有空再说

mblock对硬件的操作是通过将scratch3.0积木generate出python代码来做的,之后将代码灌入他们的硬件机器人(程小奔)中,也就是说在mblock中,Scratch3.0被当作blockly来使用(典型的blcokly app风格)。此外值得一提的是,mblock中有一个叫做通讯变量的概念,这个概念很有趣,它能把硬件和scratch连通。限于篇幅和我困了,也之后再说

程小奔使用micropython构建,可能是目前最大的micropython项目之一,关于硬件这块,这里也没空多说,前头废话说了太多,对不起诸位。我们之后找个时间来说说mblock是如何使用esp32板子做出程小奔的,当然很多部分是我的实验加猜测,毕竟源码mblock还没有开放。

mblock和程小奔在工程上都是漂亮的作品,给工程团队打call!

kittenbot

小喵家的公众号我一直是关注的,小喵们做了许多geek且有趣的工作。团队人不多,但做出的东西却很赞!此处星星眼

kittenbot之前是open source,新的版本似乎没开放,不过mblock和kittenbot对开源社区都很友好,之后会开放也未可知。

kittenblcok中之前对microbit的操作也是generate成python再灌入的,这点和mblock相似。最近我没怎么用kittenblcok,不知道最近是不是有调整,等我有空试完再补充。

我的设计

写到这里都半夜了,只好把这篇文章拆分为二了,有空再来补上我的自己的插件架构设计

在这个设计之上,我们已经作出了一个具体的实现(scratch3.0和microbit的互操作),准备以软件包的形式发布(正在制作),可见我们是吃自己的狗粮的

架构层面主要受ROS和jupyter的影响

我们下篇里见