惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

C
Cisco Blogs
爱范儿
爱范儿
有赞技术团队
有赞技术团队
博客园 - 【当耐特】
Jina AI
Jina AI
Project Zero
Project Zero
宝玉的分享
宝玉的分享
Martin Fowler
Martin Fowler
WordPress大学
WordPress大学
Simon Willison's Weblog
Simon Willison's Weblog
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
T
Tenable Blog
F
Fortinet All Blogs
大猫的无限游戏
大猫的无限游戏
Last Week in AI
Last Week in AI
月光博客
月光博客
雷峰网
雷峰网
G
Google Developers Blog
V
V2EX
T
Tor Project blog
罗磊的独立博客
Schneier on Security
Schneier on Security
Know Your Adversary
Know Your Adversary
W
WeLiveSecurity
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
P
Privacy International News Feed
S
Securelist
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
P
Proofpoint News Feed
Blog — PlanetScale
Blog — PlanetScale
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
小众软件
小众软件
Scott Helme
Scott Helme
I
Intezer
T
Threat Research - Cisco Blogs
The GitHub Blog
The GitHub Blog
N
Netflix TechBlog - Medium
C
CERT Recently Published Vulnerability Notes
Security Archives - TechRepublic
Security Archives - TechRepublic
酷 壳 – CoolShell
酷 壳 – CoolShell
L
LINUX DO - 最新话题
N
News | PayPal Newsroom
L
Lohrmann on Cybersecurity
T
Troy Hunt's Blog
Google DeepMind News
Google DeepMind News
P
Proofpoint News Feed
人人都是产品经理
人人都是产品经理
Latest news
Latest news
AWS News Blog
AWS News Blog
Apple Machine Learning Research
Apple Machine Learning Research

夜行人

回家路上 第一期的直播演示项目 震动检测器 正能量 在线参观CodeLab Neverland 发布 CodeLab Adapter 3.3.1 DynamicTable 之 纸糊方向盘 CodeLab DynamicTable: 一个可实施的技术方案 CodeLab Insight 发布 Alpha 版 情人节 Home Assistant 周报 && IoT 周报 (02) Joplin: 关注隐私的 Evernote 开源替代软件 浏览器的未来与 Web 传感器 Home Assistant 周报 && IoT 周报 (01) 百宝箱(01) 论自由 介绍 WebThings Home Assistant 周报 && iot 周报 (00) 百宝箱(00) 毛姆读书心得 传世之作 周末徒步 CodeLab Adapter ❤️ Jupyter/Python 航班 躲雨 夏令营途中 [译]思想--作为一种技术 The future of coding 美国之行 三门问题的程序模拟 从Python转向Pharo https://blog.just4fun.site/post/iot/iot-open-source-projects/ Python异步编程笔记 https://blog.just4fun.site/post/iot/iot-open-source-hardware-community/ 万物积木化开发者社区 CodeLab ❤️ Blender Scratch3技术分析之云变量 API(第7篇) [译]对管道(Pipes)的偏爱 [译]提出正确的问题比得到正确答案更重要 蓝牙设备与Scratch3.0 创建你的第一个Scratch3.0 Extension Scratch3技术分析之项目内部数据(第6篇) Scratch3技术分析之社区 API(第5篇) Scratch3技术分析之User API(第4篇) Scratch3技术分析之项目主页API(第3篇) Scratch3技术分析之静态资源API(第2篇) Scratch3.0、micro:bit与Windows7 https://blog.just4fun.site/post/iot/zerynth-vs-micropython/ 核聚变、方所与半宅空间 可视化编程为何是个糟糕的主意 codelab.club周末聚会 关于codelab.club '下一件大事'是一个房间 Hungry Robot - Eat everything 编程作为一种思考方式 今日简史 史蒂夫·乔布斯传 罗素自选文集 https://blog.just4fun.site/post/edx/tianjin-scratch-ai/ https://blog.just4fun.site/post/edx/richie-cms-openedx/ 徒步武功山 WebUSB与micro:bit 积木化编程与3D场景 夜宿武功山顶 scratch3-adapter接入优必选Alpha系列机器人 https://blog.just4fun.site/post/edx/video-migration-note/ scratch3-adapter重构笔记 https://blog.just4fun.site/post/edx/edx-community-members/ 两种硬件编程风格的比较 使用micro:bit自制PPT翻页笔 柏拉图对话集 scratch3.0 + micro:bit 七月电影放映计划 非营利组织的管理 Screenly--用树莓派让任何屏幕变为可编程的数字标牌 以最佳实践开始你的Django项目 micro:bit与事件驱动 为Scratch3.0设计的插件系统(上篇) OCR应用一例 近两年读过的一些好书 blockly开发之使用python驱动浏览器中的turtle(2) 牛顿新传 文学理论入门 逻辑的引擎 人生的意义 blockly开发之生成并运行js代码(1) blockly开发之hello world(0) micro:bit使用笔记 神器之Termux https://blog.just4fun.site/post/iot/micropython-notes/ Cozmo what is this Scratch的前世今生 下段旅程 我行在远方 爆裂 途中杂记 https://blog.just4fun.site/post/edx/open-edx-startup/ cozmo系列之入门 - 有性格且可编程的机器人 PaperWeekly开发笔记 创业二三事
caravel系列之架构与源码浅析
2016-07-27 · via 夜行人

如果你打算改造和定制caravel,这篇文章可能对你有帮助

外围观察

上边的这张图列出了caravel用到的部分技术(由Wappalyzer分析得出)

包括:

后端

采用python的Flask框架(当前版本是Flask 0.11.10,caravel版本是0.10.0)

前端

  • React
  • Bootstrap
  • D3
  • NVD3
  • jQuery

技术栈的细节可以通过翻阅源码库得到

走近源码库

查阅caravel的项目页我们可以知道其技术栈构成,python和javascript分别支撑前后端,python占据大半代码量

后端依赖

查阅源码库中的setup.py,我们可以知道项目依赖

  • ‘cryptography==1.4’,
  • ‘flask-appbuilder==1.8.1’,
  • ‘flask-cache==0.13.1’,
  • ‘flask-migrate==1.5.1’,
  • ‘flask-script==2.0.5’,
  • ‘flask-testing==0.5.0’,
  • ‘flask-sqlalchemy==2.0’,
  • ‘humanize==0.5.1’,
  • ‘gunicorn==19.6.0’,
  • ‘markdown==2.6.6’,
  • ‘pandas==0.18.1’,
  • ‘parsedatetime==2.0.0’,
  • ‘pydruid==0.3.0’,
  • ‘python-dateutil==2.5.3’,
  • ‘requests==2.10.0’,
  • ‘simplejson==3.8.2’,
  • ‘six==1.10.0’,
  • ‘sqlalchemy==1.0.13’,
  • ‘sqlalchemy-utils==0.32.7’,
  • ‘sqlparse==0.1.19’,
  • ‘werkzeug==0.11.10’,

我们忽视工具型的库,对核心库做个简要介绍

flask-appbuilder

Simple and rapid application development framework, built on top of Flask. Includes detailed security, auto CRUD generation for your models, google charts and much more.

flask-appbuilder是caravel的项目骨架,如果想定制深度caravel,建议认真读完flask-appbuilder的文档

更多介绍可以参考flaskappbuilder.pythonanywhere.com/或者Introduction

一些简单的案例可以参考这里examplesFlask-AppBuilder-Skeleton

flask-appbuilder给我感觉像是把flask的工具链做了整合,使其功能全面(通往django之路?)

pandas

关于pandas的介绍我们引这篇文章

Pandas是python的一个数据分析包,最初由AQR Capital Management于2008年4月开发,并于2009年底开源出来,目前由专注于Python数据包开发的PyData开发team继续开发和维护,属于PyData项目的一部分。Pandas最初被作为金融数据分析工具而开发出来,因此,pandas为时间序列分析提供了很好的支持。 Pandas的名称来自于面板数据(panel data)和python数据分析(data analysis)。panel data是经济学中关于多维数据集的一个术语,在Pandas中也提供了panel的数据类型

sqlalchemy

SQLAlchemy是Python社区中最广泛使用的ORM工具,底层而强大

SQLAlchemy的理念是,SQL数据库的量级和性能重要于对象集合;而对象集合的抽象又重要于表和行

关于sqlalchemy的更多细节,可以参考我的这篇文章

前端依赖

  • “autobind-decorator”: “^1.3.3”,
  • “babel-loader”: “^6.2.1”,
  • “babel-polyfill”: “^6.3.14”,
  • “babel-preset-es2015”: “^6.3.13”,
  • “babel-preset-react”: “^6.3.13”,
  • “bootstrap”: “^3.3.6”,
  • “bootstrap-datepicker”: “^1.6.0”,
  • “bootstrap-toggle”: “^2.2.1”,
  • “brace”: “^0.7.0”,
  • “brfs”: “^1.4.3”,
  • “cal-heatmap”: “3.5.4”,
  • “css-loader”: “^0.23.1”,
  • “d3”: “^3.5.14”,
  • “d3-cloud”: “^1.2.1”,
  • “d3-sankey”: “^0.2.1”,
  • “d3-tip”: “^0.6.7”,
  • “datamaps”: “^0.4.4”,
  • “datatables-bootstrap3-plugin”: “^0.4.0”,
  • “datatables.net-bs”: “^1.10.11”,
  • “exports-loader”: “^0.6.3”,
  • “font-awesome”: “^4.5.0”,
  • “gridster”: “^0.5.6”,
  • “imports-loader”: “^0.6.5”,
  • “jquery”: “^2.2.1”,
  • “jquery-ui”: “^1.10.5”,
  • “json-loader”: “^0.5.4”,
  • “less”: “^2.6.1”,
  • “less-loader”: “^2.2.2”,
  • “mapbox-gl”: “^0.20.0”,
  • “mustache”: “^2.2.1”,
  • “nvd3”: “1.8.3”,
  • “react”: “^0.14.7”,
  • “react-bootstrap”: “^0.28.3”,
  • “react-dom”: “^0.14.7”,
  • “react-grid-layout”: “^0.12.3”,
  • “react-map-gl”: “^1.0.0-beta-10”,
  • “react-resizable”: “^1.3.3”,
  • “select2”: “3.5”,
  • “select2-bootstrap-css”: “^1.4.6”,
  • “style-loader”: “^0.13.0”,
  • “supercluster”: “Pending PR at https://github.com/mapbox/supercluster/pull/12",
  • “supercluster”: “https://github.com/georgeke/supercluster/tarball/ac3492737e7ce98e07af679623aad452373bbc40",
  • “topojson”: “^1.6.22”,
  • “transform-loader”: “^0.2.3”,
  • “viewport-mercator-project”: “^2.1.0”,
  • “webpack”: “^1.12.12”,
  • “webworkify-webpack”: “1.0.6”

源码分析(后端)

caravel提供命令行工具caravel,项目的创建,demo的加载都由改指令负责,例如:

1
2
3
4
5
6
7
8
# Create default roles and permissions
caravel init

# Load some data to play with
caravel load_examples

# Start the web server on port 8088
caravel runserver -p 8088

我们知道setup.py里的scripts将被注册为命令行工具(参考 Installing Scripts),caravel便是注册自这里

从源码中我们看到scripts=['caravel/bin/caravel'],按图索骥找到入口:caravel

启动参数

从中我们连接到caravel(caravel runserver)服务跑起来时各个参数的意义

  • -d : 以debug模式启动 //官方教程里启动caravel服务的指令为 caravel runserver -d ,即默认为调试模式,
  • -p : 指定端口
  • -w : 指定gunicorn的worker数量 // gunicorn是一个Python WSGI UNIX的HTTP服务器
  • -t : 指定gunicorn服务过期时间

当我们用-d参数运行caravel runserver时,我们并未将wsgi app跑在gunicorn,如果是生产使用,应该去掉-d

如果我们有兴趣跟踪或定制caravel init(创建默认角色和权限)和caravel load_example的执行流程,跟踪相应函数即可

web服务

caravel runserver跑起来的web服务的相关信息:

  • 由gunicorn运行wsgi application
  • wsgi application为caravel:app

接下来我们开始分析caravel:app,这是整个项目的核心所在

caravel:app

由python模块相关的知识(建议参考《learning python》),我们知道from caravel import app中,当caravel是目录是,app来自caravel/init.py

这实际上是Flask-AppBuilder常见的项目组织形式 ,可以参考这个简要的例子,相关解释看这篇文档

要想了解caravel的项目骨架,必须通读一遍flask-appbuilder的文档

通过阅读flask-appbuilder的文档,我们了解到caravel实际是Flask-AppBuilder的一个具体应用(app),所以我们可以用fabmanager来控制caravel,诸如

1
2
3
4
5
6
# Create an admin user
fabmanager create-admin --app caravel

fabmanager list-users --app caravel

fabmanager list-views --app caravel

caravel api

通过阅读Model Views (Quick How to),我们了解了caravel的项目骨架和model相关的知识,和django十分相似,包括管理CURD机制也和django admin极其相似,django admin的确是个耀眼的设计,被借鉴倒是不奇怪。

这篇文章还提到ModelView最终会暴露出 REST API,而且带有权限验证,方面你做各种粒度的控制 ! 这个设计比django admin还漂亮,惊为天人

相关细节参考Exposed methods

我们到caravel中一试,完全可用:

后记

目前这个分析更侧重项目结构的源码分析,还不涉及数据分析部分的分析,限于时间有限,数据部分,下回分解