惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

D
DataBreaches.Net
GbyAI
GbyAI
aimingoo的专栏
aimingoo的专栏
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
月光博客
月光博客
大猫的无限游戏
大猫的无限游戏
M
MIT News - Artificial intelligence
腾讯CDC
博客园 - Franky
Engineering at Meta
Engineering at Meta
C
Check Point Blog
T
The Blog of Author Tim Ferriss
有赞技术团队
有赞技术团队
Microsoft Azure Blog
Microsoft Azure Blog
MyScale Blog
MyScale Blog
I
InfoQ
Blog — PlanetScale
Blog — PlanetScale
P
Proofpoint News Feed
The GitHub Blog
The GitHub Blog
N
Netflix TechBlog - Medium
Last Week in AI
Last Week in AI
S
SegmentFault 最新的问题
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
WordPress大学
WordPress大学

又见苍岚

COLMAP PatchMatch Stereo 算法详解 事件驱动的状态机框架:从理论到工程实践 Git 在国内网络环境下无法 Push 的排查与修复 —— 配置 Clash 代理 分段五次多项式插值原理详解 路径插值方法深度对比研究 Claude Code 使用指南 OpenClaw 记忆管理与技能创建指南 CBS(Conflict-Based Search)算法详解 A* 算法及其变种详解 OpenClaw 配置多 Agents Windows Powershell 无法加载文件,因为在此系统上禁止运行脚本问题的解决方案 MaxClaw 安装流程 大模型 AI 名词介绍 AList 网盘聚合工具简介 Protobuf 简介与测试 Claude Code 简介以及 GLM 4.7 模型接入 Github 歌词下载工具 163MusicLyrics Python __getattr__ 懒加载 Python TypedDict 机器人仿真平台 Gazebo 安装记录 机器人仿真平台 Gazebo 简介 多机器人路径规划问题(Multi-Agent Path Finding, MAPF)简介 Python exifread 读取修改过的 jpeg 信息错误问题修复 3D 坐标系变换的理解 3D 旋转矩阵基本概念 MongoDB Compass 介绍 Python 环境管理工具 uv Flutter 开发指南 Snipaste 安装下载与黑屏问题解决方案 全局路径规划算法记录
Hexo -43- 友链朋友圈 后端部署
Yiwei Zhang · 2023-03-03 · via 又见苍岚
1
2
{"statistical_data":{"friends_num":34,"active_num":26,"error_num":8,"article_num":71,"last_updated_time":"2023-03-03 16:13:39"},"article_data":[{"floor":1,"title":"使用 Memos 搭建时光机教程","created":"2023-03-02","updated":"2023-03-02","link":"https://dusays.com/561/","author":"杜老师说","avatar":"https://cdn.dusays.com/avatar.png"},{"floor":2,"title":"小推一波说说广场","created":"2023-02-27","updated":"2023-03-02","link":"https://dusays.com/560/","author":"杜老师说","avatar":"https://cdn.dusays.com/avatar.png"},{"floor":3,"title":"把 ChatGPT 接入到微信上「Docker 篇」","created":"2023-02-24","updated":"2023-03-02","link":"https://dusays.com/559/","author":"杜老师说","avatar":"https://cdn.dusays.com/avatar.png"},{"floor":4,"title":"把 ChatGPT 接入到微信上「源码部署」","created":"2023-02-21","updated":"2023-03-02","link":"https://dusays.com/558/","author":"杜老师说","avatar":"https://cdn.dusays.com/avatar.png"},{"floor":5,"title":"UPS 低电压时通过群晖实现 Ubuntu 自动关机","created":"2023-02-18","updated":"2023-03-02","link":"https://dusays.com/557/","author":"杜老师说","avatar":"https://cdn.dusays.com/avatar.png"},{"floor":6,"title":"Nextcloud 生产环境部署保姆级教程","created":"2023-02-15","updated":"2023-03-02","link":"https://dusays.com/556/","author":"杜老师说","avatar":"https://cdn.dusays.com/avatar.png"},{"floor":7,"title":"ElementUI中el-select样式修改无效问题","created":"2023-03-02","updated":"2023-03-02","link":"https://blog.lovelu.top/posts/49ab/","author":"满心Hrn","avatar":"https://cdn.lovelu.top/img/logo.png"},{"floor":8,"title":"obsidian如何同步全平台","created":"2023-03-01","updated":"2023-03-
...
  • OUTDATE_CLEAN:默认为60。超过这个值(距今超过60天)的文章,会在数据库中被删除。

  • LINK:起始的友链页面和爬取策略,支持添加多个,详细见注释说明。

  • SETTINGS_FRIENDS_LINKS:配置项友链。这是一种通用的方法,如果程序不支持爬取你的友链页,请打开此项。

    • 其中list字段格式为:
    1
    2
    3
    [友链名,友链主页地址,友链头像]
    # 或者
    [友链名,友链主页地址,友链头像,自定义订阅后缀]
    • 关于json_api选项,4.3.0以后支持通过提供api对友链进行配置,返回格式必须为json,格式如下:

      1
      {"friends":[[友链1],[友链2],[友链3],[友链4]....]}

      其中,友链1、友链2中的内容格式同list字段。

  • GITEE_FRIENDS_LINKS:从gitee issues中获取友链信息,详见yaml文件中的注释。

  • GITHUB_FRIENDS_LINKS:从github issues中获取友链信息,详见yaml文件中的注释。

  • BLOCK_SITE:屏蔽站点,配置在这里的网址不会被爬取。比如,你的友链页添加了自己,并且不想被爬虫获取,就可以把自己的主页地址屏蔽掉。支持正则表达式,举例:

    1
    2
    3
    4
    5
    6
    7
    # block site list
    # 添加屏蔽站点
    BLOCK_SITE = [
    "https://example.com/" # 屏蔽https://example.com/
    r".*\.com", # 含有.com的全部屏蔽
    r"^http://", # http开头的全部屏蔽
    ]
  • HTTP_PROXY:如果想为爬虫设置HTTP代理,将此项设为True,然后根据你选择的数据库不同,添加环境变量。名称为PROXY,值为[IP]:[端口],比如:192.168.1.106:8080。注意,目前只支持添加一个HTTP代理。

  • MAX_POSTS_NUM:每个友链最多获取几篇文章,此值越大,则抓取的文章上限越多,相应地运行速度也会降低,反之亦然。默认为5

  • DATABASE:数据的存储方式,目前支持将数据保存在leancloudmysqlsqlitemongodb,默认为sqlite

  • DEPLOY_TYPE:整个项目的部署方式,目前支持将项目部署在githubserverdocker,默认为github