






















1 | |
OUTDATE_CLEAN:默认为60。超过这个值(距今超过60天)的文章,会在数据库中被删除。
LINK:起始的友链页面和爬取策略,支持添加多个,详细见注释说明。
SETTINGS_FRIENDS_LINKS:配置项友链。这是一种通用的方法,如果程序不支持爬取你的友链页,请打开此项。
1 | |
关于json_api选项,4.3.0以后支持通过提供api对友链进行配置,返回格式必须为json,格式如下:
1 | |
其中,友链1、友链2中的内容格式同list字段。
GITEE_FRIENDS_LINKS:从gitee issues中获取友链信息,详见yaml文件中的注释。
GITHUB_FRIENDS_LINKS:从github issues中获取友链信息,详见yaml文件中的注释。
BLOCK_SITE:屏蔽站点,配置在这里的网址不会被爬取。比如,你的友链页添加了自己,并且不想被爬虫获取,就可以把自己的主页地址屏蔽掉。支持正则表达式,举例:
1 | |
HTTP_PROXY:如果想为爬虫设置HTTP代理,将此项设为True,然后根据你选择的数据库不同,添加环境变量。名称为PROXY,值为[IP]:[端口],比如:192.168.1.106:8080。注意,目前只支持添加一个HTTP代理。
MAX_POSTS_NUM:每个友链最多获取几篇文章,此值越大,则抓取的文章上限越多,相应地运行速度也会降低,反之亦然。默认为5。
DATABASE:数据的存储方式,目前支持将数据保存在leancloud、mysql、sqlite、mongodb,默认为sqlite。
DEPLOY_TYPE:整个项目的部署方式,目前支持将项目部署在github、server、docker,默认为github。
此内容由惯性聚合(RSS阅读器)自动聚合整理,仅供阅读参考。 原文来自 — 版权归原作者所有。