前言

本次更新包括几个部分：

日志集中管理

自动安装依赖

开放 API

Web Hook

自动生成结果集

更新日志

功能 / 优化

优化日志管理. 集中化管理日志，储存在 MongoDB，减少对 PubSub 的依赖，允许日志异常检测.

自动安装依赖. 允许从 requirements.txt 和 package.json 自动安装依赖.

API Token. 允许用户生成 API Token，并利用它们来集成到自己的系统中.

Web Hook. 当任务开始或结束时，触发 Web Hook http 请求到预定义好的 URL.

自动生成结果集. 如果没有设置，自动设置结果集为 results_.

优化项目列表. 项目列表中不展示 "No Project".

升级 Node.js. 将 Node.js 版本从 v8.12 升级到 v10.19.

定时任务增加运行按钮. 允许用户在定时任务界面手动运行爬虫任务.

Bug 修复

无法注册. #670

爬虫定时任务标签 Cron 表达式显示秒. #678

爬虫每日数据缺失. #684

结果数量未即时更新. #689

产品规划

结果展示

支持其他数据库

爬虫

支持容器爬虫

长任务爬虫支持

可配置爬虫

可配置爬虫支持 Splash

可配置爬虫支持 CrawlSpider

可配置爬虫支持正则表达式字段

定时任务

日历展示

服务器

支持终端操作 Docker 镜像

SDK

更多命令支持

全局

热更新

参考

Github: https://github.com/crawlab-team/crawlab

Demo: https://crawlab.cn/demo

文档: http://docs.crawlab.cn

社区

如果您觉得 Crawlab 对您的日常开发或公司有帮助，请加作者微信 tikazyq1 并注明 "Crawlab"，作者会将你拉入群。欢迎在 Github 上进行 star，以及，如果遇到任何问题，请随时在 Github 上提 issue。另外，欢迎您对 Crawlab 做开发贡献。