风铃虫是一款轻量级的高效爬虫工具,配置简单,方便二次开发,能抓取js渲染的网页,可以抓取任何数据,支持保存网页快照,智能防封杀,天然适合分布式。
本次版本是一个修复性版本,主要是为了解决与优化上一版中存在的一些问题,优化系统默认参数,并解决在运行过程中出现的线程安全问题。
本次更新内容如下:
修改默认请求超时时间为30秒
修改默认的线程数为单线程
解决java8中并行流引起的线程安全问题
本次更新特别感谢 @ supperfire 同学提出的宝贵意见,同时欢迎大家提出更多的使用意见,大家一起使用风铃虫变得更加完美。