JX3·GuBot·Web开发历程

一个基于剑三的大数据开发、管理和挖掘的项目

查看历程

Timeline


2021-2-01

Gubot采用PIL库进行图片+文字合成
烟花查询反馈更加美观


2021-01-31

Tieba反爬进行了升级 Gubot采用了代理池的方法解决了屏蔽的内容
Gubot加快了爬取频率 避免了漏楼的概率
加强了对广告的屏蔽


2020-12-22

优化了查询功能,使烟花查询更人性化


2020-12-21

GuBot增加了查询烟花的功能


2020-11-11

GuBot优化了查询功能、查询编号等功能


2020-11-10

Jx3·GuBot网站建设的里程碑事件


2020-10-10

GuBot实现了查询功能并完善了多条件查询
取消了tieba等ds的数据挖掘


2020-10-1

GuBot采用httpx的访问方式和asyncio的多线程模式
实现了对tieb的实时监控
同时探究baidu的反爬虫机制
降低了监控的频率和实施了了防反爬虫的相关措施


2020-09-25

Gubot采用AspSchedule实现了实时监控和刷新
改进了单线程的弊端
改进了多线程并采用了线程时钟


2020-09-20

开展了对Gubot的整体规划


2020-09-16

GuBot开始了Spider - jx3的旅程
采用了Mirai的机器人框架,soup、sqlite等第三方库
实现了对wbl数据的采集和分析