网友评分: 4分
InfoSpider(爬虫工具箱),旨在安全快捷的帮助用户拿回自己的数据,工具代码开源,流程透明,并提供数据分析功能,基于用户数据生成图表文件,使得用户更直观、深入了解自己的信息,需要通过各种库来进行软件的安装!
INFO-SPIDER 是一个集众多数据源于一身的爬虫工具箱,旨在安全快捷的帮助用户拿回自己的数据,工具代码开源,流程透明。并提供数据分析功能,基于用户数据生成图表文件,使得用户更直观、深入了解自己的信息。 目前支持数据源包括GitHub、QQ邮箱、网易邮箱、阿里邮箱、新浪邮箱、Hotmail邮箱、Outlook邮箱、京东、淘宝、支付宝、中国移动、中国联通、中国电信、知乎、哔哩哔哩、网易云音乐、QQ好友、QQ群、生成朋友圈相册、浏览器浏览历史、12306、博客园、CSDN博客、开源中国博客、简书。
安全可靠:本项目为开源项目,代码简洁,所有源码可见,本地运行,安全可靠。
使用简单:提供 GUI 界面,只需点击所需获取的数据源并根据提示操作即可。
结构清晰:本项目的所有数据源相互独立,可移植性高,所有爬虫脚本在项目的 Spiders 文件下。
数据源丰富:本项目目前支持多达24+个数据源,持续更新。
数据格式统一:爬取的所有数据都将存储为json格式,方便后期数据分析。
个人数据丰富:本项目将尽可能多地为你爬取个人数据,后期数据处理可根据需要删减。
数据分析:本项目提供个人数据的可视化分析,目前仅部分支持。
文档丰富:本项目包含完整全面的使用说明文档和视频教程
依赖安装
安装python3和Chrome浏览器
安装与Chrome浏览器相同版本的驱动
安装依赖库 pip install -r requirements.txt
工具运行
进入 tools 目录
运行 python3 main.py
在打开的窗口点击数据源按钮, 根据提示选择数据保存路径
弹出的浏览器输入用户密码后会自动开始爬取数据, 爬取完成浏览器会自动关闭.
在对应的目录下可以查看下载下来的数据(xxx.json), 数据分析图表(xxx.html)
5866游戏商城上号器 v9.7.0.10130官方版99.6M | 简体 | 3.00
下载租号玩商户软件 v1.7.230921.1官方版56.3M | 简体 | 3.00
下载租号玩英雄联盟上号器 v3.8.230713.1官方版115.1M | 简体 | 10.00
下载问一问抢题助手 v4.0518KB | 简体 | 2.00
下载小鹿竞价百度版 v1.4.111.1342官方版22.4M | 简体 | 5.00
下载东东试用 v1.0免费版1.1M | 简体 | 4.00
下载企微宝Pro v2.9.1官方版139.6M | 简体 | 10.00
下载小鹿管家 v1.3.1109.1343官方版14.8M | 简体 | 3.00
下载小鹿搜狗助手 v1.3.1012.1805官方版19.7M | 简体 | 10.00
下载Vovsoft Collect URL v3.0官方版3.4M | 简体 | 7.00
下载后羿采集器 v4.0.1官方版81.4M | 简体 | 5.00
下载火车采集器 v10.2.22.228免费版33.4M | 简体 | 9.00
下载WebHarvy v6.3.0.189免费版80.2M | 英文 | 6.00
下载探索者互联网舆情监测系统 v2.0.2免费版14.7M | 简体 | 4.00
下载InfoSpider v1.0免费版19.6M | 简体 | 4.00
下载蓝天采集器 v2.3.3官方版8.1M | 简体 | 7.00
下载全自动无人值守采集软件 v3.5.6免费版22.9M | 简体 | 9.00
下载熊猫智能采集软件 v3.5.0官方版12.1M | 简体 | 5.00
下载