前端纯HTML+JS+JSON(链接统计除外),后端python生成标准JSON
安装:
1.python3 caiji.py采集(保持后台运行请用screen或nohup)
2.打开首页访问
注:
caiji.py为后端采集程序,其余为前端需在同一目录
相应设置修改请查看源码中的注释
admin.php为第三方数据库管理程序,用于内容链接统计查看(默认密码admin,请在文件中修改)
点击统计数据库log.db会在首次访问内容链接时生成,如未建立请保证主目录可写
为了安全,后端程序caiji.py和数据库查看程序admin.php请改为复杂文件名,或移动到非web目录(需同时修改文件内的生成json保存目录为网站根目录,默认为当前目录)
默认使用多线程抓取,如有问题请改用单线程
今日头条的采集请更换为自己的cookie,头条短时间采集内容相同的太多(目前1分钟采一次合并10次数据),相同cookie分段采集后几乎不会有重复的,但采集一段时间后推荐的都是杂七杂八无关的垃圾内容(请定期更换cookie或自行加入随机的头条cookie生成规则)