网站指定是被爬虫爬了
大家好我是图恩，今天登录网站后台发现今天的访问量为七万四千多，这个访问量指所有文章的访问量，具体是指每次文章接口被调用访问量会+1，所以瞬间感觉到网站应该是被爬了，虽然平常也有一些爬虫在爬，但是平常的访问量是保持在七千左右，今天的访问量明显异常，差不多是平常的十倍，为什么能这么肯定是爬虫呢，因为pv跟uv的访问量跟平常差不多，所有唯一的原因就是爬虫在工作了。
虽然我能知道我的网站www.dsiab.com被爬了，但是我感觉并没有太好的办法解决这个问题，因为我看了一下日志，大部分的请求都是伪装成正常请求，而且从useragent看不太出来。
最近我也看到在gitee的开源项目访问量突然多了起来，不知道是什么原因，因为我的网站后台是有一个测试账号的，这个账号对外公开，登录后节能看到后台管理的一些信息，像访问量这些是能通过测试账号看到的，这些并不是什么隐私数据，包括访问的浏览器型号，操作系统、分辨率等都是公开的。
现阶段我对这种爬虫也无能为力，也并不想去处理，只要不影响网站的正常访问就可以，全当新用户访问了。
当然其实之前也有过对网站做限流的操作，但是目前还没有时间实现这部分的功能，等以后有时间再说。
希望网站能被大家看到，也希望大家能注册、投稿，一起交流。
发表评论 (审核通过后显示评论)：