110.75.173*,110.75.17*此段IP地址,不断访问,不知道是什么
110.75.73.207到110.75.173.212此段IP地址,不断访问网站服务器,经查是阿里软件的IP地址。问下怎么回事呢?不像是搜索引擎啊,几乎是24小时在不断的访问。站长交流板块不能发帖,所以发到此版了,不符合的话就转移吧!
我是阿里云搜索部门(http://www.yahoo.cn/)的工程师,刚才已经给您发了站内消息解释这个事情。
先解释一下,这几台机器的确是我们搜索引擎的爬虫,您可以通过网站访问日志中带的user agent来确认是否是搜索引擎访问贵网站。
之所以对你们网站达到这样的速度,一方面是因为贵网站性能比较高,我们会确保我们的访问速度不会影响贵网站的正常运行;
另一方面可能是因为贵网站的数据质量也较好,数量量较大的缘故。
想跟你确认几件事情:1)您是否认为我们的访问影响到了贵网站的正常运营,如果有的话,请告知我们,我们会降低对贵网站的访问频率。
如果您的网站不期望被搜索引擎收录,您也可以通过设置robots.txt文件来阻止搜索引擎对贵网站的访问,我们的搜索引擎严格遵守robots协议。
2)能否告知贵网站的网址,我们可以查询下对贵网站的的访问记录,看看速度是否符合预期。
分享到: