近日，有站长在网上发布消息称，字节跳动为了快速发展搜索业务，派出爬虫对网站内容进行暴力抓取，部分配置较低的网站已经直接瘫痪，给中小网站的所有者造成了很大的损失和困扰，严重影响了网站的正常用户访问。

站长表示，今年7月突然发现公司网站不能频繁打开，网页加载速度极慢，有时甚至直接瘫痪。经过一系列调查，在服务器日志中发现了bytespider crawler的踪迹。这个爬虫每天的爬行频率达到几百万次，最高的是几千万次。服务器的带宽负载飙升至100%，爬虫完全不符合网站的robots协议。

站长顺着爬虫的Ip地址查询，确认爬虫是字节跳动的搜索爬虫。

此外，CSDN、V2EX等技术论坛也了解到，在字节跳动开始搜索后，其实已经有站长在网上抱怨头条搜索爬虫的暴力声音，在字节跳动也不是被搜索爬虫暴力抓取的案例，很多小网站也未能幸免。

一个小网站老板抱怨字节跳动的爬虫“早上给网站发了46万个请求”，网站瘫痪了，百度没有这么做！

最后，站长表示，对于我们这样做SEO的人来说，主要的工作目标是希望自己的家网站能够在主流搜索引擎的搜索结果中排在靠前的位置。“对于搜索引擎如百度， 搜狗， 360等。非常欢迎捕捉并包含站长。但是头条搜索爬虫这样疯狂的抓取内容网站，不仅没有给网站带来流量，还影响了正常的用户访问。这不是很特别。

然而，字节跳动的回应是，“网络报道不真实。目前头条搜索有反馈机制。因为爬虫受到影响，可以通过邮件反馈直接处理网站。”明不准备正面回应。

因此，从头条搜索爬虫对网站内容的暴力爬行来看，磊哥个人认为字节跳动进入全网搜索，搅动搜素市场是好事，但为了快速崛起，自己的爬虫到处暴力爬行就存在问题。大型网站服务器配置高，技术人员好很多。很多小网站根本受不了字节跳动的搜索爬虫。

搜索引擎的索引数据是一点一点积累起来的。百度和搜狗360经过这么多年的发展和积累，才走到今天。头条搜索想疯狂抓取内容。“一口吃一个胖子”只会让站长远离！

作者：磊哥

来源：卢松松博客，欢迎分享。

« 全国首个无人驾驶公交卡：市民免费申请 | 常用的12大数据分析平台，让你少走很多弯路 »