本站承诺永不接任何虚假欺骗、联盟广告、弹窗广告、病毒广告、诱导充值等影响用户体验的广告,广告屏蔽插件会影响本站部分功能,还请不要屏蔽本站广告,感谢支持!

当前位置:首页 / 正文

2022-01-25 | 编程技术 | 12861 次阅读 | 2 条评论 | 0 次点赞 | 繁体

作为一个站长,你是不是对爬虫不胜其烦?爬虫天天来爬,速度又快,频率又高,服务器的大量资源被白白浪费。

看这篇文章的你有福了,我们今天一起来报复一下爬虫,直接把爬虫的服务器给干死机。

本文有一个前提:你已经知道某个请求是爬虫发来的了,你不满足于单单屏蔽对方,而是想搞死对方。

很多人的爬虫是使用 Requests 来写的,如果你阅读过 Requests 的文档,那么你可能在文档中的 Binary Response Content 这一小节,看到这样一句话:

The gzip and deflate transfer-encodings are automatically decoded for you.
(Request)会自动为你把gzip和deflate转码后的数据进行解码

网站服务器可能会使用 gzip 压缩一些大资源,这些资源在网络上传输的时候,是压缩后的二进制格式。客户端收到返回以后,如果发现返回的 Headers 里面有一个字段叫做 Content-Encoding,其中的值包含 gzip,那么客户端就会先使用 gzip 对数据进行解压,解压完成以后再把它呈现到客户端上面。浏览器自动就会做这个事情,用户是感知不到这个事情发生的。而 requests、Scrapy 这种网络请求库或者爬虫框架,也会帮你做这个事情,因此你不需要手动对网站返回的数据解压缩。

这个功能原本是一个方便开发者的功能,但我们可以利用这个功能来做报复爬虫的事情。

我们首先写一个客户端,来测试一下返回 gzip 压缩数据的方法。

我首先在硬盘上创建一个文本文件 text.txt,里面有两行内容,如下图所示:

图片alt

然后,用 gzip 命令把它压缩成一个 .gz 文件:

cat text.txt | gzip > data.gz

接下来,我们使用 FastAPI 写一个 HTTP 服务器 server.py:

from fastapi import FastAPI, Response
from fastapi.responses import FileResponse


app = FastAPI()


@app.get('/')
def index():
    resp = FileResponse('data.gz')
    return resp

然后使用命令 uvicorn server:app 启动这个服务。

接下来,我们使用 requests 来请求这个接口,会发现返回的数据是乱码,如下图所示:

图片alt

返回的数据是乱码,这是因为服务器没有告诉客户端,这个数据是 gzip 压缩的,因此客户端只有原样展示。由于压缩后的数据是二进制内容,强行转成字符串就会变成乱码。

现在,我们稍微修改一下 server.py 的代码,通过 Headers 告诉客户端,这个数据是经过 gzip 压缩的:

from fastapi import FastAPI, Response
from fastapi.responses import FileResponse


app = FastAPI()


@app.get('/')
def index():
    resp = FileResponse('data.gz')
    resp.headers['Content-Encoding'] = 'gzip'  # 说明这是gzip压缩的数据
    return resp

修改以后,重新启动服务器,再次使用 requests 请求,发现已经可以正常显示数据了:

图片alt

这个功能已经展示完了,那么我们怎么利用它呢?这就不得不提到压缩文件的原理了。

文件之所以能压缩,是因为里面有大量重复的元素,这些元素可以通过一种更简单的方式来表示。压缩的算法有很多种,其中最常见的一种方式,我们用一个例子来解释。假设有一个字符串,它长成下面这样:

1111111111111111
1111111111111111
1111111111111111
1111111111111111
1111111111111111
1111111111111111
1111111111111111
1111111111111111
1111111111111111
1111111111111111
1111111111111111
1111111111111111

我们可以用 5 个字符来表示:192 个 1。这就相当于把 192 个字符压缩成了 5 个字符,压缩率高达 97.4%。

如果我们可以把一个 1GB 的文件压缩成 1MB,那么对服务器来说,仅仅是返回了 1MB 的二进制数据,不会造成任何影响。但是对客户端或者爬虫来说,它拿到这个 1MB 的数据以后,就会在内存中把它还原成 1GB 的内容。这样一瞬间爬虫占用的内存就增大了 1GB。如果我们再进一步增大这个原始数据,那么很容易就可以把爬虫所在的服务器内存全部沾满,轻者服务器直接杀死爬虫进程,重则爬虫服务器直接死机。

你别以为这个压缩比听起来很夸张,其实我们使用很简单的一行命令就可以生成这样的压缩文件。

如果你用的是 Linux,那么请执行命令:

dd if=/dev/zero bs=1M count=1000 | gzip > boom.gz

如果你的电脑是 macOS,那么请执行命令:

dd if=/dev/zero bs=1048576 count=1000 | gzip > boom.gz

执行过程如下图所示:

图片alt

生成的这个 boom.gz 文件只有 995KB。但是如果我们使用 gzip -d boom.gz 对这个文件解压缩,就会发现生成了一个 1GB 的 boom 文件,如下图所示:

图片alt

只要大家把命令里面的 count=1000 改成一个更大的数字,就能得到更大的文件。

我现在把count改成10,给大家做一个演示(不敢用1GB的数据来做测试,害怕我的Jupyter崩溃)。生成的boom.gz文件只有10KB:

图片alt

服务器返回一个 10KB 的二进制数据,没有任何问题。

现在我们用 requests 去请求这个接口,然后查看一下 resp 这个对象占用的内存大小:

图片alt

可以看到,由于 requests 自动会对返回的数据解压缩,因此最终获得的 resp 对象竟然有 10MB 这么大。

如果大家想使用这个方法,一定要先确定这个请求是爬虫发的,再使用。否则被你干死的不是爬虫而是真实用户就麻烦了。

via:

https://mp.weixin.qq.com/s/Lzo6Pm09XsOqPkz3O91Mgg

Binary Response Content: https://2.python-requests.org/en/master/user/quickstart/#binary-response-content

网站gzip炸弹 – 王春伟的技术博客: http://da.dadaaierer.com/?p=577

标签: nginx骚操作网站爬虫安全

猜你喜欢
白嫖移动,联通,电信手机短信通知
无论在生活中或者工作中,对于一些比较紧急的事情,可能需要发送个通知!比如:自建的服务器突然宕机,如何自动发短信通知运维主管?后台服务日志大量报错如何第一时间发短信通知码农geigei?类似的情景...
Fail2Ban安装使用及常用配置教程
Fail2Ban安装使用教程因为作为一个 linux 入门级别的小白, 很多人都会把一些 web 面板(比如宝塔面板)作为自己管理 vps 的首选, 而当我一段时间登录宝塔面板之后, 有时就会看...
通用的检测到广告屏蔽插件进行弹窗提示实现方法
用的 js 方法来检测,按理说所有博客都能使用,就是在打开网页的时候进行一次判断。如果发现没有加载广告代码,就会出来一个弹窗来提示浏览者将本站加到广告拦截插件的白名单里面。别喷我,个人站长经营实...
如何找回微信已过期文件教程
现在基本人人都会使用微信,微信里面保存着很多文件。但是过段时间去看,你可能由于当时没有保存或者根本就没有点开过,微信文件名称显示红色,这表示已经过期了。难道我们要再问别人重发一遍吗?这可能会有点...
局域内网的服务器利用个人电脑做跳板机访问互联网
公司内网的服务器均不连公网(互联网),问题来了:现在服务器上需要安装一些软件怎么办?目前一般都是编译安装!先将软件在外网机器上下载好,然后再复制到服务器内,编译安装!这种方式缺点就是比较麻烦,编...
ssh-chat- SSH命令行下聊天摸鱼服务
ssh-chat 是一个使用 Go 语言编写的定制 SSH 服务器,当你连到该服务器时就会进入聊天模式,就好像以前的终端 BBS 系统一样。官方 Github: https://github.c...
Python小技巧之不用GUI,照样实现图形界面
小王平常的工作是做数据处理的,手中自然握有大量的数据,在日常工作中经常需要根据业务的需求提取相应的数据,有些需求是固定的,写好脚本之后只要定期提取数据就行了。但是,像我这么懒的人,这种工作怎么可...
据传宝塔面板后台会上传服务器上运行的网站信息
近期有网友根据 Github 上公开的源代码,发现宝塔面板会收集如下信息(信息真假自辩):(1)收集你所在服务器上的域名,并检查域名是否可用;(2)收集面板操作日志包括时间、用户ip、请求方式、...
python:Pandas里千万不能做的5件事
作为一个在进入数据分析领域之前干过开发的攻城狮,我看到我的同行以及新手在使用 Pandas 时会犯很多低级错误。 今天我说出这五个坑,让大家别一而再,再而三的掉坑里。 修复这些错误能让你的
typecho使用文件缓存加快打开速度
typecho 是一个伪静态的博客系统,如果不使用缓存,每次打开页面都会查询数据库,访问人数多了以后服务器压力倍增。 但是,typecho 是一个 php 的程序,我们可以利用 php 将实时页
python | 协程与多进程的完美结合
我们知道,协程本质上是单线程单进程,通过充分利用 IO 等待时间来实现高并发。在 IO 等待时间之外的代码,还是串行运行的。因此,如果协程非常多,多少每个协程内部的串行代码运行时间超过了 IO 请求的

已有 2 条评论

    ǝɔɐǝԀʎzɐɹϽ 2022-02-26 09:08回复

    请问,生成这个zip文件时,需要生成机器有足够大的内存空间吗?

      WangTwoThree管理2022-02-26 14:51回复

      不需要

(首次提交评论需审核通过才会显示,请勿重复提交)