前言

参考链接:

1 2 3

request是python爬虫的一个基本的库，功能十分齐全。
下面对一些常用的方法进行说明：
(response—-指接受返回的响应)

url:发送请求到链接.
params:携带的参数.
headers:头部信息.
Data:携带的json参数
cookie:用于网页认证,不要填错,单独添加.

1. requests.get(url, params,headers)

2. requests.post(url,data,headers)

3. requests.raise_for_satus
   如果状态码不是200,这个方法可以抛出异常

4. response.encoding
   返回信息的编码格式

5. response.apparent_encoding
   解析返回数据是什么编码格式,一般使用方式
   respons.encoding = response.apparent_encoding
   通常用在爬取中文的网页,防止乱码

6. respnse.json()

   获取返回回来的json数据

7. response.text
   获取返回回来的html文本信息

8. response.conent
   Html响应的二进制信息

常用方法

所有示例都是以Github官网为例

发送请求

发起GET请求;

1

r = requests.get('https://github.com/')

发起POST请求;

1

r = requests.post('https://github.com/',data = {'key':'value'})

其他 HTTP 请求类型：PUT，DELETE，HEAD 以及 OPTIONS

1
2
3
4

r = requests.put('https://github.com/', data = {'key':'value'}) 
r = requests.delete('https://github.com/delete') 
r = requests.head('https://github.com//get')
r = requests.options('https://github.com/get')

查看请求头

查看GET请求的响应头为例，POST请求同理：

1

r.request.headers

查看请求头的某一属性：(大小写不影响)

1
2

r.request.headers['Accept-Encoding']
r.request.headers.get('user-agent')

查看响应内容

查看服务器返回页面的内容，以查看GET请求的响应内容为例，POST请求同理：

1
2

r = requests.get('https://github.com/')
r.text

Requests 会自动解码来自服务器的内容。大多数 unicode 字符集都能被无缝地解码。

请求发出后，Requests 会基于 HTTP 头部对响应的编码作出有根据的推测。当你访问 r.text 之时，Requests 会使用其推测的文本编码。你可以找出 Requests 使用了什么编码，并且能够使用r.encoding 属性来改变它：

1
2
3

>>> r.encoding
'utf-8'
>>> r.encoding = 'ISO-8859-1'

二进制响应内容

你也能以字节的方式访问请求响应体，对于非文本请求：

1

>>> r.content

Requests 会自动为你解码 gzip 和 deflate 传输编码的响应数据。

例如，以请求返回的二进制数据创建一张图片，你可以使用如下代码：

1
2
3

>>> from PIL import Image
>>> from io import BytesIO
>>> i = Image.open(BytesIO(r.content))

传递GET请求参数

GET请求参数作为查询字符串附加在URL末尾，可以通过requests.get()方法中的params参数(dict类型变量)完成。例如，我要构建的URL为https://github.com/?username=jwt&id=1，则可以通过以下代码传递GET请求参数：

1
2
3
4

>>> args = {'username': 'jwt', 'id': 1}
>>> r = requests.get('https://github.com/', params = args)
>>> print(r.url)
https://github.com/?username=jwt&id=1