python爬虫模块有两种比较常见，第一种为urllib模块，第二种为requests模块。urllib模块比较恶心，需要手动处理url编码、post请求参数等，requests模块出现后，就快速的代替了urllib模块。

　　但凡编程用到的模块或者框架都有其官方文档，但是官方文档往往看起来吃力或者写的逻辑比较反人类，但是requests文档比较易懂，完全可以看文档来学习操作。

　　参考官网：http://2.python-requests.org/zh_CN/latest/user/quickstart.html。

　　requests安装：

　　pip install requests

　　requests常用的操作介绍(后面逐一实战应用):

　　第一、post基本请求参数和响应：

　　1、url：页面的url链接

　　2、data:字典格式，请求体(表单提交的数据)。通过&符号连接。浏览器中显示form data

　　3、cookies：字典格式(可以直接写在headers头里)

　　4、headers：字典格式，请求头

　　5、json:字符串类型,长相是字典，请求体。直接发字符串。json.dumps(dict): 浏览器中显示 payload

　　6、files:上传文件参数

　　7、响应数据：文本数据response.text、原始套接字数据response.raw、二进制数据response.content

　　第二、get基本请求参数和响应：

　　1、url：页面的url链接

　　2、params:字典格式，url传参

　　3、cookies：字典格式(可以直接写在headers头里)

　　4、headers：字典格式，请求头

　　5、响应数据：文本数据response.text、原始套接字数据response.raw、二进制数据response.content

　　第三、其他常用参数

　　身份认证： HTTP Basic Auth较为常见，auth=HTTPBasicAuth('user', 'pass')

　　proxies:字典类型，设定访问代理服务器，可以增加登陆认证

　　allow_redirects:True/False，默认为True，重定向开关

　　stream:True/False,默认为True,获取内容立即下载开关,下载大文件用

　　verify:True/False,默认为True，认证SSL证书开关

　　cert：本地SSL证书路径

很赞哦！

python编程网提示：转载请注明来源www.python66.com。
有宝贵意见可添加站长微信(底部)，获取技术资料请到公众号(底部)。同行交流请加群