发表于|更新于|python
|总字数:434|阅读时长:2分钟|浏览量:|
1.登录清博大数据网站（http://www.gsdata.cn/）（想采集微信文章的可以来这里）
1
2
3
4
5
6
7
8
9
10
11
12
13
| import requests
import json
conn = requests.session()
# 登录
url = 'http://www.gsdata.cn/member/login'
postdata = {
'username': '******',
'password': '******'
}
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.26 Safari/537.36 Core/1.63.5733.400 QQBrowser/10.2.2019.400'}
rep = conn.post(url, data=postdata, headers=headers)
|
2.采集文章
输入关键词后，会在本页面返回文章条数，然后我是正常post数据，没有任何结果，然后网上也查不到问题。
原代码：
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
| ajax_header = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.26 Safari/537.36 Core/1.63.5733.400 QQBrowser/10.2.2019.400'}
# 搜索
arcsearch = 'http://www.gsdata.cn/tool/ajaxarccount'
searchdata = {
'keyword': '人工智能',
'copyright': 0,
'title': '标题',
'content': '摘要',
'wx': '微信号',
'startTime': '2018-01-01',
'endTime': '2018-01-31',
}
search = conn.post(arcsearch, data=searchdata, headers=ajax_header)
print(search.json())
|
然后我发现它与静态网页头部Request Headers多出了X-Requested-With
所以我在头部也加了'X-Requested-With': 'XMLHttpRequest'
代码：
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
| ajax_header = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.26 Safari/537.36 Core/1.63.5733.400 QQBrowser/10.2.2019.400',
'X-Requested-With': 'XMLHttpRequest'}
# 搜索
arcsearch = 'http://www.gsdata.cn/tool/ajaxarccount'
searchdata = {
'keyword': '人工智能',
'copyright': 0,
'title': '标题',
'content': '摘要',
'wx': '微信号',
'startTime': '2018-01-01',
'endTime': '2018-01-31',
}
search = conn.post(arcsearch, data=searchdata, headers=ajax_header)
print(search.json())
|
结果
