惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

V
V2EX
C
Check Point Blog
博客园_首页
B
Blog
D
Docker
U
Unit 42
量子位
I
InfoQ
有赞技术团队
有赞技术团队
Martin Fowler
Martin Fowler
GbyAI
GbyAI
L
LangChain Blog
云风的 BLOG
云风的 BLOG
博客园 - Franky
美团技术团队
T
The Blog of Author Tim Ferriss
阮一峰的网络日志
阮一峰的网络日志
月光博客
月光博客
Vercel News
Vercel News
Recent Announcements
Recent Announcements
雷峰网
雷峰网
大猫的无限游戏
大猫的无限游戏
小众软件
小众软件
Google DeepMind News
Google DeepMind News

博客园 - 乱炖er

CSS/CSS3 Format/Optimize/Minify Tool 在线处理工具 android重复点击问题 macOS下生成pdf报错:No wkhtmltopdf executable found 错误:为 repo 'appstream' 下载元数据失败 : Cannot prepare internal mirrorlist: No URLs in mirrorlist fatal: unable to access 'https://github.com/xxx/': HTTP/2 stream 1 was not closed cleanly before end of the underlying stream Lombok requires enabled annotation processing: Do you want to enable annotation processors? visual studio code的markdown生成侧边栏目录 SpringBoot @Column SpringBoot2.6+单元测试 IDEA中SpringBoot热部署 Error: Another program is already listening on a port that one of our HTTP servers is configured to use. Shut this program down first before starting supervisord android studio右侧Gradle不显示Tasks PyCharm OSError: [Errno 48] Address already in use [Swift]扩展UIColor:实现十六进制颜色字符串与UIColor之间的相互转换 photoshop将png图片里的文字改成其他颜色 python json.dumps 中文编码问题 java.lang.RuntimeException: A TaskDescription's primary color should be opaque item2使用pem文件登陆 腾讯云服务器ssh登陆频繁断开链接的解决方案
Python爬虫'utf-8' codec can't decode byte 0xx...
乱炖er · 2023-02-15 · via 博客园 - 乱炖er

Python抓取数据时,如果header添加了

accept_encoding = 'gzip, deflate, br'

无论如何转码都会出现 'utf-8' codec can't decode byte 0xxx in position 1: invalid start byte 的错误

只需将 accept_encoding = '' 设置为空即可

原因:

本地接收压缩格式的数据,服务器传过来压缩格式gzip的文件,而解压这种gzip文件只能用deflate算法,浏览器能够自动解压,程序却不能自动解压gzip,需要额外进行设置才行。