惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

美团技术团队
Blog — PlanetScale
Blog — PlanetScale
阮一峰的网络日志
阮一峰的网络日志
M
MIT News - Artificial intelligence
月光博客
月光博客
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
U
Unit 42
博客园_首页
WordPress大学
WordPress大学
H
Hackread – Cybersecurity News, Data Breaches, AI and More
J
Java Code Geeks
F
Fortinet All Blogs
腾讯CDC
罗磊的独立博客
IT之家
IT之家
I
InfoQ
V
V2EX
博客园 - 叶小钗
A
About on SuperTechFans
Y
Y Combinator Blog
C
Check Point Blog
量子位
Martin Fowler
Martin Fowler
Vercel News
Vercel News

老董笔记

尚硅谷机构在哪?尚硅谷培训怎么样?靠谱吗-互联网IT百科 韩顺平介绍,传智讲师,开办泰牛,入尚硅谷等一系列-互联网IT百科 pandas多重索引标准样式(写入excel有空行)-互联网IT百科 cannot join with no overlapping index names-互联网IT百科 pandas多列变多行(即宽表变长表)melt和stack函数-互联网IT百科 pandas多行转多列(长表变宽表)pivot和unstack-互联网IT百科 Index contains duplicate entries, cannot reshape完美解决-互联网IT百科 single positional indexer is out-of-bounds-互联网IT百科 Can only compare identically-labeled Series objects-互联网IT百科 pandas transform用法详解(多个案例)-互联网IT百科 python四舍五入精确实现-互联网IT百科 pandas的groupby使用apply分组排序-互联网IT百科 index 0 is out of bounds for axis 0 with size 0-互联网IT百科 pandas分组过滤filter函数-互联网IT百科 联想Win10系统如何禁用触摸屏关闭触摸-互联网IT百科 groupby分组计算transform转换返回相同长度序列-互联网IT百科 brooks seo教程python教程,brooks seo教程网盘,布鲁seo资源-互联网IT百科 电脑右键文件夹一直转圈电卡死怎么回事-互联网IT百科 施琪嘉的心理成长课(荐)-互联网IT百科 百度SEO公司_SEO推广公司哪家好_SEO外包服务如何选-老董笔记 groupby后agg同1列用多个聚合函数、不同列用不同函数、自定义函数-互联网IT百科 pandas的groupby单列多列分组聚合运算-互联网IT百科 DataFrameGroupBy对象及分组个数、分组大小、组名索引、组数据详解-互联网IT百科 pandas中groupby之Grouper and axis must be same length-互联网IT百科 pandas中groupby的分组原理-互联网IT百科 pandas的groupby的使用详解大全-互联网IT百科 openpyxl单元格自动换行强制换行Alignment(wrapText=True)-互联网IT百科 python教程全套(可就业)-互联网IT百科 联想win10系统CPU显示100%,电脑呼呼响怎么回事-互联网IT百科 如何自制CPU,CPU原理是怎么样的?-互联网IT百科
selenium不重启更改代理ip(使用隧道代理)-互联网IT百科
2021-10-21 · via 老董笔记

  selenium添加代理ip非常简单,直接这样即可:

	  options.add_argument('--proxy-server=http://ip:port') # 代理IP:端口

  用这个driver请求任何网页都将使用这个代理ip地址。但是我们用selenium采集数据的时候需要切换ip,如果切换ip就得重启1个driver添加代理ip,如果请求成千上万的页面反复重启driver显然是不合适的。那么selenium如何可以不用切换就使用代理ip呢?

  我目前只想到了一种方法:购买隧道代理(或者叫动态转发)。隧道代理是动态IP代理服务器,将换IP操作放到云端,用户在代码层面不用去请求获取代理ip再添加代理ip,而是直接用代理隧道这个ip和端口即可。隧道代理会将请求转发到不同的代理IP,转发周期可以按需指定,具体看代理商的套餐。

  买1个隧道代理,然后把隧道代理的ip和端口添加到1个driver,这样一来我们请求任何网页,代理商那边会自动帮我们进行动态转发来实现换ip。

options.add_argument('--proxy-server=http://tunnelhost:tunnelport')  # 隧道域名:端口号

  PS:如果隧道代理需要进行HTTP Basic Auth身份认证,那么selenium起来使用较为复杂(温馨提示:需要借助add_extension的方式来实现),具体可以加站长微信咨询(站长每日耕田,如果回复慢的花直接砸个红包提醒)。

很赞哦!

python编程网提示:转载请注明来源www.python66.com。
有宝贵意见可添加站长微信(底部),获取技术资料请到公众号(底部)。同行交流请加群 python学习会