惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

cs.AI updates on arXiv.org
cs.AI updates on arXiv.org
L
LINUX DO - 最新话题
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
Forbes - Security
Forbes - Security
博客园 - 司徒正美
Hugging Face - Blog
Hugging Face - Blog
W
WeLiveSecurity
Jina AI
Jina AI
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
N
News and Events Feed by Topic
V
V2EX
Stack Overflow Blog
Stack Overflow Blog
Engineering at Meta
Engineering at Meta
PCI Perspectives
PCI Perspectives
Martin Fowler
Martin Fowler
T
The Exploit Database - CXSecurity.com
F
Full Disclosure
WordPress大学
WordPress大学
S
Security Affairs
K
KPMG report finds enterprise disconnect between AI and its ROI | CIO
S
SegmentFault 最新的问题
P
Privacy International News Feed
IT之家
IT之家
M
MIT News - Artificial intelligence
G
GRAHAM CLULEY
Hacker News: Ask HN
Hacker News: Ask HN
D
DataBreaches.Net
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
Google Online Security Blog
Google Online Security Blog
cs.CV updates on arXiv.org
cs.CV updates on arXiv.org
C
Check Point Blog
美团技术团队
Security Latest
Security Latest
Cyberwarzone
Cyberwarzone
N
News and Events Feed by Topic
MyScale Blog
MyScale Blog
H
Help Net Security
宝玉的分享
宝玉的分享
The Hacker News
The Hacker News
The Last Watchdog
The Last Watchdog
The Cloudflare Blog
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
爱范儿
爱范儿
cs.CL updates on arXiv.org
cs.CL updates on arXiv.org
I
Intezer
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
AI
AI
I
InfoQ
N
News | PayPal Newsroom
TaoSecurity Blog
TaoSecurity Blog

Jiajun的技术笔记

你好,2026! TiDB 源码阅读(六):TiDB Coprocessor 源码解析 性能优化的核心思想 TiDB 源码阅读(五):索引 TiDB 源码阅读(四):AST、逻辑计划、物理计划 CockroachDB Serverless Architecture podman 无故退出 Cursor Control-L (CTRL-L) Keyboard Shortcuts in Terminal Replace docker with podman Using xmonad with xfce4 A RC script for freebsd frpc 自己动手写一个k8s controller AI 会取代你的(编程)岗位吗? 自建DERP服务器提升Tailscale连接速度(使用Nginx转发) 自动升级Docker容器 再读《程序员修炼之道-从小工到专家》 让浏览器下载文件 再读《软件随想录》/《黑客与画家》/《软技能》 HTTP 压力测试中的 Coordinated Omission 2的补码 编程语言中的 context 是什么? flutter macOS 构建出错 Flatpak 使用小记 Golang CAS 操作是怎么实现的 PostgreSQL 当MQ来使用 Clash 结合 工作VPN 的网络设计 使用 PostgreSQL 搭建 JuiceFS PostgreSQL 配置优化和日志分析 有GitHub Copilot?那就可以搭建你的ChatGPT4服务 窗口函数的使用(以PG为例) 读《为什么学生不喜欢上学》 OpenAI Prompt Engineering 摘录和总结 读《打造真正的新产品》 VueJS 总结 Linux 自动挂载 alist 提供的webdav FreeBSD 使用 vm-bhyve 安装Debian虚拟机 FreeBSD 和 Linux 网卡聚合实现提速 GPT 帮我搞定了时区转换问题 长任务系统如何处理? macOS/Linux 编译 InputLeap 使用开源软KVM - synergy-core 解决 macOS 终端hostname一直变化问题 KVM 共享 Intel 集成显卡 PromQL 备忘 读《格鲁夫给经理人的第一课》 读《打开心智》 为什么要把复杂的联表操作拆成多个单表查询? 红包系统的设计 MySQL Index Condition Pushdown Optimization Go mod 简明教程 OpenWRT 使用 Android/iOS USB 网络 搭建旁路由 Golang gRPC 错误处理 编写可维护的单元测试代码 OAuth 2 详解(六):Authorization Code Flow with PKCE OAuth 2 详解(五):Device Authorization Flow OAuth 2 详解(三):Resource Owner Password Credentials Grant OAuth 2 详解(四):Client Credentials Flow OAuth 2 详解(二):Implict Grant Flow OAuth 2 详解(一):简介及 Authorization Code 模式 ElasticSearch 学习笔记 三种git流程以及发版模型 错误处理实践 权限模型(RBAC/ABAC) OIDC(OpenID Connect) 简介 任务队列简介 PostgreSQL 操作笔记 使用Drone CI构建CI/CD系统 Golang migrate 做数据库变更管理 使用PostgreSQL做搜索引擎 Nginx 源码阅读(三): 连接池、内存池 Nginx 源码阅读(二): 请求处理 Nginx 源码阅读(一): 启动流程 Go 泛型简明教程 KVM 显卡穿透给 Windows 使用 HTTP Router 处理 Telegram Bot 按钮回调 使用反射(reflect)对结构体赋值 GIN 是如何绑定参数的 你好 2022(2021 年终总结) 用Go导入大型CSV到PostgreSQL 使用 OpenWRT 搭建软路由 使用软KVM切换器 barrier 共享键鼠 SQL 防注入及原理 使用 gomock 测试 Go 代码 gevent不是黑魔法(二): gevent 实现 gevent不是黑魔法(一): greenlet 实现 用 entgo 替代 gorm 应用内使用crontab不是那么方便 单测时要不要 mock 数据库? Sentry 自建指南 用闲置的安卓手机做垃圾电话短信过滤 推荐三个时间管理工具 一次事故反思 当JS遇到uint64:JS整数溢出问题 SQLite3 存储以及ACID原理 Redis源码阅读:pub/sub实现 Redis源码阅读:zset实现 Redis源码阅读:bitmap 位图的运算 Redis源码阅读:set是怎么做交并集运算的? Redis源码阅读:list实现(ziplist, quicklist)
用selenium完成自动化任务
Jiajun Huang · 2021-08-19 · via Jiajun的技术笔记

Selenium 是一个控制浏览器的自动化软件,常常用来做自动化UI测试(浏览器端),既然可以代码控制, 那么就是自动化的一个好工具了。这一篇我们就来看看如何使用 Selenium 来搜索一下,由于 Selenium 打开一个全新的浏览器会话,我没有配置全局梯子,我们就以百度搜索为例。

安装

Selenium 一共支持5种语言: C#, JavaScript, Java, Python, Ruby。我以Python为例:

$ pip install selenium
...
$

这里我们就安装了语言所需要的部分,但是为了控制浏览器,我们还需要安装浏览器的相关驱动,Selenium 支持 Chrome, Firefox, Edge, Safari 四大浏览器,但是都要下载对应的 Driver 才行:

其余浏览器见 官网

驱动下载解压后,将可执行文件放到 PATH 里,我是直接放到 /usr/local/bin/chromedriver 这里。

简单示例

我们来看看如何进行搜索:

import logging
import time

from selenium import webdriver
from selenium.webdriver.chrome.options import Options


logging.basicConfig(level=logging.INFO)


DEBUG = True


def search_with_baidu(driver):
    driver.get("https://www.baidu.com")  # 打开页面

    input_text = driver.find_element_by_xpath('//*[@id="kw"]')  # 找到输入框
    click_to_search = driver.find_element_by_xpath('//*[@id="su"]')  # 找到搜索按钮

    input_text.send_keys("selenium tutorial")  # 输入内容
    click_to_search.click()  # 点击搜索


def search_baidu():
    if DEBUG:
        driver = webdriver.Chrome()
    else:
        chrome_options = Options()
        chrome_options.add_argument("--headless")
        # https://stackoverflow.com/questions/50642308/webdriverexception-unknown-error-devtoolsactiveport-file-doesnt-exist-while-t
        chrome_options.add_argument('--no-sandbox')
        chrome_options.add_argument('--disable-dev-shm-usage')
        driver = webdriver.Chrome(options=chrome_options)

    try:
        search_with_baidu(driver)
        time.sleep(10)
    except Exception:
        logging.exception("failed to search, sleep and retry...")
    finally:
        driver.close()
        driver.quit()


if __name__ == "__main__":
    search_baidu()

可以看到,大体的流程是:

  • 首先 driver = webdriver.Chrome() 获得一个driver
  • 之后就可以通过 driver 来进行各种浏览器操作,比如 find_element_by_xpath 来找到对应的元素
  • 获得的元素也可以进行各种操作,比如 send_keys, click
  • 最后通过 driver.close() 关闭页面,driver.quit() 退出会话

如果在本地执行,我们直接使用 driver = webdriver.Chrome(),如果想要在服务端运行, 那么就要使用 headless 模式来运行 Chrome,就是在启动的时候加上对应的参数即可。 区别在于,前者会弹出一个浏览器来,而后者是不需要图形界面就可以运行的,前者方便调试,后者方便在服务器上运行。

如果是使用 Selenium 来写UI自动化测试,那么还可以结合 Python 中的 unittest, pytest 等框架实现自动化测试。

API

接下来我们看看 Selenium 都有哪些 API 可以供我们操作。

浏览器相关操作

  • driver.get("https://selenium.dev") 打开页面
  • driver.current_url 获取当前页面
  • driver.back() 返回上一页
  • driver.forward() 前进一页(相当于点击浏览器的前进)
  • driver.refresh() 刷新页面
  • driver.title 获取当前页面标题
  • driver.close() 关闭当前页面
  • driver.switch_to.window(original_window) 切换窗口(Selenium 不区分Window和Tab)
  • driver.quit() 退出浏览器,请记得一定要执行这个,否则就进程泄漏了
  • width = driver.get_window_size().get("width")height = driver.get_window_size().get("height") 获取窗口大小
  • driver.set_window_size(1024, 768) 设置窗口大小
  • driver.maximize_window()driver.minimize_window() 最大化和最小化窗口
  • driver.fullscreen_window() 全屏,相当于按F11
  • driver.save_screenshot('./image.png') 截屏保存
  • ele = driver.find_element(By.CSS_SELECTOR, 'h1') + ele.screenshot('./image.png') 找到某个元素并且截屏
  • driver.execute_script('return arguments[0].innerText', header) 执行脚本

元素定位操作

# 查找单个元素
find_element_by_id
find_element_by_name
find_element_by_xpath
find_element_by_link_text
find_element_by_partial_link_text
find_element_by_tag_name
find_element_by_class_name
find_element_by_css_selector

# 查找多个元素
find_elements_by_name
find_elements_by_xpath
find_elements_by_link_text
find_elements_by_partial_link_text
find_elements_by_tag_name
find_elements_by_class_name
find_elements_by_css_selector

输入输出操作

  • element.send_keys() 输入
  • element.clear() 清除输入
  • key_down()key_up() 分别是模拟按下某个键和放开某个键的过程,例如按下Shift然后松开:

    search = driver.find_element(By.NAME, "q")
    
    action = webdriver.ActionChains(driver)
    
    # Enters text "qwerty" with keyDown SHIFT key and after keyUp SHIFT key (QWERTYqwerty)
    action.key_down(Keys.SHIFT).send_keys_to_element(search, "qwerty").key_up(Keys.SHIFT).send_keys("qwerty").perform()
    

这样就会输出 QWERTY 而不是 qwerty。

其余操作

除了上述常见操作之外,Selenium 还支持很多其它操作,例如执行js脚本, 等待元素加载,设置代理等,详情查看 文档

总结

这篇文章我们看了一下 Selenium 这个工具的大概用法,了解了之后,就可以借助 Selenium 做很多事情了,比如 常规点的,自动化测试,比如不太常规的,签到,打卡等等。。。

好了,以上就是本篇内容。


ref: