慣性聚合 高效追蹤和閱讀你感興趣的部落格、新聞、科技資訊
閱讀原文 在慣性聚合中打開

推薦訂閱源

博客园 - 司徒正美
V
V2EX
T
Tailwind CSS Blog
有赞技术团队
有赞技术团队
aimingoo的专栏
aimingoo的专栏
Apple Machine Learning Research
Apple Machine Learning Research
IT之家
IT之家
Blog — PlanetScale
Blog — PlanetScale
A
About on SuperTechFans
月光博客
月光博客
T
The Blog of Author Tim Ferriss
宝玉的分享
宝玉的分享
Martin Fowler
Martin Fowler
博客园 - 聂微东
The GitHub Blog
The GitHub Blog
V
Visual Studio Blog
WordPress大学
WordPress大学
酷 壳 – CoolShell
酷 壳 – CoolShell
Engineering at Meta
Engineering at Meta
GbyAI
GbyAI

阮一峰的网络日志

科技爱好者周刊(第 396 期):互联网通信的替代方案 科技爱好者周刊(第 396 期):互联网通信的替代方案 - 阮一峰的网络日志 科技爱好者周刊(第 395 期):软件开发的第三种方式 科技爱好者周刊(第 395 期):软件开发的第三种方式 - 阮一峰的网络日志 科技爱好者周刊(第 393 期):脑腐状态 科技爱好者周刊(第 392 期):axios 投毒与好莱坞式骗术 科技爱好者周刊(第 391 期):AI 的贫富分化 科技爱好者周刊(第 390 期):没有语料,大模型就是智障 套壳中国大模型撑起500亿美元估值?扒一扒 Cursor 的"套壳"疑云 科技爱好者周刊(第 389 期):未来如何招聘程序员 科技爱好者周刊(第 388 期):测试是新的护城河 零安装的"云养虾":ArkClaw 使用指南 科技爱好者周刊(第 387 期):你是领先的 科技爱好者周刊(第 386 期):当外卖员接入 AI 字节全家桶 Seed 2.0 + TRAE 玩转 Skill 科技爱好者周刊(第 385 期):马斯克害怕中国车企吗? 智谱旗舰 GLM-5 实测:对比 Opus 4.6 和 GPT-5.3-Codex 科技爱好者周刊(第 384 期):为什么软件股下跌 科技爱好者周刊(第 383 期):你是第几级 AI 编程 Kimi 的一体化,Manus 的分层 科技爱好者周刊(第 382 期):独立软件的黄昏 AI native Workspace 也许是智能体的下一阶段 科技爱好者周刊(第 381 期):中国 AI 大模型领导者在想什么 科技爱好者周刊(第 380 期):为什么人们拥抱"不对称收益" 科技爱好者周刊(第 379 期):《硅谷钢铁侠》摘录 我如何用 AI 处理历史遗留代码:MiniMax M2.1 升级体验 科技爱好者周刊(第 378 期):预测是新的互联网热点 科技爱好者周刊(第 377 期):14万美元的贫困线 科技爱好者周刊(第 376 期):太空数据中心的争议 科技爱好者周刊(第 375 期):一扇门的 Bug 终于有人做了 Subagent,TRAE 国内版 SOLO 模式来了 科技爱好者周刊(第 374 期):6GHz 的问题 VS Code 使用国产大模型 MiniMax M2 教程 科技爱好者周刊(第 373 期):数据模型是新产品的核心 国产大模型接入 Claude Code 教程:以 Doubao-Seed-Code 为例 科技爱好者周刊(第 372 期):软件界面如何设计 大模型比拼:MiniMax M2 vs GLM 4.6 vs Claude Sonnet 4.5 科技爱好者周刊(第 371 期):一个乐观主义者的专访 科技爱好者周刊(第 370 期):正确的代码高亮 错误处理:异常好于状态码 科技爱好者周刊(第 369 期):Tim 与罗永浩的对谈 科技爱好者周刊(第 368 期):不要这样管理软件团队 一天之内,智谱和 Anthropic 都发了最强编程模型 科技爱好者周刊(第 367 期):Nano Banana 的几个妙用 科技爱好者周刊(第 366 期):旧金山疯狂的 AI 广告 科技爱好者周刊(第 365 期):流量变现正在崩塌 科技爱好者周刊(第 364 期):最难还原的魔方 科技爱好者周刊(第 363 期):最好懂的神经网络解释 科技爱好者周刊(第 362 期):GitHub 工程师谈系统设计 科技爱好者周刊(第 361 期):暗网 Tor 安全吗?
Python 異步編程入門
阮一峰 · 2019-11-21 · via 阮一峰的网络日志

本文是寫給 JavaScript 程序員的 Python 教程。

Python 的異步編程,其他人可能覺得很難,但是 JavaScript 程序員應該特別容易理解,因為兩者的概念和語法類似。JavaScript 的異步模型更簡單直觀,很適合作為學習 Python 異步的基礎。

本文解釋 Python 的異步模塊 asyncio 的概念和基本用法,並且演示如何通過 Python 腳本操作無頭瀏覽器 pyppeteer

一、Python 異步編程的由來

歷史上,Python 並不支持專門的異步編程語法,因為不需要。

有了多線程(threading)和多進程(multiprocessing,就沒必要一定支持異步了。如果一個線程(或進程)阻塞,新建其他線程(或進程)就可以了,程序不會卡死。

但是,多線程有"線程競爭"的問題,處理起來很複雜,還涉及加鎖。對於簡單的異步任務來說(比如與網頁互動),寫起來很麻煩。

Python 3.4 引入了 asyncio 模塊,增加了異步編程,跟 JavaScript 的async/await 極為類似,大大方便了異步任務的處理。它受到了開發者的歡迎,成為從 Python 2 升級到 Python 3 的主要理由之一。

二、asyncio 的設計

asyncio 模塊最大特點就是,只存在一個線程,跟 JavaScript 一樣。

由於只有一個線程,就不可能多個任務同時運行。asyncio 是"多任務合作"模式(cooperative multitasking),允許異步任務交出執行權給其他任務,等到其他任務完成,再收回執行權繼續往下執行,這跟 JavaScript 也是一樣的。

由於代碼的執行權在多個任務之間交換,所以看上去好像多個任務同時運行,其實底層只有一個線程,多個任務分享運行時間。

表面上,這是一個不合理的設計,明明有多線程多進程的能力,為什麼放著多餘的 CPU 核心不用,而只用一個線程呢?但是就像前面說的,單線程簡化了很多問題,使得代碼邏輯變得簡單,寫法符合直覺。

asyncio 模塊在單線程上啟動一個事件循環(event loop),時刻監聽新進入循環的事件,加以處理,並不斷重複這個過程,直到異步任務結束。事件循環的內部機制,可以參考 JavaScript 的模型,兩者是一樣的。

三、asyncio API

下面介紹 asyncio 模塊最主要的幾個API。注意,必須使用 Python 3.7 或更高版本,早期的語法已經變了。

第一步,import 加載 asyncio 模塊。


import asyncio

第二步,函數前面加上 async 關鍵字,就變成了 async 函數。這種函數最大特點是執行可以暫停,交出執行權。


async def main():

第三步,在 async 函數內部的異步任務前面,加上await命令。


await asyncio.sleep(1)

上面代碼中,asyncio.sleep(1) 方法可以生成一個異步任務,休眠1秒鐘然後結束。

執行引擎遇到await命令,就會在異步任務開始執行之後,暫停當前 async 函數的執行,把執行權交給其他任務。等到異步任務結束,再把執行權交回 async 函數,繼續往下執行。

第四步,async.run() 方法加載 async 函數,啟動事件循環。


asyncio.run(main())

上面代碼中,asyncio.run() 在事件循環上監聽 async 函數main的執行。等到 main 執行完了,事件循環才會終止。

四、async 函數的示例

下面是 async 函數的例子,新建一個腳本async.py,代碼如下。


#!/usr/bin/env python3
# async.py

import asyncio

async def count():
    print("One")
    await asyncio.sleep(1)
    print("Two")

async def main():
    await asyncio.gather(count(), count(), count())

asyncio.run(main())

上面腳本中,在 async 函數main的裡面,asyncio.gather() 方法將多個異步任務(三個 count())包裝成一個新的異步任務,必須等到內部的多個異步任務都執行結束,這個新的異步任務才會結束。

腳本的運行結果如下。


$ python3 async.py
One
One
One
Two
Two
Two

上面運行結果的原因是,三個 count() 依次執行,打印完 One,就休眠1秒鐘,把執行權交給下一個 count(),所以先連續打印出三個 One。等到1秒鐘休眠結束,執行權重新交回第一個 count(),開始執行 await 命令下一行的語句,所以會接著打印出三個Two。腳本總的運行時間是1秒。

作為對比,下面是這個例子的同步版本 sync.py


#!/usr/bin/env python3
# sync.py

import time

def count():
    print("One")
    time.sleep(1)
    print("Two")

def main():
    for _ in range(3):
        count()

main()

上面腳本的運行結果如下。


$ python3 sync.py 
One
Two
One
Two
One
Two

上面運行結果的原因是,三個 count() 都是同步執行,必須等到前一個執行完,才能執行後一個。腳本總的運行時間是3秒。

五、實例:pyppeteer 模塊

最後是一個異步編程的真實例子:操作無頭瀏覽器。異步編程對代碼的簡化,在這個例子體現得淋漓盡致。

我們需要用到 pyppeteer 模塊,它是無頭瀏覽器 Puppeteer 的 Python 移植,API 跟 JavaScript 版本基本一致。下面是安裝命令。


$ python3 -m pip install pyppeteer

然後,寫一個網頁截圖腳本screenshot.py


#!/usr/bin/env python3
# screenshot.py

import asyncio
from pyppeteer import launch

async def main():
    browser = await launch()
    page = await browser.newPage()
    await page.goto('http://example.com')
    await page.screenshot({'path': 'example.png'})
    await browser.close()

asyncio.run(main())

上面代碼中,啟動瀏覽器(launch)、打開新 Tab(newPage())、訪問網址(page.goto())、截圖(page.screenshot())、關閉瀏覽器(browser.close()),這一系列操作都是異步任務,使用 await 命令寫起來非常自然簡單。

執行這個腳本,當前目錄下就會生成截圖文件 example.png


$ python3 screenshot.py

如果腳本執行時報錯 No usable sandbox!,可以參考這裡。另外,第一次執行這個腳本,會下載安裝 Puppeteer,可能需要等待較長時間,但是此後的執行就會很快。

Pyppeteer 的官網還有其他實例,比如向網頁注入 JavaScript 代碼,大家可以自己試玩。

六、參考鏈接

(正文完)

如何通過實戰項目快速提升 Python 開發技能?

Python 是當下最火的編程語言,房地產大佬潘石屹都說要學。

它上手極為簡單,短時間內你就能寫出解決實際問題的小程序,甚至去面試初級 Python 工程師的職位。

不過,要寫出更復雜的應用,或者從事數據分析、機器學習、Web 開發等工作,就需要正規系統的學習了。建議從一個簡單的小項目開始,然後不斷完善功能,去學習更多新東西。

  • 第一步:寫一個最簡單的爬蟲,比如獲取 B 站的彈幕或豆瓣的書評影評。
  • 第二步:單線程爬蟲擴展為多線程爬蟲,瞭解進程、線程、鎖。
  • 第三步:對收集的數據進行清洗和分析。
  • 第四步:將數據報告在 Web 端展示,瞭解 MVC 設計模式、Web 框架、數據庫操作。

完成以上四步,就從一個初級 Python 使用者成長為一名熟練工了。當然說起來簡單,真正實踐起來並不容易。每一步都會有比較多的坑,對於沒有經驗的人來說,自學效率比較低。如果有一個經驗豐富的老師帶,效果會好很多。

尹會生,金山公司西山居運維總監,在極客時間講過《零基礎學Python》和《Linux實戰技能100講》兩個課程,參與編寫過 《白話大數據與機器學習》 《運維前線》等書籍。

他與極客時間合作,推出了線下+線上相結合的《Python 進階訓練營》,手把手、面對面地幫助你,50天內實現 Python 開發技能的進階和突破,完成上面四步,從初級使用者成長為專業選手。

  • 4 個實戰項目串聯起全部關鍵知識
  • 4 天線下教學 + 5 次線上直播 + 7 周刻意練習 + 助教每日答疑
  • 高效學習社群 + 班主任帶班
  • 一線大廠和 TGO 鯤鵬會600多家企業面試直通車。優秀畢業生一年內獲得兩次企業內推服務。

原價 ¥3600, 早鳥特惠 ¥2499,早鳥僅限 100 人 ,微信掃描下方二維碼,立即加入????

無論是否報名,微信掃描下方二維碼,即可免費獲取 Python 學習資料包。

(完)