惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

宝玉的分享
宝玉的分享
NISL@THU
NISL@THU
E
Exploit-DB.com RSS Feed
L
LINUX DO - 热门话题
L
Lohrmann on Cybersecurity
K
Kaspersky official blog
Project Zero
Project Zero
Cisco Talos Blog
Cisco Talos Blog
T
The Exploit Database - CXSecurity.com
P
Palo Alto Networks Blog
C
CXSECURITY Database RSS Feed - CXSecurity.com
T
Threatpost
S
Schneier on Security
G
GRAHAM CLULEY
The Hacker News
The Hacker News
T
Threat Research - Cisco Blogs
Scott Helme
Scott Helme
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
P
Privacy & Cybersecurity Law Blog
C
Cyber Attacks, Cyber Crime and Cyber Security
Cyberwarzone
Cyberwarzone
C
CERT Recently Published Vulnerability Notes
T
Tor Project blog
AWS News Blog
AWS News Blog
Simon Willison's Weblog
Simon Willison's Weblog
cs.CL updates on arXiv.org
cs.CL updates on arXiv.org
爱范儿
爱范儿
P
Privacy International News Feed
云风的 BLOG
云风的 BLOG
P
Proofpoint News Feed
S
Securelist
G
Google Developers Blog
The Last Watchdog
The Last Watchdog
Google Online Security Blog
Google Online Security Blog
美团技术团队
F
Fortinet All Blogs
小众软件
小众软件
Recorded Future
Recorded Future
V
Visual Studio Blog
B
Blog RSS Feed
H
Help Net Security
CTFtime.org: upcoming CTF events
CTFtime.org: upcoming CTF events
Google DeepMind News
Google DeepMind News
Blog — PlanetScale
Blog — PlanetScale
博客园 - 聂微东
Stack Overflow Blog
Stack Overflow Blog
Martin Fowler
Martin Fowler
Latest news
Latest news
Spread Privacy
Spread Privacy
H
Heimdal Security Blog

Nic Lin's Blog

謝明真 - 高效領導力的課後筆記 NFT 開發實戰!基礎智能合約入門 (3) NFT 開發實戰!基礎智能合約入門 (2) NFT 開發實戰!基礎智能合約入門 (1) 如何自我檢測 log4j CVE 漏洞 Rails 如何在資料寫入時記錄來源 IP 位置 如何經營工程師 Youtube 頻道 - Part 8 營收篇 如何經營工程師 Youtube 頻道 - Part 7 酸民文化篇 如何經營工程師 Youtube 頻道 - Part 5 設備器材篇 如何經營工程師 Youtube 頻道 - Part 4 後製剪輯篇 如何經營工程師 Youtube 頻道 - Part 3 文案企劃篇 如何經營工程師 Youtube 頻道 - Part 2 設備器材篇 如何經營工程師 Youtube 頻道 - Part 1 制訂頻道方向篇 如何經營工程師 Youtube 頻道 - Part 0 Rails 中避免 race condition 的最佳實踐(二) 10 分鐘整合 google sheet 做自動化開發功能週報 經營 Side Project 300 天所帶來的收穫及挑戰 我的 Youtube 影片製作流程 API 設計時必須注意的 HTTP header 底線問題 如何提升你的程式可讀性之實務技巧(三) 如何提升你的程式可讀性之實務技巧(二) 如何提升你的程式可讀性之實務技巧(一) Ruby 中使用 freeze 優化效能的時機 避免 React 中的 useEffect 無限 render 在 Rails 內輕量使用 Vue Component 的最佳實踐 如何在區域網路用 Docker 架設有 SSL 的 Gitlab 從被問到問人,那些我常問的面試問題 [Rails] 如何漂亮寫出可維護的 query (Maintainable Rails Query) 在已知長度情況下優化 slice 的性能 [ReactNative] 如何在 iOS APP 上主動要求用戶評分 Rails 的 scope 為什麼用 lambda? Proc 與 lambda 不同之處 淺談 Active Record 的 Lazy load 特性 Rails 專案搭配 Github Actions 進行 RSpec 自動化測試 JavaScript 中 require, import 的差別及效能 React 效能優化基本招 ES6 箭頭函式 (Arrow functions) 2 個月擁有 6000 用戶 Side project 這樣做(一) 如何讓自己成為失敗的軟體工程師 如何用 Rack::Attack 阻擋 DDOS / 惡意流量 用 OpenSSL 自簽開發用 HTTPS SSL 憑證 為機器加上登入訊息,在 ubuntu 設置登入歡迎詞 Ruby Memoization 性能優化之記憶化 淺談 SSH agent forwarding 和 proxy command 的安全風險與應用 [Rails] Service / Library / Concern 的差異 避免過度的 Defensive Programming 防禦性程式設計 1:1 攪亂器,如何用 Ruby 做可逆推序號 Rails 中的欄位及方法命名原則 [Rails] 用 puma-dev 作為本地開發伺服器 (支援 https 自簽憑證) 將 Rails 專案從手動部屬遷移使用 Capistrano 自動化部屬 工程師提昇自己的教學和簡報技術的方法 [筆記] Rails 3.2 升級 Rails 6.beta 經驗分享 Class method 氾濫帶來什麼問題 RDBMS 課程心得與筆記 常用的 Rails 開發規範 Rest-Client 如何做 Basic Authentication 驗證 [Rails] 何為 tld_lebgth? 遵循 Semantic Versioning 軟體開發語意化版本管理 請直接在 MySQL 裡面直接用 utf8mb4 取代 utf8 如何解決在 awesome print 中遇到 ActionController::Parameters unable to convert unpermitted 如何在 Mac 上升級 PostgreSQL 並遷移資料 如何解決 Mysql2::Error: Incorrect string value 讀書心得 - 「信任因子:信任如何影響大腦運作、激勵員工、達到組織目標」 我是如何寫部落格筆記的 讀書心得 - 「先問,為什麼?:顛覆慣性思考的黃金圈理論,啟動你的感召領導力」 [Rails] 解決 Reset Password 帶來的 token 洩漏問題 我的軟體工程師生涯:如何挑選適合你的公司 Rails 中的 delegate 用法 淺述 SSR SPA 優缺點 Rails 非同步工作請用 Global ID [React] Class Component 傳遞 props 的 2 種方式 好用的隱私權政策 URL 自動生成 Rails 5.1 之後的 tag helper Rails 5.2 Encrypted Credentials 最近面試被給的建議和書單 一般架構需要用到 K8S 嗎 透過 commit SHA 找 github Pull request 從零搭建,如何讓 Rails 跑在 Kubernetes(k8s)(二) 從零搭建,如何讓 Rails 跑在 Kubernetes(k8s)(一) React Stateless Functional Components 搞懂 React 中的 state 和 props 物件導向基本原則 SOLID (Ruby Sample) 在以太坊智能合約上是可以預測隨機數的 在台灣租屋必須注意的事 Rails 5 簡單雙向加解密 如何用 ABA 培養自律型員工 不要在 rake task 中定義 method, 請用 RAKE::DSL rails 非hash只想用array輸出page 如何處理陣列裡有重複的值 [Rails] 如何重設你的專案名稱 Ruby on Rails install on Mac 安裝步驟 使用 Friendly_id 與 Babosa 美化你的Rails 網址 Junior Rails 兩個月實戰心得 Devise使用Google實作登入 [iterm2] 如何新增alias 一個新鮮人找尋Rails工作的面試經驗 如何讓兩個資料表建立關聯 routing 的 namespace strong parameter user story 的格式 user story 是什麼?
Rails 中避免 race condition 的最佳實踐(一)
Nic Lin · 2020-09-11 · via Nic Lin's Blog

在開發上會遇到 code 對 database 處理 concurrency 所帶來的問題,而這些問題隨著商業邏輯逐漸壯大會更容易遇到。

當兩個用戶從資料中判斷同一個數值且同時進行更新,在沒有並行控制的情況下,其更新結果依照兩個操作的執行順序與時機決定,那麼數據的完整性將會受到損害,尤其在處理貨幣及存貨時更要注意。

其關鍵點就是

2 個 process 同時運行,同時進入關鍵部分引發的錯誤

而 Race condition 帶來的資料錯誤,影響層面視商業邏輯,其結果可大可小

    • 今天要賣 10 本書,結果不小心超賣變成 12 本,少 2 本可以出貨,就看用戶能不能等或是退錢
    • 今天要取消訂單,歸還鎖定的餘額,結果退了 2 次,用戶餘額直接無中生有多出一筆錢,並且提領走人,造成商業上的真金白銀損失

我們需要確保一段程式碼可以同步運行,並保證這些非原子性的操作,包在同一個原子內。

這篇文章將會說明以 Rails 框架實作時以不同的角度解決、避免和測試 race condition,並同時建立 convention 避免複雜的商業邏輯

Rails 中避免 race condition 的最佳實踐(一) => 本篇

  • Lock 的種類
    • 悲觀鎖
    • 樂觀鎖
  • 悲觀鎖定的最佳實踐
    • 超過兩層請用 AR transaction + Lock
    • Lock first
    • 規範鎖定順序
    • 使用 Bang 語法

Rails 中避免 race condition 的最佳實踐(二)

  • Testing race condition
    • Unit test with RSpec
    • Benchmarking tool
  • Snapshot read & Current read
  • Single Query
  • 總結
  • 參考來源

Lock 的種類

對於資源的競爭,為了確保其數據正確性,通常會上鎖

日常開發最常使用的兩種鎖定,分別為

  • 樂觀鎖(Optimistic Locking)
  • 悲觀鎖(Pessimistic Locking)

悲觀鎖

悲觀鎖如其名,每一次去拿數據時,都悲觀的認為一定會有人修改數據,因此對數據上鎖,讓自己在讀寫的過程中,別人如果要操作同一筆數據,只能等待釋放才能繼續

  • 優點: 嚴謹
  • 缺點: 會對數據寫入造成堵塞,降低吞吐量
  • 適合場景: 資源爭用嚴重、可能是駭客的打點、要完全確保資料正確的地方

Rails 提供兩種作法分別為 lock! & with_lock

# lock! 必須在 transaction 內操作

Account.transaction do
  # select * from accounts where ...
  account1 = accounts.find(1)
  account2 = accounts.find(2)
  # select * from accounts where id=? for update
  account1.lock!
  account2.lock!
  account1.balance -= 100
  account1.save!
  account2.balance += 100
  account2.save!
end

# with_lock 的實作其實就是幫你在外面包一層 transaction
account = Account.first
account.with_lock do
  # This block is called within a transaction,
  # account is already locked.
  account.balance -= 100
  account.save!
end

這裡要注意的是 lock! 必須在 transaction 內,否則不會將資料鎖定,會變成只是在 database 裡面下 SELECT FOR UPDATE 的語法

而這個語法只在 autocommit 被禁用的情況下生效,最常見就是自己管理 transaction 的時候

可參考 MySQL 的說明

Locking reads are only possible when autocommit is disabled (either by beginning transaction with START TRANSACTION or by setting autocommit to 0.

樂觀鎖

以上述的悲觀鎖來說,出錯機率小,因為一旦鎖上了,其他的要求就會被迫堵塞,也會影響吞吐量,系統開銷會比較大

而樂觀鎖適合用於資源競爭不是這麼多的地方,實作方式屬於一種版本控制,在數據上插上欄位,每次更新時都檢查該欄位是否已經被變動,來決定更新是否成功

  • 優點: 效能更好,不會堵塞資料
  • 缺點: 相較悲觀鎖較不嚴謹,需要自行處理 retry
  • 適合場景: 資源爭用不嚴重的地方

在 Rails 已經有提供這樣的設計,使用樂觀鎖之前需要給數據庫增加一個欄位 :lock_version,Rails 會自動識別這一欄位,在數據庫提交數據的時候自動更新。

如果提交更新,發現 lock_version 已經被其他人更新了,那麼更新會導致失敗,Rails 會丟出 ActiveRecord::StaleObjectError 的異常

通常用 retry 來解決

retry_times = 3

begin
  person.first_name = "Nic"
  person.save
rescue ActiveRecord::StaleObjectError => e
  retry_times -= 1
  if retry_times > 0
    retry
  else
    raise e
  end
rescue => e
  raise e
end

悲觀鎖定的最佳實踐

這裡探討的場景以最嚴謹的方式下處理複雜且不可出錯的商業邏輯,在商業真金白銀可能造成損害的前提下,暫時忽略效能及吞吐量問題

那麼在鎖的挑選上,勢必會選擇悲觀鎖定

不過在 Rails 裡面實作,要如何制定一套處理金錢、存貨時團隊能夠易懂好維護的 Coding style 就是這個段落要說明的

以下 ActiveRecord 簡稱為 AR

超過兩層請用 AR transaction + Lock

AR 中的 with_lock 相當好用,但請勿濫用,會造成程式更難以閱讀及理解

@user.with_lock do
  # Logic
end

這樣寫很方便確實很方便,因為 with_lock 自帶 transaction,適合用在單一 AR object 更新

但如果超過兩層以上會出現 nested hell,如果裡面又多一堆判斷,會讓人難以理解,更何況外面還包一層 begin rescue

看起來會像這樣

begin
  order.with_lock do
    coupon.with_lock do
      account.with_lock do

        if order.paid?
          # some change
        else
          # some change
        end
      end
    end
  end
rescue => error
 # handle error
end

這時候請使用 transaction + lock 的寫法

begin
  ActiveRecord::Base.transaction do
    # Lock first
    order.lock!
    coupon.lock!
    account.lock!

    if order.paid?
      # some change
    else
      # some change
    end
  end
rescue => error
 # handle error
end

Lock first

鎖定語法一律放置整個程式區塊的最上方,方便其他協作者一眼看出這個 trnasaction 鎖了什麼

  ActiveRecord::Base.transaction do
    # Lock first
    order.lock!
    coupon.lock!
    account.lock!

    # Logic
  end

規範鎖定順序

避免 deadlock 的其中一個部分,就是在團隊中制訂鎖定順序,當其架構為 microservice 時更容易遇到有可能不同的後端語言實作,這時候就更需要注意資源鎖定的部分

假設大家都在爭奪 Account,甚至有的場景是要先鎖 2 名用戶的 Account

那麼,可以這樣子規範

同時兩筆 Account 進入 SQL statement 時, user_id 較小的先行上鎖

這樣在不同實作下,資源爭奪的部分有了順序,就可以有效降低 deadlock 發生的機率

使用 Bang 語法

Transaction 任何變更請使用 ActiveRecord 自帶的 ! 語法

該語法在更新後會將其與預期變更的 SQL 行數做比對,如果更新失敗會拋出 exception

讓 transaction 失敗觸發 Rollback

  ActiveRecord::Base.transaction do
    order.lock!
    coupon.lock!
    account.lock!

    coupon.update!(status: "redeemed")
  end

如果執行非 bang 的語法,這次的 Lock 將毫無意義

  ActiveRecord::Base.transaction do
    order.lock!
    coupon.lock!
    account.lock!

    # 假設 update 回傳 false,但依序往下執行
    coupon.update(status: "redeemed")
    # 假設 update 回傳 true,更新成功
    account.money.update(amount: 1000)

    # 這樣就變成 coupon 更新失敗,但 account 卻成功
    # Transaction COMMIT,沒有觸發 Rollback,是危險的執行
  end

本系列其他文章