惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
The Register - Security
The Register - Security
The Cloudflare Blog
Last Week in AI
Last Week in AI
月光博客
月光博客
Security Latest
Security Latest
Project Zero
Project Zero
博客园 - 司徒正美
AWS News Blog
AWS News Blog
雷峰网
雷峰网
博客园 - 聂微东
C
Cybersecurity and Infrastructure Security Agency CISA
P
Palo Alto Networks Blog
人人都是产品经理
人人都是产品经理
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
T
Tor Project blog
Martin Fowler
Martin Fowler
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
Microsoft Azure Blog
Microsoft Azure Blog
B
Blog RSS Feed
A
About on SuperTechFans
V
V2EX
P
Proofpoint News Feed
腾讯CDC
S
Schneier on Security
K
Kaspersky official blog
Google Online Security Blog
Google Online Security Blog
Recorded Future
Recorded Future
H
Hacker News: Front Page
Application and Cybersecurity Blog
Application and Cybersecurity Blog
酷 壳 – CoolShell
酷 壳 – CoolShell
C
CERT Recently Published Vulnerability Notes
aimingoo的专栏
aimingoo的专栏
博客园 - 叶小钗
美团技术团队
cs.AI updates on arXiv.org
cs.AI updates on arXiv.org
V
Vulnerabilities – Threatpost
C
Cisco Blogs
PCI Perspectives
PCI Perspectives
Apple Machine Learning Research
Apple Machine Learning Research
博客园 - 【当耐特】
N
News and Events Feed by Topic
Google DeepMind News
Google DeepMind News
Hugging Face - Blog
Hugging Face - Blog
阮一峰的网络日志
阮一峰的网络日志
P
Privacy International News Feed
cs.CL updates on arXiv.org
cs.CL updates on arXiv.org
W
WeLiveSecurity
Spread Privacy
Spread Privacy
S
Securelist

Nic Lin's Blog

謝明真 - 高效領導力的課後筆記 NFT 開發實戰!基礎智能合約入門 (3) NFT 開發實戰!基礎智能合約入門 (2) NFT 開發實戰!基礎智能合約入門 (1) 如何自我檢測 log4j CVE 漏洞 Rails 如何在資料寫入時記錄來源 IP 位置 如何經營工程師 Youtube 頻道 - Part 8 營收篇 如何經營工程師 Youtube 頻道 - Part 7 酸民文化篇 如何經營工程師 Youtube 頻道 - Part 5 設備器材篇 如何經營工程師 Youtube 頻道 - Part 4 後製剪輯篇 如何經營工程師 Youtube 頻道 - Part 3 文案企劃篇 如何經營工程師 Youtube 頻道 - Part 2 設備器材篇 如何經營工程師 Youtube 頻道 - Part 1 制訂頻道方向篇 如何經營工程師 Youtube 頻道 - Part 0 Rails 中避免 race condition 的最佳實踐(二) Rails 中避免 race condition 的最佳實踐(一) 10 分鐘整合 google sheet 做自動化開發功能週報 經營 Side Project 300 天所帶來的收穫及挑戰 我的 Youtube 影片製作流程 API 設計時必須注意的 HTTP header 底線問題 如何提升你的程式可讀性之實務技巧(三) 如何提升你的程式可讀性之實務技巧(二) 如何提升你的程式可讀性之實務技巧(一) Ruby 中使用 freeze 優化效能的時機 避免 React 中的 useEffect 無限 render 在 Rails 內輕量使用 Vue Component 的最佳實踐 如何在區域網路用 Docker 架設有 SSL 的 Gitlab 從被問到問人,那些我常問的面試問題 [Rails] 如何漂亮寫出可維護的 query (Maintainable Rails Query) 在已知長度情況下優化 slice 的性能 [ReactNative] 如何在 iOS APP 上主動要求用戶評分 Rails 的 scope 為什麼用 lambda? Proc 與 lambda 不同之處 淺談 Active Record 的 Lazy load 特性 Rails 專案搭配 Github Actions 進行 RSpec 自動化測試 JavaScript 中 require, import 的差別及效能 React 效能優化基本招 ES6 箭頭函式 (Arrow functions) 2 個月擁有 6000 用戶 Side project 這樣做(一) 如何讓自己成為失敗的軟體工程師 如何用 Rack::Attack 阻擋 DDOS / 惡意流量 用 OpenSSL 自簽開發用 HTTPS SSL 憑證 為機器加上登入訊息,在 ubuntu 設置登入歡迎詞 Ruby Memoization 性能優化之記憶化 淺談 SSH agent forwarding 和 proxy command 的安全風險與應用 [Rails] Service / Library / Concern 的差異 避免過度的 Defensive Programming 防禦性程式設計 1:1 攪亂器,如何用 Ruby 做可逆推序號 Rails 中的欄位及方法命名原則 [Rails] 用 puma-dev 作為本地開發伺服器 (支援 https 自簽憑證) 將 Rails 專案從手動部屬遷移使用 Capistrano 自動化部屬 工程師提昇自己的教學和簡報技術的方法 [筆記] Rails 3.2 升級 Rails 6.beta 經驗分享 Class method 氾濫帶來什麼問題 常用的 Rails 開發規範 Rest-Client 如何做 Basic Authentication 驗證 [Rails] 何為 tld_lebgth? 遵循 Semantic Versioning 軟體開發語意化版本管理 請直接在 MySQL 裡面直接用 utf8mb4 取代 utf8 如何解決在 awesome print 中遇到 ActionController::Parameters unable to convert unpermitted 如何在 Mac 上升級 PostgreSQL 並遷移資料 如何解決 Mysql2::Error: Incorrect string value 讀書心得 - 「信任因子:信任如何影響大腦運作、激勵員工、達到組織目標」 我是如何寫部落格筆記的 讀書心得 - 「先問,為什麼?:顛覆慣性思考的黃金圈理論,啟動你的感召領導力」 [Rails] 解決 Reset Password 帶來的 token 洩漏問題 我的軟體工程師生涯:如何挑選適合你的公司 Rails 中的 delegate 用法 淺述 SSR SPA 優缺點 Rails 非同步工作請用 Global ID [React] Class Component 傳遞 props 的 2 種方式 好用的隱私權政策 URL 自動生成 Rails 5.1 之後的 tag helper Rails 5.2 Encrypted Credentials 最近面試被給的建議和書單 一般架構需要用到 K8S 嗎 透過 commit SHA 找 github Pull request 從零搭建,如何讓 Rails 跑在 Kubernetes(k8s)(二) 從零搭建,如何讓 Rails 跑在 Kubernetes(k8s)(一) React Stateless Functional Components 搞懂 React 中的 state 和 props 物件導向基本原則 SOLID (Ruby Sample) 在以太坊智能合約上是可以預測隨機數的 在台灣租屋必須注意的事 Rails 5 簡單雙向加解密 如何用 ABA 培養自律型員工 不要在 rake task 中定義 method, 請用 RAKE::DSL rails 非hash只想用array輸出page 如何處理陣列裡有重複的值 [Rails] 如何重設你的專案名稱 Ruby on Rails install on Mac 安裝步驟 使用 Friendly_id 與 Babosa 美化你的Rails 網址 Junior Rails 兩個月實戰心得 Devise使用Google實作登入 [iterm2] 如何新增alias 一個新鮮人找尋Rails工作的面試經驗 如何讓兩個資料表建立關聯 routing 的 namespace strong parameter user story 的格式 user story 是什麼?
RDBMS 課程心得與筆記
Nic Lin · 2019-03-23 · via Nic Lin's Blog

此篇為上完 Triton 的 RDBMS 淺談課程的筆記與心得

選擇 RDBMS 而非 NoSQL 的理由

中小型系統用 RDBMS 已經足夠,原因包括如下

  1. 歷史悠久,有 30 年的歷史,並有龐大的社群
  2. error message 丟 stackoverflow 幾乎都有人遇過,有解法
  3. 有許多用在 production 的經驗,適合商業應用

講者舉例,用了 amazon aurora mysql,莫名 CPU 飆升 100%,也找不到原因,因為這產品比較新,所以經驗和錯誤訊息絕對不會有 30 年的 MySQL 多,可能連 amazon 自己的人都找不到原因,最後解法就是搬回去 MySQL

然而 multiple records atomicity 是不能迴避的需求。

Example:

  • 把錢從用戶 A 轉到用戶 B
  • 購買虛擬道具

Don’t overthinking

在一開始做系統的時候不必幻想超大流量的情況

  • Facebook 也是從 PHP + MySQL 起家
  • instagram 也是用 postgreSQL 起家

先做,實現商業邏輯賺到錢之後在慢慢升上去,大部分商業無法容忍資料流失,你要 NoSQL 的快,會發現掉資料也快。

Numeric 非常好用

RDBMS 支援 10 進制的 numeric,計算錢的部分特別有用(多數商業邏輯都會碰到)

MongoDB 沒有像 MySQL 有相當精確的 decimal type 能使用,只能用 double - 8 bytes (64-bit IEEE 754 floating point) 去做儲存。

所以有可能發生 100+755.66 = 855.6599999999 的情況,可以的解法是在 application layer 處理。

原因:二進制無法精確表示小數,轉成十進制時就會變成這樣顯示了。

參考: 请问有人解决过mongo里的浮点型的精度问题么?

100 GB 分水嶺

講者主觀認為,數據規模小於 100 GB,用 RDBMS 能解決大多數商業應用場景,基本上 JOIN + sub query 就足夠應付了。

報表的優勢

在商業應用很容易出現報表需求,而 Database 通常都會內建這些工具 AVGSUMCOUNT 可以使用。

回應 OK 更可靠

RDBMS 在寫入資料時,只要回你 OK 一定不流失資料,除非你 hard disk 有損壞。

很多 NoSQL 只是先寫到 memory 就回你 ok 了,如果這時候 power loss ,記憶體中的資料來不及寫進硬體,那就掰掰流失了

MongoDb 中有提供配置參數 write concern 來讓用戶自己衡量性能與安全的分配,所以其實預設的可能是不太可靠的,但要可靠的又會掉效能。

連線操作 Database 需注意

Production mode 連線進 database 請用 read only 來看,避免發生災難,如果要跑指令,請最好找另一個同事幫忙監督,避免無法挽回。

ACID

Atomicity(原子性)

交易是不可分割的單元,就像原子一樣,要就全部執行,要不全部不執行

  • RDBMS 操作以 Transaction 為單位
  • Transaction 內可以包很多 SQL 指令
  • 一包 Transaction 要馬失敗要馬成功,沒有改到一半 commit 的 (Atomicity requires that each transaction be “all or nothing”)
  • 當機時,還沒被 commit 的 transaction 會被 rollback
  • 有 transaction 機制做轉帳很容易
  • 一般寫入時底層會像是偷偷幫你做一個很短的 transaction 來避免你掉資料
START TRANSACTION;
Update user_balance set balance = balance – amount where username = 'UserA';
Update user_balance set balance = balance + amount where username = 'UserB';
COMMIT;
  • NoSQL 沒有 transaction ,所以是拆步驟做,但如果中途當機,你很難修復。

Consistency(一致性)

不同人對 Consistency 定義不完全相同

資料在交易前後必須保持一致

A 有 300 元
B 有 500 元

A 轉帳 100 元給 B

  1. A 戶頭 -100, 剩下 200
  2. B 戶頭 +100, 變成 600

無論 transaction 前後,兩個戶頭加起來就是 800 元

Isolation (隔離性)

同一筆資料被改動時,確保不會被兩個 transaction 同時改動

所以在 transaction 未完成前,查詢數據應該是原本的狀態,而不是進行到一半的狀態。

很舊的 MySQL 在寫入時,是無法讀取數據的,會有等待的問題

避免 race condition 問題,lock table 無法避免,但 RDBMS 能自動處理

如果沒有 isolation,你要自己做 lock,可能會有一堆問題

假設你拿 Redis SETNX 來做

lock_name 當做 key 設一個 expire 時間,要是當機後重做,但 expire 已經過期怎麼辦。

結果就是以為概念很簡單,自己做沒問題,實際做起來很容易犯錯。

如果用 sleep 去處理,流量大就很容易動彈不得,這裡給一個關鍵字去處理

exponential back off jitter

Durability(持續性)

commit 時如果系統發生錯誤,那麼在系統復原後要持續原本未完成的工作

底層行為是會寫入 redo log

mongoDB 並沒有真正等到寫入 hard disk 才返回 ok

拿 table 如何決定順序

Select XXX from A join B where A.xxx != B.xxx

Database 如何決定這個 query 到底要先拿 A 還是 B,會看 column statistics 去決定這次的 plan 那個更好

搜尋優化器會依照他過往的經驗來評比分數跟權重,決定要用什麼方式去找。

Rails 裡面可以用 explain 去查,如果是 postgres 還可以用 analyze + explain 找出真正的詳細計畫

redo log 實際做了些什麼

假定要改動 Row X,這時查詢 Row X 是否存在 Main memory 內

  • 如果有,直接使用
  • 如果沒有,從 disk 拿出

這時候將 Main memory 的資料進行改動,並標記為 dirty 然後插入 redo log,直到放進 disk 後,將 memory 內的資料標記為 undirty 才完成。

所以說,如果 disk 還沒寫入時突然當機,重開後, database 會掃 redo log 並檢查有沒有還是標記為 dirty 的資料,然後重新執行或復原。

主流 Database 如何選擇

如果你的資料很常用於類似 message 從這個時間點倒退回去一百則訊息這種情景,用 MySQL 相當不錯,他可以有 Cluster index 處理。

不然的話 PostgreSQL 在底層的部分比 MySQL 更好更快。

這邊私心認為,PostgreSQL 的 partial index 很實用。

可以參考的資料