惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

S
SegmentFault 最新的问题
G
Google Developers Blog
H
Help Net Security
月光博客
月光博客
阮一峰的网络日志
阮一峰的网络日志
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
P
Proofpoint News Feed
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
B
Blog RSS Feed
爱范儿
爱范儿
酷 壳 – CoolShell
酷 壳 – CoolShell
博客园 - 三生石上(FineUI控件)
大猫的无限游戏
大猫的无限游戏
人人都是产品经理
人人都是产品经理
GbyAI
GbyAI
D
Docker
Hugging Face - Blog
Hugging Face - Blog
I
InfoQ
博客园 - 司徒正美
Last Week in AI
Last Week in AI
Microsoft Security Blog
Microsoft Security Blog
美团技术团队
Stack Overflow Blog
Stack Overflow Blog
M
MIT News - Artificial intelligence

Razeen`s Blog

Let's Encrypt 推出 Gen Y 根证书架构:揭示 Web PKI 的五大未来趋势 通过 Wi-Fi 自动备份你的 iPhone 到 Nas 管理培训感悟:从技术视角看管理之路 UPS 一拖多:保护你的 NAS 和 Linux 服务器 从影音中心到 AI 助手:我的50款 Homelab 服务清单 从SSL证书有效期将缩短到47天聊开去 部署一个自己的 Running Page 谈谈特斯拉 Model Y 用车一年的感受和费用分析 弃用 Disqus 评论,使用自建 Waline 使用 Prometheus 和 Grafana 搭建你的证书监控面板 服务器迁移记:一次磁盘换板引发的Linux分区与挂载的学习 改善信息来源, 利用 RSS 高效获取资讯 (RSShub + Reeder5 + WeWe RSS) 多种 Docker 镜像拉取解决方案与实践 App分享 | AppCleaner - Mac上的卸载神器 Azure OpenAI API 申请和使用 如何开通 OneKey 虚拟信用卡,并充值消费 如何拥有一个可长期在国内使用的国外手机号码 分享开通 ChatGPT Plus 过程 如何开通 Depay 虚拟信用卡,并充值消费 如何开通欧易Web3钱包, 交易入账 如何5分钟内1块钱注册 ChatGPT 如何注册美区的 Apple ID (2023年/无需科学上网) NAS折腾记(11): NASTool3.0体验和降级 NAS折腾记(10): Docker版本的NASTool配置 NAS折腾记(9): NASTool与微信交互,微信发送消息远程下载电影【多图】 NAS折腾记(8):群晖安装 NASTool 实现影音半自动化【多图】 内网穿透(2):Tailscale 组网实现内网穿透,操作简单,无成本 内网穿透(1):总结了11中内网穿透的方式,总有一种适合你 NAS折腾记(7):从零开始设置(黑)群晖系统 NAS折腾记(6):黑群晖系统安装好后怎么洗白?
一次诡异的数据库删除
2018-04-12 · via Razeen`s Blog

事情是这样的。

我们的项目使用的是sqlite3数据库。在一次常规模拟测试中,我们想了解,如果程序正在运行中,用户将sqlite3数据库文件删除,程序能否进入预设的重置流程。

结果,我们却让我们有些意外。

try

于是我写了一段go代码模拟一下该过程。

package main

import (
	"database/sql"
	"net/http"
	"time"

	_ "github.com/mattn/go-sqlite3"
)


func main() {
    // 首先,我们打开个数据库
	db, err := sql.Open("sqlite3", "file:test.sqlite")
	if err != nil {
		panic(err)
	}
	defer db.Close()

    // 建个表
	_, err = db.Exec(`CREATE TABLE IF NOT EXISTS test_t(
		a TEXT,
		create_at TIMESTAMP default CURRENT_TIMESTAMP
	);`)

	if err != nil {
		panic(err)
	}


    // 我们通过API来简单控制一些插入,查询
	http.HandleFunc("/test", func(w http.ResponseWriter, r *http.Request) {
		if r.FormValue("query") != "" {
			rows, err := db.Query("SELECT * FROM test_t")
			if err != nil {
				w.Write([]byte(err.Error()))
				return
			}

			for rows.Next() {
				var a string
				var t time.Time
				err := rows.Scan(&a, &t)
				if err != nil {
					w.Write([]byte(err.Error()))
					return
				}

				w.Write([]byte(a + " | " + t.Format("2006-01-02 15:04:05"+"\r\n")))
			}
			return
		}

		if v := r.FormValue("insert"); v != "" {
			_, err := db.Exec("INSERT INTO test_t (a) VALUES (?)", v)
			if err != nil {
				w.Write([]byte(err.Error()))
				return
			}
			w.Write([]byte("OK"))
			return
		}

		w.Write([]byte("NO"))
	})

	http.ListenAndServe(":10888", nil)
}

该段代码是简单的通过API来访问数据库内容。

我们的重点不是API部分,而是我们开启了一个数据库的连接,然后我们将数据库文件删除后会有什么现象发生呢?

首先,我们先向插入一些数据。

$ curl "http://127.0.0.1:10888/test?insert=ddd"
OK 

然后我们查询一下。

$ curl "http://127.0.0.1:10888/test?query=xxx"

ddd | 2018-09-10 16:24:32
ddd | 2018-09-10 16:24:33
ddd | 2018-09-10 16:24:34
ddd | 2018-09-10 16:24:34
ddd | 2018-09-10 16:24:35
ddd | 2018-09-10 16:24:35

我们看到已经能查到数据。

我们看到,当前目录已经生成了一个test.sqlite文件。

我们看看该进程在系统的状态。

jietu20180911-003048

我看看到,该进程打开了.../go/src/test.sqlite数据库文件。

现在,我们将文件删了。

$ rm -rf test.sqlite

$ ls
...

我们再次调取查询接口。

$ curl "http://127.0.0.1:10888/test?query=xxx"

ddd | 2018-09-10 16:24:32
ddd | 2018-09-10 16:24:33
ddd | 2018-09-10 16:24:34
ddd | 2018-09-10 16:24:34
ddd | 2018-09-10 16:24:35
ddd | 2018-09-10 16:24:35

我们发现数据还在。

我们再试试插入数据。

$ curl "http://127.0.0.1:10888/test?insert=ddd"
attempt to write a readonly database

此时,我们发现,没有写入成功,而是显示了一个错误。

我们在查看一下进程打开的文件。

jietu20180911-003846

我们发现居然是一样的。

ls: .../go/src/test.sqlite: No such file or directory

我们发现并没有该文件。

try & try

我们先不忙者下结论,我们再看看另外一种写法。

那就是每次使用完数据库就关闭连接,下次使用再打开。

代码如下。

package main

import (
	"database/sql"
	"net/http"
	"time"

	_ "github.com/mattn/go-sqlite3"
)

func getDB() *sql.DB {
	db, err := sql.Open("sqlite3", "file:test.sqlite")
	if err != nil {
		panic(err)
	}
	return db
}

func main() {
	db := getDB()
	_, err := db.Exec(`CREATE TABLE IF NOT EXISTS test_t(
		a TEXT,
		create_at TIMESTAMP default CURRENT_TIMESTAMP
	);`)

	if err != nil {
		panic(err)
	}

	db.Close()

	http.HandleFunc("/test", func(w http.ResponseWriter, r *http.Request) {
		db := getDB()
		defer db.Close()
		if r.FormValue("query") != "" {
			rows, err := db.Query("SELECT * FROM test_t")
			if err != nil {
				w.Write([]byte(err.Error()))
				return
			}

			for rows.Next() {
				var a string
				var t time.Time
				err := rows.Scan(&a, &t)
				if err != nil {
					w.Write([]byte(err.Error()))
					return
				}

				w.Write([]byte(a + " | " + t.Format("2006-01-02 15:04:05"+"\r\n")))
			}
			return
		}

		if v := r.FormValue("insert"); v != "" {
			_, err := db.Exec("INSERT INTO test_t (a) VALUES (?)", v)
			if err != nil {
				w.Write([]byte(err.Error()))
				return
			}
			w.Write([]byte("OK"))
			return
		}

		w.Write([]byte("NO"))
	})

	http.ListenAndServe(":10888", nil)
}

我们先跑起来。

向其中插入一些数据。

$ curl "http://127.0.0.1:10888/test?insert=ddd"
OK

查询一下。

$ curl "http://127.0.0.1:10888/test?query=xxx"
ddd | 2018-09-10 23:29:42
ddd | 2018-09-10 23:29:43
ddd | 2018-09-10 23:29:43
ddd | 2018-09-10 23:29:44

我们将数据库删除。

再次查询。

$ curl "http://127.0.0.1:10888/test?query=xxx"
no such table: test_t

此时,给我们表现是,该表已经不存在了。

我们再查看一下数据库,发现数据库居然还在。

$ sqlite3 test.sqlite
SQLite version 3.19.3 2017-06-27 16:48:08
Enter ".help" for usage hints.
sqlite > select count(*) from sqlite_master;
0
sqlite >

虽然库文件依然存在(应该是查询是sql.Open创建的),但其中的数据,表都不存在了。

so

通过两种方法的对比,我们比较容易想到, 在第一种操作中,由于我们打开一个数据库连接,始终没有关闭,即使数据库删除后,其引用仍然存在,文件还没留在内存中。后一种,我们每次操作完成后会关闭数据库,导致数据库直接被删除了。

但,如果数据库很大,内存放不了那么多怎么办?

所以,这个还有待验证,先记录一下,留个坑给自己。