惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

Cloudbric
Cloudbric
Schneier on Security
Schneier on Security
V2EX - 技术
V2EX - 技术
cs.CV updates on arXiv.org
cs.CV updates on arXiv.org
O
OpenAI News
S
Security @ Cisco Blogs
Scott Helme
Scott Helme
Security Archives - TechRepublic
Security Archives - TechRepublic
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
cs.CL updates on arXiv.org
cs.CL updates on arXiv.org
WordPress大学
WordPress大学
云风的 BLOG
云风的 BLOG
T
Threatpost
Hacker News: Ask HN
Hacker News: Ask HN
Microsoft Azure Blog
Microsoft Azure Blog
Know Your Adversary
Know Your Adversary
博客园 - 三生石上(FineUI控件)
A
About on SuperTechFans
Forbes - Security
Forbes - Security
NISL@THU
NISL@THU
Security Latest
Security Latest
G
Google Developers Blog
D
Docker
T
Threat Research - Cisco Blogs
N
Netflix TechBlog - Medium
C
CERT Recently Published Vulnerability Notes
H
Help Net Security
B
Blog
Martin Fowler
Martin Fowler
N
News and Events Feed by Topic
Simon Willison's Weblog
Simon Willison's Weblog
Hacker News - Newest:
Hacker News - Newest: "LLM"
L
Lohrmann on Cybersecurity
Y
Y Combinator Blog
PCI Perspectives
PCI Perspectives
F
Fortinet All Blogs
MyScale Blog
MyScale Blog
Project Zero
Project Zero
爱范儿
爱范儿
Cisco Talos Blog
Cisco Talos Blog
博客园 - 聂微东
Hugging Face - Blog
Hugging Face - Blog
人人都是产品经理
人人都是产品经理
V
Vulnerabilities – Threatpost
P
Proofpoint News Feed
Cyberwarzone
Cyberwarzone
cs.AI updates on arXiv.org
cs.AI updates on arXiv.org
TaoSecurity Blog
TaoSecurity Blog
N
News | PayPal Newsroom
Recorded Future
Recorded Future

Mohuishou

如何实现支持多集群的 Kubernetes Operator? 第三方应用如何调用我们 kubebuilder 生成的自定义资源? Kubernetes 简明教程 k8s job 为何迟迟不能结束? Go 工程化(十一) 如何优雅的写出 repo 层代码 Go 工程化(十) 如何在整洁架构中使用事务? 给博客添加章节目录 使用 Notion Database 管理静态博客文章 一个普通 Go 开发的三年 4. localhost 就一定是 localhost 么? Go可用性(七) 总结: 一张图串联可用性知识点 Go可用性(六) 熔断 10. 总结 9. kubebuilder 进阶: 源码分析 8. kubebuilder 进阶: webhook 7. kubebuilder 进阶: 测试 6. kubebuilder 实战: status & event 5. kubebuilder 实战: CRUD 4. kustomize 简明教程 3. KubeBuilder 简明教程 2. Kind: 如何快速搭建本地 K8s 开发环境? 1. Operator概述: 如何对 Kubernetes 进行扩展 Go可用性(五) 自适应限流 Go可用性(四) 漏桶算法 Go可用性(三) 令牌桶的实现 rate/limt Go可用性(二) 令牌桶原理及使用 Go可用性(一) 隔离设计 Go并发编程(十二) Singleflight Go工程化(九) 项目重构实践 Go工程化(八) 单元测试 Go工程化(七) Go Module Go工程化(六) 配置管理 Go工程化(五) API 设计下: 基于 protobuf 自动生成 gin 代码 Go工程化(四) API 设计上: 项目结构 & 设计 Go工程化(三) 依赖注入框架 wire Go工程化(二) 项目目录结构 Go工程化(一) 架构整洁之道阅读笔记 Go并发编程(十一) 总结 Go并发编程(十) 深入理解 Channel Go并发编程(九) 深入理解 Context Go并发编程(八) 深入理解 sync.Once Go并发编程(七) 深入理解 errgroup Go并发编程(六) 深入理解 WaitGroup Go并发编程(五) 深入理解 sync/atomic Go并发编程(四) 深入理解 Mutex Go并发编程(三) data race Go并发编程(二) Go 内存模型 Go并发编程(一) goroutine Go错误处理最佳实践 微服务(二) 服务发现&多租户 微服务(一) 微服务概览 5. 栈下: 深入理解 defer 4. 栈上: 如何实现一个计算器 Go Struct 初始化风格的抉择 3. 数组下: 使用 GDB 调试 Golang 代码 2. 数组上: 深入理解 slice Go设计模式24-总结(更新完毕) Go设计模式23-中介模式 Go设计模式22-解释器模式 Go设计模式21-命令模式 Go设计模式20-备忘录模式 Go设计模式19-访问者模式 Go设计模式18-迭代器模式 Go设计模式17-状态模式 Go设计模式16-职责链模式(Gin的中间件实现) Go设计模式15-策略模式 Go模板模式14-模板模式 Go设计模式13-观察者模式(实现简单的EventBus) Go设计模式12-享元模式 Go设计模式11-组合模式 Go设计模式10-门面模式 Go设计模式09-适配器模式 Go设计模式08-装饰器模式 Go设计模式07-桥接模式 Go设计模式06-代理模式(generate实现类似动态代理) Go设计模式05-创建型模式总结 Go设计模式04-原型模式 Go设计模式03-建造者模式 Go设计模式02-工厂模式&DI容器 笔记-让你最快速地改善代码质量的20条编程规范 Go设计模式01-单例模式 一点拙见-如何写好一个技术预研报告? Go Web小技巧(四)在单个仓库中支持多个 go mod 模块 Go Web 小技巧(三)Gin 参数绑定 Go Web 小技巧(二)GORM 使用自定义类型 Go Web 小技巧(一)简化Gin接口代码 善用工具之postman高级用法概述 go generate and ast hexo-next-algolia-search全文搜索 docker镜像瘦身&优化 GORM避坑指南之含关联关系的更新 Github Actions介绍&自动构建Github Pages博客 在blog中内嵌在线PPT 记一次net http内存泄漏 使用TravisCI自动部署Blog 使用Goland调试Go程序 一个十分边缘的gorm的bug Httprouter介绍及源码阅读 Gin源码阅读 从0.1开始
1. 链表: 深入理解container/list&LRU缓存的实现
Mohuishou · 2020-11-06 · via Mohuishou

注:本文已发布超过一年,请注意您所使用工具的相关版本是否适用

  • Go 数据结构与算法系列文章,本系列文章主要会包括常见的数据结构与算法实现,同时会包括 Go 标准库代码的分析理解,讲到对应章节的时候优先学习分析 Go 的源码实现,例如 slice、list、sort 等,然后可能会有一些常见的案例实现,同时这也是 极客时间-数据结构与算法之美 的课程笔记
  • 本文代码仓库: https://github.com/mohuishou/go-algorithm 🌟🌟🌟🌟🌟
  • **RoadMap: **持续更新中,预计一周更新 1 ~ 2 篇文章,预计到 202101 月底前更新完成
  • 获取更新: Github知乎RSS开发者头条
  • 上一个系列刚刚完成了 Go 设计模式,如果感兴趣也可以进行查看

什么是链表?

单链表

  • 链表通过指针将零散的内存数据联系在一起
  • 如下图所示,包含两个结构,一个是数据 data,另外一个是下一个节点的内存地址
  • 最后一个节点指向 NULL

01_链表-单链表.jpg

循环链表

  • 和单链表的区别就是,将尾节点指向的头结点,将整个链表组成了一个环状

01_链表-循环链表.png

双向链表

  • 和在单链表的基础之上添加了一个指向上一个节点的指针,这样我们知道任意一个节点就可以同时知道他们的上下两个节点
  • 这是实际使用的时候最常用的

01_链表-双向链表.jpg

和数组对比

链表数组
查找某个元素O(n)O(1)
删除或者添加一个元素O(1)O(n)

结构体定义

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
// Element 用于表示链表当中的节点
type Element struct {
// next, prev 分别表示上个节点和下个节点
next, prev *Element

// 表示节点所在的元素
list *List

// 节点所保存的数据,也就是上面图中的 data
Value interface{}
}

// List 这是一个双向链表
// List 的零值是一个空链表
type List struct {
// 根节点,List 其实是一个双向循环链表,root, root.prev 是尾节点, 尾节点的下一个节点指向 root
// 根节点是一个哨兵节点,是为了用来简化节点操作使用的
root Element

// 链表的长度,不包括哨兵节点,也就是根节点
len int
}

看到这里我下意识的会有两个问题:

  • 为什么在 Element  当中会持有一个 List  结构?
  • 为什么需要一个单独的 List  结构体,直接要一个 Root  节点不就完事了么?

方法集

1
2
3
4
5
6
7
8
9
10
11
Remove(e *Element) interface{} // 删除一个节点
PushFront(v interface{}) *Element // 将值插入到链表头部
PushBack(v interface{}) *Element // 将值插入到链表尾部
InsertBefore(v interface{}, mark *Element) *Element // 在 mark 节点之前插入值
InsertAfter(v interface{}, mark *Element) *Element // 在 mark 节点之后插入值
MoveToFront(e *Element) // 将节点 e 移动至链表头部
MoveToBack(e *Element) // 将节点 e 移动至链表尾部
MoveBefore(e, mark *Element) // 将节点 e 移动到 mark 节点之前
MoveAfter(e, mark *Element) // 将节点 e 移动到 mark 节点之后
PushBackList(other *List) // 将链表 other 连接到当前链表之后
PushFrontList(other *List) // 将链表 other 连接到当前链表之前

看了暴露的方法集之后我们看一下这里面核心的几个方法,上诉暴露的方法实质上都是通过调用下面的方法实现的

insert

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
// 将节点 e 插入 at 之后
func (l *List) insert(e, at *Element) *Element {
// 假设 at.next 为 nt
// 1. 将节点 e 的上一个节点指向 at
e.prev = at
// 2. 将节点 e 的下一个节点指向 nt
e.next = at.next
// 3. 这个时候 e.prev.next == at.next
// 其实就是本来 at --> nt,修改为 at --> e
e.prev.next = e
// 4. e.next.prev == nt.prev
// 本来 at <--- nt,修改为 e <--- nt
e.next.prev = e
e.list = l
l.len++
return e
}

remove

1
2
3
4
5
6
7
8
9
10
11
// remove removes e from its list, decrements l.len, and returns e.
func (l *List) remove(e *Element) *Element {
e.prev.next = e.next
e.next.prev = e.prev
// 这里为了避免内存泄漏的操作可以学习
e.next = nil // avoid memory leaks
e.prev = nil // avoid memory leaks
e.list = nil
l.len--
return e
}

move

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
// move moves e to next to at and returns e.
func (l *List) move(e, at *Element) *Element {
if e == at {
return e
}
// 先把当前节点从原来的位置移除
e.prev.next = e.next
e.next.prev = e.prev

// 再将当前节点 e 插入到 at 节点之后
e.prev = at
e.next = at.next
e.prev.next = e
e.next.prev = e

return e
}

两个问题

我们在看一下最开始的两个问题
1. 为什么在 Element 当中会持有一个 List 结构?

  • 查看上方的 move 方法我们就可以知道,list 提供了将节点移动到某个节点之后的方法,通过 e.List 进行对比我们就可以知道需要移动的节点是不是属于当前这个链表了,这也是 MoveToFront 等方法的实现方式
1
2
3
4
5
6
7
func (l *List) MoveToFront(e *Element) {
if e.list != l || l.root.next == e {
return
}
// see comment in List.Remove about initialization of l
l.move(e, &l.root)
}

2. 为什么需要一个单独的 List 结构体,直接要一个 Root  节点不就完事了么?

  • 看之前的 List 的结构我们可以发现,在结构体中包含了一个 len ,这样可以避免需要取长度的时候每次都需要从头到尾遍历一遍

如何实现一个并发安全的 Container/list?

接下来,我们使用 go test -race .  测试是否存在并发安全的问题

标准库包

1
2
3
4
5
6
7
8
9
10
11
12
13
func TestList(t *testing.T) {
l := list.New()
wg := sync.WaitGroup{}
wg.Add(1)
go func() {
for i := 0; i < 10; i++ {
l.PushBack(i)
}
wg.Done()
}()
l.PushBack(11)
wg.Wait()
}

测试结果如下,可以明显的看到存在并发问题

1
2
3
4
5
6
7
 go test  -v -timeout 1s -race -run ^TestList$ ./...
=== RUN TestList
==================
WARNING: DATA RACE
Read at 0x00c00006e330 by goroutine 8:
container/list.(*List).lazyInit()
/usr/local/go/src/container/list/list.go:86 +0xb2

稍作改造

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
// List 链表
type List struct {
*list.List
mu sync.Mutex
}

// New 新建链表
func New() *List {
return &List{List: list.New()}
}

// PushBack 像链表尾部插入值
func (l *List) PushBack(v interface{}) {
// 加锁
l.mu.Lock()
defer l.mu.Unlock()
l.List.PushBack(v)
}

问题解决

1
2
3
4
5
go test  -v -timeout 1s -race -run ^TestList_PushBack$ ./...
=== RUN TestList_PushBack
--- PASS: TestList_PushBack (0.00s)
PASS
ok github.com/mohuishou/go-algorithm/01_list/list (cached)

如何实现一个 LRU 缓存?

LRU: Least Recently Used 最近最少使用策略

这里为了训练一下代码,就没有直接使用标准库的包了

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
package lru

import (
"fmt"
)

// Node 链表的节点
type Node struct {
prev, next *Node

list *LRU

key string
value interface{}
}

// LRU 缓存
type LRU struct {
root *Node // 根节点
cap int // 当前缓存容量
len int // 缓存的长度
}

// NewLRU NewLRU
func NewLRU(cap int) *LRU {
l := &LRU{
root: &Node{},
cap: cap,
}
l.root.prev = l.root
l.root.next = l.root
l.root.list = l
return l
}

// Get 获取缓存数据
// 如果获取到数据,就把这个节点移动到链表头部
// 如果没有获取到,就返回nil
func (l *LRU) Get(key string) interface{} {
defer l.debug()
n := l.get(key)
if n == nil {
return nil
}

return n.value
}

func (l *LRU) get(key string) *Node {
for n := l.root.next; n != l.root; n = n.next {
if n.key == key {
n.prev.next = n.next
n.next.prev = n.prev

n.next = l.root.next
l.root.next.prev = n
l.root.next = n
n.prev = l.root
return n
}
}
return nil
}

// Put 写入缓存数据
// 如果 key 已经存在,那么更新值
// 如果 key 不存在,那么插入到第一个节点
// 当缓存容量满了的时候,会自动删除最后的数据
func (l *LRU) Put(key string, value interface{}) {
defer l.debug()
n := l.get(key)
if n != nil {
n.value = value
return
}

// 缓存满了
if l.len == l.cap {
last := l.root.prev
last.prev.next = l.root
l.root.prev = last.prev
last.list = nil
last.prev = nil
last.next = nil
l.len--
}

node := &Node{key: key, value: value}
head := l.root.next
head.prev = node
node.next = head
node.prev = l.root
l.root.next = node
l.len++
node.list = l
}

// debug for debug
func (l *LRU) debug() {
fmt.Println("lru len: ", l.len)
fmt.Println("lru cap: ", l.cap)
for n := l.root.next; n != l.root; n = n.next {
fmt.Printf("%s:%v -> ", n.key, n.value)
}
fmt.Println()
fmt.Println()
}

单元测试

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
package lru

import (
"testing"

"github.com/stretchr/testify/assert"
)

func TestNewLRU(t *testing.T) {
l := NewLRU(3)
assert.Equal(t, l.Get(""), nil)

l.Put("1", 1)
l.Put("2", 2)
l.Put("3", 3)
assert.Equal(t, 3, l.Get("3"))
assert.Equal(t, 1, l.Get("1"))

l.Put("4", 4)
assert.Equal(t, nil, l.Get("2"))

l.Put("3", 31)
assert.Equal(t, 31, l.Get("3"))
}

Question

  • 前面讲到的 通过 Element 节点中的 List 结构来判断节点是否属于当前链表的方式,在某些情况下会出现 bug  你发现了么?
  • LRU 缓存可以参考 leetcode 进行测试,146. LRU 缓存机制,文中的 LRU 缓存实现有许多值得优化的地方,你认为有哪些可以优化的地方?
  • 问题可以回复在评论区,将在下一篇文章中解答

关注我获取更新

猜你喜欢