惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

Exploit-DB.com RSS Feed
Exploit-DB.com RSS Feed
A
About on SuperTechFans
IT之家
IT之家
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
Blog — PlanetScale
Blog — PlanetScale
aimingoo的专栏
aimingoo的专栏
云风的 BLOG
云风的 BLOG
The GitHub Blog
The GitHub Blog
Vercel News
Vercel News
G
Google Developers Blog
J
Java Code Geeks
宝玉的分享
宝玉的分享
T
Tailwind CSS Blog
Cloudbric
Cloudbric
L
LINUX DO - 最新话题
MyScale Blog
MyScale Blog
H
Heimdal Security Blog
PCI Perspectives
PCI Perspectives
Attack and Defense Labs
Attack and Defense Labs
S
Security @ Cisco Blogs
Latest news
Latest news
I
Intezer
L
Lohrmann on Cybersecurity
C
CXSECURITY Database RSS Feed - CXSecurity.com
月光博客
月光博客
T
Threatpost
博客园 - 【当耐特】
S
Schneier on Security
P
Privacy International News Feed
G
GRAHAM CLULEY
T
Tenable Blog
AWS News Blog
AWS News Blog
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
雷峰网
雷峰网
博客园 - Franky
Engineering at Meta
Engineering at Meta
美团技术团队
S
Secure Thoughts
T
Troy Hunt's Blog
Microsoft Security Blog
Microsoft Security Blog
SecWiki News
SecWiki News
V
Visual Studio Blog
人人都是产品经理
人人都是产品经理
Application and Cybersecurity Blog
Application and Cybersecurity Blog
Cisco Talos Blog
Cisco Talos Blog
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
Martin Fowler
Martin Fowler
Webroot Blog
Webroot Blog
Google DeepMind News
Google DeepMind News
H
Hackread – Cybersecurity News, Data Breaches, AI and More

陈少文的网站

巨变与机遇的未来十年 Kubernetes 平台管理软件压力测试方案 使用镜像部署 Hexo 静态页面 终于等到你 - GitHub 镜像仓库服务(ghcr.io) 一起来学 Go --(6)Interface 一起来学 Go --(5)Goroutine 和 Channel 什么是函数式编程 如何在 Kubernetes 集群集成 Kata 柯里化与偏函数 使用 PyGithub 自动创建 Label 软件产品是团队能力的输出 Helm 2 、Helm 3 比较 IoT 变现 Kubernetes 中的 DNS 服务 国内的 Helm 镜像源 Harbor 使用自签证书支持 Https 访问 DevOps 工具链之 Prow 如何使用 kfctl 安装 Kubeflow VS Code 无法下载 Go 插件的工具包 工程师更应具有服务精神 你不知道的 Docker 使用技巧 使用 Docker 运行 Tensorflow 论中国 什么是左移 如何清空 Git 仓库全部历史记录 一禅小和尚 有风吹过厨房 时间的玫瑰 如何在 CentOS 安装 GPU 驱动 开发 Tips(19) 使用 Velero 备份 Kubernetes 集群 Kubernetes Cheat Sheet 开发 Tips(18) 如何构建一个 Java 工程 开发 Tips(17) KubeSpray 安装 Kubernetes 报错 ip in ansible_all_ipv4_addresses 基于 Kubernetes 和 Jenkins 搭建自动化测试系统 在 Kubernetes 上动态创建 Jenkins Slave 使用 Jenkins 进行服务拨测 开发 Tips(16) Kubernetes 签发 Ingress 证书及日常故障运维 Kubernetes 中 Deployment 的基本操作 Kubernetes 中的证书 如何使用 KubeBuilder 开发一个 Operator Kubernetes 1.6.0 安装问题汇总 镜像管理工具 -- Harbor 开发 Tips(15) Docker 如何拉取镜像 开发 Tips(14) 使用 Helm 安装 harbor 开发 Tips(13) 使用 S2I 构建云原生应用 在 Kubernetes 中使用 emptyDir、hostPath、localVolume 开发 Tips(12) 开发 Tips(11) 代码质量分析工具 SonarQube 使用 Kubeadm 安装 Kubernetes 集群 一起来学 Go --(4)常用函数 Kubernetes 中的 Ceph Kubernetes 之 Volumes Kubernetes 之 Labels、Selectors 开发 Tips(10) 开源正在重构商业模式 Kubernetes 之网络 Kubernetes 之 API 使用 Helm 和 Operator 快速部署 Prometheus Kubernetes 复杂有状态应用管理框架 -- Operator Kubernetes 的包管理器 -- Helm 一起来学 Go --(3)Go Modules 如何一步一步地优化博客方案 kubectl 实用指南 Kubernetes 中的基本概念 搭建远程 Kubernetes 开发环境 大公司和小公司的 ToB 思路 开发 Tips(9) Go 入门指南 一起来学 Go --(2)数据与逻辑结构 如何预防 Web 富文本中的 XSS 攻击 django-xss-cleaner 云工作时代 一起来学 Go --(1)背景与特点 SaaS 开发团队的不同阶段 你不知道的 Git 使用技巧 输出既服务 微服务设计 继续奔跑 开发 Tips(8) 从账户安全到二次验证 Django 性能之数据库查询优化 Django 性能之分库分表 敏捷开发之研发流程 打造一致性的团队 开发 Tips(7) Pytest 进阶学习之 Mock PaaS 部署之 buildpack Go 开发配置 领域输出才是 PaaS 的核心竞争力 Pytest 入门学习 开发 Tips(6) 如何使用 Jenkins、Docker、GitLab 搭建 Django 自动化部署流程
MemoryFS 存储系统的一些构想
微信公众号 · 2024-06-12 · via 陈少文的网站

1. 使用内存作为存储介质

如上图是存储金字塔,展示了存储介质价格与速度的关系。

目前,企业之所以广泛采用磁带和磁盘作为存储介质,主要是因为它们的价格优势。市场价格受市场供需影响,即便是价格较高的存储介质,如果生产成本低廉,具有足够大的市场,生产过程中的良品率高,那么其市场价格也会降下来。

市场的平衡点在于,存储介质能够满足消费者的需求,同时消费者愿意支付的价格能够覆盖生产成本。然而,这种平衡并非一蹴而就,产能的投入需要较长周期,而价格竞争却是瞬息万变,这种长短周期的不匹配导致了市场价格的波动。

我们对存储介质的速度和容量的需求在不断增长,总是追求更快、更经济、更大容量的存储解决方案。这种需求的增长将推动市场平衡点的移动,催生新的需求,同时也促进了存储技术的创新与发展。

将内存作为存储介质存在两大挑战:成本高昂和断电后数据丢失。

价格的问题,要交给需求,如果需求端大爆发,内存作为存储介质的价格就会降下来。掉电易失,可以从软硬件层面解决。软件层面,可以通过冗余、纠删码重建等方式提高数据的可靠性;硬件层面有英特尔的傲腾作为先烈可以借鉴。当然,也可以不解决掉电易失的问题,掉电易失只是在传统场景下是缺点,如果在一个需要保密的场景下呢?掉电易失,可能成为一个很好的解决方案。寻找新的场景、高附加值的需求,也是一个不错的思路。

基于以上考虑,我认为直接使用内存作为存储介质,在未来是一个可选的方案。​但这不意味着,会成为主流方案,而只是在某些场景下,会带来很大的便利或收益。

2. 分布式的内存存储

如果仅仅只是在一台设备上创建一个存储区域,那么使用 tmpfs 就可以做到。

因此,分布式、支持横向扩展是 MemoryFS 的一个必要的特性。

如上图是 MemoryFS 的元数据与数据分离的存储架构。

直接使用 Redis 存储元数据,其实是一个非常不错的选择。在使用 JuiceFS 社区版时,我首选也是使用 Redis 作为元数据存储,Redis 只需要 1GB 的内存就能够支持约 2TB 的数据存储。

另外一种方案是,使用 RocksDB 和 Raft 实现一个分布式的元数据存储,这样会带来更加便捷的部署、更加可定制的存储方案。

3. 支持 POSIX 协议

在 Linux 系统上,支持 POSIX 协议的存储能够挂载到文件系统中,提供远程访问能力,能够扩展应用场景。

而常见的支持 POSIX 协议的方式是使用 Fuse,JuiceFS、SeaweedFS 也都是基于 Fuse 提供的 POSIX 协议。

https://github.com/torvalds/linux/tree/master/fs 中可以看到一般的文件系统 ext4、btrfs 等都是内核中实现的。而 Fuse 提供了一种不用修改内核,就能实现自定义文件系统的方法。

如上图,使用 Fuse 主要分为如下步骤:

  • 挂载到文件系统中。执行 ./hello /tmp/fuse, 将文件系统挂载到 /tmp/fuse 中。图中使用的是 libfuse 库,但其实也有其他语言库,比如 golang 的 https://github.com/hanwen/go-fuse。在 ./hello 程序中需要实现指定的接口,对接到外部的存储介质中。
  • 使用文件系统。执行 ls /tmp/fuse,可以看到文件系统中的文件列表。在执行命令时,通过 libc 进行系统调用,经过内核中的 Fuse 模块转发给 hello 程序,然后 hello 程序响应 ls 命令对应的文件系统 API。

如上图,需要创建 MemoryFS Workers 组成的 Cluster 提供存储服务,使用时,通过一个本地 Fuse 程序挂载到当前目录即可。

4. 总结

本篇主要是记录一些构想,将内存作为存储介质对外提供存储能力,主要内容如下:

  • 内存介质作为存储介质,在未来是一个可选的存储方案
  • 分布式、支持横向扩展是 MemoryFS 的一个必要的特性
  • MemoryFS 需要支持 POSIX 协议,提供远程访问能力