惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

量子位
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
博客园_首页
AWS News Blog
AWS News Blog
阮一峰的网络日志
阮一峰的网络日志
Vercel News
Vercel News
C
Cybersecurity and Infrastructure Security Agency CISA
P
Proofpoint News Feed
Exploit-DB.com RSS Feed
Exploit-DB.com RSS Feed
T
Tailwind CSS Blog
PCI Perspectives
PCI Perspectives
Application and Cybersecurity Blog
Application and Cybersecurity Blog
博客园 - 叶小钗
IT之家
IT之家
V2EX - 技术
V2EX - 技术
Cloudbric
Cloudbric
cs.CV updates on arXiv.org
cs.CV updates on arXiv.org
宝玉的分享
宝玉的分享
Know Your Adversary
Know Your Adversary
爱范儿
爱范儿
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
cs.CL updates on arXiv.org
cs.CL updates on arXiv.org
S
Schneier on Security
博客园 - 【当耐特】
G
Google Developers Blog
S
Security @ Cisco Blogs
N
Netflix TechBlog - Medium
T
Tenable Blog
C
Check Point Blog
The Cloudflare Blog
J
Java Code Geeks
The Register - Security
The Register - Security
Google Online Security Blog
Google Online Security Blog
Security Latest
Security Latest
T
Tor Project blog
T
The Blog of Author Tim Ferriss
S
Security Affairs
S
Securelist
P
Privacy & Cybersecurity Law Blog
Security Archives - TechRepublic
Security Archives - TechRepublic
P
Privacy International News Feed
博客园 - 三生石上(FineUI控件)
D
DataBreaches.Net
N
News and Events Feed by Topic
Hacker News - Newest:
Hacker News - Newest: "LLM"
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
A
About on SuperTechFans
G
GRAHAM CLULEY
Jina AI
Jina AI
Spread Privacy
Spread Privacy

文章列表 on polarisxu

通过一个例子让你彻底掌握 Go 工作区模式 这道题正确率竟然只有 22% Go 开源项目推荐:一个简单的 Go 练手项目 go test 如何禁用缓存? Go1.18 快讯:constraints 包被移除标准库 跟着 Go 作者学泛型 「2022 版」轻松搞定 Go 开发环境 鹅厂小哥用行动反对加班:程序员加班能被终结吗? Go 为什么选择 Gopher 作为吉祥物? 本地如何配置多个 GitHub/Gitee 账号? 为 Java 开发者准备的 Go 教程 02:Java 有而 Go 无 GitHub 发现了 studygolang 项目依赖的漏洞 Typora 宣布收费后,这款开源 Markdown 编辑器火了 为 Java 开发者准备的 Go 教程 01:漫游了 我的 2021 年终总结 泛型版 singleflight:Go 中如何防止缓存击穿? 2021 年你写了多少代码?这个 Go 工具帮你统计 Go1.18 新特性:TryLock Go 泛型入门教程 程序员瑞士军刀:各种结构的转换工具 终于有 Go 版的 Elasticsearch 了 Go泛型系列:maps 包讲解 Go 1.18 中的 any 是什么? Go1.18 快讯:新的 IP 包 Go编程模式:详解函数式选项模式 Go泛型系列:slices 包讲解 Nginx 竟然也有 playground — Go 语言构建的 Go泛型系列:Go1.18 类型约束那些事 Go1.18 快讯:Module 工作区模式 Go1.18 快讯:新增的 Cut 函数太方便了 Go1.18 快讯:废弃了这个 API Go1.18 快讯:新增字符串 Clone API Go:如何获得项目根目录? Go 如何获取和设置环境变量 重磅变动:更快找到微信公众号里的Go文章 Go 这样设置版本号:我们的项目也可以 假期结束,推荐 2 本 manning 出的 Go 图书 Go Fiber 框架系列教程 04:测试应用 Go Fiber 框架系列教程 03:中间件 Go泛型系列:提前掌握Go泛型的基本使用 推荐一个 Go GUI 实战项目 Go Fiber 框架系列教程 02:详解相关 API 的使用 Go Fiber 框架系列教程 01: 和 Express 对比学习 Go Module:私有不合规库怎么解决引用问题 Go1.17 新特性:go get 变了 Go1.17 新特性:testing 包的相关变化 StackOverflow 上关于 Go select 死锁的问题 新书推荐:用 Gin 框架构建分布式应用 Go 官网要变天。。。 Gin 这是要成为 Go 官方框架? 扬眉吐气:刚刚,Go 已经默认支持泛型了 Go 1.17 新特性:Module 有哪些变化? Go 第三方库推荐:类型转换如此简单 担心密码提交到 GitHub?建议使用这个 Go 开源工具 Go 的时间格式化为什么是 2006-01-02 15:04:05? GitHub 为 Go 社区带来安全支持 Go开源项目推荐:500行代码确认请求时间花在哪 一道关于 len 函数的诡异 Go 面试题解析 厉害了我的 Go:推荐系统都有开源实现 Go1.17 新特性:新版构建约束 这个工具真好:看看你的Go项目依赖有无漏洞 网友很强大,发现了Go并发下载的Bug Rust 劝退系列 09:函数 Go项目实战:一步步构建一个并发文件下载器 这本 Go 新书挺期待的:100 个常见错误 Go 启用新的官方问答社区 这是要干嘛?!微软招 Go 编译器全职开发人员 Go1.17 快报之标准库越来越注重易用性 Go1.17 新特性之切片变数组 回顾 Go 官网的演变史 站长8年前的Go代码竟然进入大厂的项目里了 Go图书翻译:一个好消息,一个坏消息 不怕烂尾!决定组织翻译这本 Go 图书 Rust 劝退系列 08:模式匹配 一本花了2.5年写成的Go免费在线图书 被黑惨了:一句话,说明自己会 Go,咋整? Go1.16 中的新函数 signal.NotifyContext 怎么用? Go 1.17 新特性提前学之测试执行随机化 Rust 劝退系列 07:流程控制 官方的 Go 多版本管理:使用和原理 Rust新书:给你一个劝退的理由 周刊题解:常量表达式这个规则应该了解下 盘点那些使用 Go 语言的国外公司 编写了50万行Go代码是一种什么体验 Rust 劝退系列 06:常量 Uber 使用 Go 的规模这么大?!都自己定制的 Go 编译器了 Go Team Leader — rsc 大神新开源了一个库,增强模板功能 再一次看到了 Go 的节制:int128 类型要不要支持? Rust 劝退系列 05:复合数据类型 「卷」有理论依据:海勒姆定律—Go又是怎么卷的 Go 真的也可以进行 GUI 开发:还有这样的图书呢 Rust 劝退系列 04:基本数据类型 我的 Go 语言书单 Rust 劝退系列 03:变量 我又来推荐免费 Go 新书了:一本用 Go 讲架构的书 注释竟然还有特殊用途?一文解惑 //go:linkname 指令 这个功能,公众号、微信群会不会被玩坏? 一道 Go 闭包题,面试官说原来自己答错了:面别人也涨知识 Rust 劝退系列 02:第一个 Rust 程序 Rust 劝退系列 01:打造开发环境
15 张图带你深入理解浮点数
2020-09-29 · via 文章列表 on polarisxu

大家好,我是站长 polarisxu。

团队一直保持着分享的习惯,而我却分享的较少。忘了当时同事分享什么主题,涉及到浮点数相关知识。于是我决定分享一期关于浮点数的,而且 Go 之父 Rob Pike 说不懂浮点数不配当码农。。。So?!

本着「要学习就系统透彻的学」这个原则,本文通过图的方式尽可能详细的讲解浮点数,让大家能够对浮点数有一个更深层次的认识。

本文目录:

0、几个问题

开始之前请思考如下问题:

  • 二进制 0.1,用十进制表示的话是多少?十进制的 0.1,用二进制表示又是多少?
  • 为什么 0.1 + 0.2 = 0.30000000000000004?
  • 单精度和双精度浮点数的有效小数位分别是多少?
  • 单精度浮点数能表示的范围是什么?
  • 浮点数为什么会存在 -0?infinity 和 NaN 又是怎么表示的?

如果现在不会,那这篇文章正好可以为你解惑。

1、什么是浮点数

我们知道,数学中并没有浮点数的概念,虽然小数看起来像浮点数,但从不这么叫。那为什么计算机中不叫小数而叫浮点数呢?

因为资源的限制,数学中的小数无法直接在计算机中准确表示。为了更好地表示它,计算机科学家们发明了浮点数,这是对小数的近似表示。维基百科中关于浮点数 的概念说明如下:

The term floating point refers to the fact that a number’s radix point (decimal point, or, more commonly in computers, binary point) can float; that is, it can be placed anywhere relative to the significant digits of the number.

也就是说浮点数是相对于定点数而言的,表示小数点位置是浮动的。比如 7.5 × 10、0.75 × 10² 等表示法,值一样,但小数点位置不一样。

具体来说,浮点数是指用符号、尾数、基数和指数这四部分来表示的小数。

2、IEEE754 又是什么

知道了浮点数的概念,但需要确定一套具体的表示、运算标准。其中最有名的就是 IEEE754 标准 。William Kahan 正是因为浮点数标准化的工作获得了图灵奖。

The IEEE Standard for Floating-Point Arithmetic (IEEE 754) is a technical standard for floating-point arithmetic established in 1985 by the Institute of Electrical and Electronics Engineers (IEEE). The standard addressed many problems found in the diverse floating-point implementations that made them difficult to use reliably and portably . Many hardware floating-point units use the IEEE 754 standard.

本文的讨论都基于 IEEE754 标准,这也是目前各大编程语言和硬件使用的标准。

根据上面浮点数的组成,因为是在计算机中表示浮点数,基数自然是 2,因此 IEEE754 浮点数只关注符号、尾数和指数三部分。

3、小数的二进制和十进制转换

为了方便后面的内容顺利进行,复习下二进制和十进制的转换,其中主要涉及到小数的转换。

二进制转十进制

和整数转换一样,采用各位数值和位权相乘。比如:

(0.101)₂ = 1×2⁻¹ + 0×2⁻² + 0×2⁻³ = (0.625)₁₀

记住小数点后第一位是从 -1 开始即可。

十进制转二进制

十进制整数转二进制采用“除 2 取余,逆序排列”法。例如十进制数 11 转为二进制:

11/2=5 … 余1
5/2=2  … 余1
2/2=1  … 余0
1/2=0  … 余1

所以 (11)₁₀ 的二进制是 (1011)₂。

但如果十进制是小数,转为二进制小数如何做?采用“乘 2 取整,顺序排列”。例如十进制小数 0.625 转为二进制小数:

0.625*2=1.25 … 取整数部分1
0.25*2=0.5 	 … 取整数部分0
0.5*2=1			 … 取整数部分1

顺序排列,所以 (0.625)₁₀ = (0.101)₂。

为了方便大家快速的做转换,网上有很多这样的工具。推荐一个我觉得最棒的:https://baseconvert.com/,支持各进制的转换,还支持浮点数。

4、经典问题:0.1 + 0.2 = 0.30000000000000004

这个问题网上相关的讨论很多,甚至有专门的一个网站:https://0.30000000000000004.com/,这个网站上有各门语言的 0.1 + 0.2 的结果。比如 C 语言:

#include <stdio.h>

int main(int argc, char** argv) {
  printf("%.17f\n", .1 + .2);
  return 0;
}

Go 语言:

package main

import (
	"fmt"
)

func main() {
	var a, b float64 = 0.1, 0.2
	fmt.Println(a + b)
}

结果都是 0.30000000000000004。

为什么会这样?这要回到 IEEE754 标准关于浮点数的规定。

5、浮点数的 IEEE754 表示

上文提到,浮点数由四个部分构成,那 IEEE754 标准是如何规定它们的存储方式的呢?

一般地,IEEE754 浮点数有两种类型:单精度浮点数(float)和双精度浮点数(double),还有其他的,不常用。单精度浮点数使用 4 字节表示;双精度浮点数使用 8 字节表示。在 Go 语言中用 float32 和 float64 表示这两种类型。

符号位不用说,0 表示正数,1 表示负数。着重看指数部分和尾数部分。(基数前文说了,固定是 2,因此不存)

尾数部分

前面提到过,浮点数名称的由来在于小数点是浮动的。但具体存储时,需要固定一种形式,这叫做尾数的标准化。IEEE754 规定,在二进制数中,通过移位,将小数点前面的值固定为 1。IEEE754 称这种形式的浮点数为规范化浮点数(normal number)。

比如十进制数 0.15625,转为二进制是 0.00101。为了让第 1 位为 1,执行逻辑右移 3 位,尾数部分成为 1.01,因为右移了 3 位,所以指数部分是 -3。因为规定第 1 位永远为 1,因此可以省略不存,这样尾数部分多了 1 位,只需存 0100(要记住,这是的数字是小数点后的数字,因此实际是 0.01,转为十进制是 0.25 — 没算未存的小数点前面的 1)。

因此对于规范化浮点数,尾数其实比实际的多 1 位,也就是说单精度的是 24 位,双精度是 53 位。为了作区分,IEEE754 称这种尾数为 significand。

有规范化浮点数,自然会有非规范化浮点数(denormal number),这会在后文讲解。

请牢记,尾数决定了精度,对于单精度浮点数,因为只有 23 位,而 1<<23 对应十进制是 8388608,因此不能完整表示全部的 7 个十进制位,所以说,单精度浮点数有效小数位最多 7 位;双精度的有效小数位是 15 位;切记切记,有精度问题!!

指数部分

因为指数有正、有负,为了避免使用符号位,同时方便比较、排序,指数部分采用了 The Biased exponent(有偏指数)。IEEE754 规定,2ᵉ⁻¹-1 的值是 0,其中 e 表示指数部分的位数,小于这个值表示负数,大于这个值表示正数。因此,对于单精度浮点数而言, 2⁸⁻¹-1 = 127 是 0;双精度浮点数,2¹¹⁻¹-1 = 1023 是 0。

没看懂?举个栗子。

还是用十进制 0.15625 举例。上文知道,因为右移了 3 位,所以指数是 -3。根据 IEEE754 的定义,单精度浮点数情况下,-3 的实际值是 127 - 3 = 124。明白了吗?127 表示 0,124 就表示 -3 了。而十进制的 124 转为二进制就是 1111100。

如果你还不理解,想想这个问题。

如果让你用扑克牌(A ~ K,也就是 1 ~ 13)来表示支持负数的。怎么办?我们会选择一个中间的数,比如 7 当做 0,因此 10 就是 +3,4 就是 -3。现在理解了吧!

小结

结合尾数和指数的规定,IEEE754 单精度浮点数,十进制 0.15625 对应的二进制内存表示是:0 01111100 01000000000000000000000。

6、程序确认下 IEEE754 的如上规定

读到这里,希望你能坚持下去。为了进一步加深理解,我画一张图和一个确认程序。

一张图

这张图是单精度浮点数 0.15625 的内存存储表示。根据三部分的二进制表示,可以反推出计算该数的十进制表示。作为练习,十进制的 2.75,用上图表示的话,各个位置分别都是什么值呢?

程序确认单精度浮点数的内存表示

使用 Go 语言编写一个程序,能够得到一个单精度浮点数的二进制内存表示。比如提供单精度浮点数 0.15625,该程序能够输出:0-01111100-01000000000000000000000。

package main

import (
	"fmt"
	"math"
)

func main() {
	var f float32 = 0.15625
	outputFEEE754(f)
}

func outputFEEE754(f float32) {
	// 将该浮点数内存布局当做 uint32 看待(因为都占用 4 字节)
	// 这里实际上是做强制转换,内部实现是:return *(*uint32)(unsafe.Pointer(&f))
	buf := math.Float32bits(f)

	// 加上两处 -,结果一共 34 byte
	var result [34]byte

	// 从低字节开始
	for i := 33; i >= 0; i-- {
		if i == 1 || i == 10 {
			result[i] = '-'
		} else {
			if buf%2 == 1 {
				result[i] = '1'
			} else {
				result[i] = '0'
			}
			buf /= 2
		}
	}

	fmt.Printf("%s\n", result)
}

// output: 0-01111100-01000000000000000000000

你可以使用上述程序,验证下 2.75,看看你做对没有!提供了一个在线可运行版本:https://play.studygolang.com/p/pg0QNQtBHYx

其实上面推荐的那个工具就能够得到十进制浮点数的二进制内存表示,地址:https://baseconvert.com/ieee-754-floating-point

另外,在 Java 语言中也有类似的方法:Float.floatToIntBits(),你可以使用 Java 实现上面类似的功能。

6、再看 0.1+0.2 = 0.30000000000000004

有了上面的知识,我们回过头看看这个经典的问题。(讨论单精度的情况,因此实际是 0.1+0.2 = 0.300000004)

出错的原因

出现这种情况的根本原因是,有些十进制小数无法转换为二进制数。如下图:

在小数点后 4 位时,连续的二进制数,对应的十进制数却是不连续的,因此只能增加位数来尽可能近似的表示。

0.1 和 0.2 是如何表示的?

根据前面的讲解,十进制 0.1 转为二进制小数,得到的是 0.0001100… (重复1100)这样一个循环二进制小数,使用 IEEE754 表示如下图:

同样的方法,0.2 用单精度浮点数表示是:0.20000000298023223876953125。所以,0.1 + 0.2 的结果是:0.300000004470348358154296875。

7、特殊值

耐心的读者看到这里,你真的很棒!但还没完哦,继续加油!

单精度浮点数的最大值

讲解下一个知识点之前,请思考本文开始的一个问题:单精度浮点数的最大值是多少?

根据前面学到的知识,我们很容易想到它的最大值的内存应该表示是这样的。

即:01111111111111111111111111111111。然而我们把这个值填入 https://baseconvert.com/ieee-754-floating-point 中,发现结果是这样的:

什么?NaN 是个什么鬼?!我就是按照你上面讲过的思考的。。。

别急,因为凡是都有特殊。现在就讲讲浮点数中的特殊值。

特殊值 infinity(无穷)

当指数位全是 1,尾数位全是 0 时,这样的浮点数表示无穷。根据符号位,有正无穷和负无穷(+infinity 和 -infinity)。为什么需要无穷?因为计算机资源的限制,没法表示所有的数,当一个数超过了浮点数的表示范围时,就可以用 infinity 来表示。而数学中也有无穷的概念。

在 Go 语言中,通过 math 包的 func Inf(sign int) float64 函数可以获取到正负无穷。

在 Java 语言中,通过 Float 或 Double 类中的常量可以获得:Float.POSITIVE_INFINITY、Float.NEGATIVE_INFINITY。

具体表示可以定义一个常量,比如:

正无穷:0x7FF0000000000000,负无穷:0xFFF0000000000000

和上面浮点数内存位模型强转 int 类似,这个执行相反操作(类似 Float64frombits 这样的函数),就得到了这个特殊的浮点值。可以看 Go 语言 math 标准库相应函数的实现。

特殊值 NaN

NaN 是 not-a-number 的缩写,即不是一个数。为什么需要它?例如,当对 -1 进行开根号时,浮点数不知道如何进行计算,就会使用 NaN,表示不是一个数。

NaN 的具体内存表示是:指数位全是 1,尾数位不全是 0。

和 infinity 类似,Go 和 Java 都定义了相应的函数或常量。

小结

现在清楚上面单精度浮点数最大值是不对的了吧,它是一个 NaN。画一张图,方便你更清晰的记住这些特殊值。

所以单精度浮点数的最大值应该能确认了,即:0 11111110 11111111111111111111111。

8、非规范化浮点数

接着用问题的方式继续:单精度浮点数的最小值是多少(正数)?

根据前面的知识,我们会得到这样的最小值:0 00000000 00000000000000000000001。根据前面规范化浮点数的规定,我们知晓该值是:2⁻¹²⁷×(1+2⁻²³)。

然而,最小值的内存表示没错,但算出来的结果是错的。(额头冒汗没?怎么又错了~)

为了避免两个小浮点数相减结果是 0(也就是规范化浮点数无法表示)这样情况出现,同时根据规范化浮点数的定义,因为尾数部分有一个省略的前导 1,因此无法表示 0。所以,IEEE754 规定了另外一种浮点数:

当指数位全是 0,尾数部分不全为 0,尾数部分没有省略的前导 1,同时指数部分的偏移值比规范形式的偏移值小 1,即单精度是 -126,双精度是 -2046。这种形式的浮点数叫非规范化浮点数(denormal number)。

因此单精度浮点数的最小值(正数)如下图:

有了非规范化浮点数,IEEE754 就可以表示 0 了,但会存在 +0 和 -0:即所有位全是 0 时是 +0;符号位是 1,其他位是 0 时是 -0。

9、IEEE754 浮点数分类小结

至此,浮点数相关的知识就介绍差不多了。为了让大家对整体再有一个更好的掌握,对浮点数的分类进行一些总结。

从上面的讲解,IEEE754 浮点数,指数是关键,根据指数,将其分为:特殊值、非规范化浮点数和规范化浮点数。

从上图规范化和非规范化浮点数的表示范围可以看出,两种类型的表示是具有连续性的。这也就是为什么非规范化浮点数指数规定为比规范形式的偏移值小 1(即单精度为 -126,双精度为 -2046)。

在数轴上,浮点数的分布:

10、总结

《深入理解计算机系统》这本书在讲解浮点数时说:许多程序员认为浮点数没意思,往坏了说,深奥难懂。经过本文的四千多字图文并茂的方式讲解,如果你认真看完了,我相信你一定掌握了浮点数。

此外,还有其他一些知识点,比如浮点数的运算、不满足结合律、四舍但五不一定入等,有兴趣的可以查阅相关资料。

现在是时候回过头来看看开始的题目了,你都会了吗?

最后,建议你结合你熟悉的语言更进一步补充相关知识。比如 Go 语言的 math 标准库;Java 的 java.lang.Float/Double 等包。

参考资料或相关链接