惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

Y
Y Combinator Blog
T
The Blog of Author Tim Ferriss
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
B
Blog RSS Feed
人人都是产品经理
人人都是产品经理
J
Java Code Geeks
Apple Machine Learning Research
Apple Machine Learning Research
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
Google Online Security Blog
Google Online Security Blog
www.infosecurity-magazine.com
www.infosecurity-magazine.com
Exploit-DB.com RSS Feed
Exploit-DB.com RSS Feed
酷 壳 – CoolShell
酷 壳 – CoolShell
The GitHub Blog
The GitHub Blog
N
News and Events Feed by Topic
Security Archives - TechRepublic
Security Archives - TechRepublic
D
DataBreaches.Net
阮一峰的网络日志
阮一峰的网络日志
H
Heimdal Security Blog
PCI Perspectives
PCI Perspectives
A
About on SuperTechFans
Forbes - Security
Forbes - Security
博客园 - 三生石上(FineUI控件)
博客园_首页
Vercel News
Vercel News
H
Hacker News: Front Page
WordPress大学
WordPress大学
Hacker News: Ask HN
Hacker News: Ask HN
MyScale Blog
MyScale Blog
Recent Announcements
Recent Announcements
N
News | PayPal Newsroom
T
Threatpost
Hacker News - Newest:
Hacker News - Newest: "LLM"
cs.CL updates on arXiv.org
cs.CL updates on arXiv.org
SecWiki News
SecWiki News
D
Docker
G
Google Developers Blog
L
LINUX DO - 最新话题
O
OpenAI News
S
Schneier on Security
AI
AI
T
The Exploit Database - CXSecurity.com
S
Security Affairs
I
Intezer
K
KPMG report finds enterprise disconnect between AI and its ROI | CIO
Security Latest
Security Latest
博客园 - 司徒正美
Know Your Adversary
Know Your Adversary
爱范儿
爱范儿
T
Troy Hunt's Blog
L
LINUX DO - 热门话题

林中阴影

林中阴影 | 关于蓝光刻录的一些调查 林中阴影 | 与IPv6地址战斗 林中阴影 | 半年前的NAS升级 林中阴影 | “智能” 家居笔记:一→两年后的回顾 林中阴影 | 旧手机做RDP客户端的一些尝试 林中阴影 | 一些矿渣的耗电量 林中阴影 | 穷人的IP-KVM远程访问 林中阴影 | 内网访问第三季:在运营商的CGNAT网络下 林中阴影 | “智能”家居笔记,其之二 林中阴影 | “智能”家居笔记,其之一 林中阴影 | 仅IPv6家庭内网服务实现v6+v4双栈访问 林中阴影 | 下载装小蜜监理拍摄的图片 林中阴影 | 几物互联 林中阴影 | 整了个“新”平板 林中阴影 | 获取招商信用卡账单的另一种方法 林中阴影 | 我在GitHub的⭐ 林中阴影 | Python与光学计算,2021 林中阴影 | 你可能并不需要内网穿透 林中阴影 | 2020 林中阴影 | 和(基本上)什么也不能连的电脑传递信息 林中阴影 | 我将贻笑于大方之家 林中阴影 | 一个新主题 林中阴影 | 2019过去了,我…… 林中阴影 | Beancount试用,半年后 林中阴影 | 自动输入剪贴板中的内容 林中阴影 | Unicode与数学公式 林中阴影 | Python中光学计算相关的库/Awesome Python for Optics 林中阴影 | 一本厕纸小说 林中阴影 | 震惊!为了在Windows上访问EXT4分区,他竟然做出了这样的事! 林中阴影 | 我的2018 林中阴影 | 笔记软件踩雷 林中阴影 | 关于BitMEX的杠杆 林中阴影 | 用Cloudflare的v4 API实现动态DNS(DDNS) 林中阴影 | 随机性从哪里来? 林中阴影 | 这次是纽约公共图书馆……而且居然还有第三部分? 林中阴影 | 这次是纽约公共图书馆……的第二天! 林中阴影 | 这次是纽约公共图书馆…… History Data for Bitcoin and Altcoins 林中阴影 | 幂律分布与Zipf's Law 林中阴影 | 学习笔记:神经网络的优化策略 林中阴影 | 最近对博客的改动 林中阴影 | 换了个新域名 林中阴影 | VPS初始化checklist 林中阴影 | 利用kcpraw流量加速 Aeolipile boiling: Your blog (with code and formula) on Steem! Aeolipile update: new theme, link generator and more! 林中阴影 | 离 林中阴影 | 社交恐惧症患者也想用Steem,所以我做了Aeolipile Aeolipile: your code and formula on Steem 林中阴影 | 2017年的fontconfig设置 林中阴影 | 为hugo加入数学公式支持 林中阴影 | 更琐碎的编辑器细节 / Some more trival details about Steemit 林中阴影 | 对Steem的一些细节考察 / A closer look to Steem 林中阴影 | 在Hugo中折叠部分内容 Brave New World: Firefox to Quantum Yesterday Once More: Firefox to Waterfox 林中阴影 | 首都图书馆半日游 林中阴影 | 关于那个IME helper Auto-Switch IME in Vim-Mode-Plus for Atom Editor 林中阴影 | 短消息:联通IPV6 林中阴影 | 迁移到hugo,第三部分:可是我想要更多的feed地址… 林中阴影 | 由wordpress到hugo:I 林中阴影 | 迁移到hugo,第二部分:部署到github 林中阴影 | Dota 2里,什么技能的冷却时间最短? 林中阴影 | 五年 林中阴影 | 为什么已经在Word里用M$的EMF格式了,图像还是不清楚? 林中阴影 | 用nethogs实时监控每个程序的流量使用 林中阴影 | shadowsocks 2016: 一次性认证,KCP及其他 林中阴影 | Deus ex machina 林中阴影 | QArt:更漂亮的QR码 林中阴影 | 我失去了heysh.tk域名 林中阴影 | 一个简单的在线LRC编辑器 林中阴影 | 野路子科研工具二则 林中阴影 | 我有显示器辣 林中阴影 | 2014年的总结 林中阴影 | shadowsocks,ipv6和便宜的VPS,还有OpenVPN 林中阴影 | 红色楼梯 林中阴影 | 用于OPENWRT的流量监控脚本:wrtbwmon 林中阴影 | SFW:治疗拖延症的一次有益尝试 林中阴影 | 木漏れ日 林中阴影 | 一次奇怪的firefox故障,还有,一个普通市民是怎么修电脑的 林中阴影 | Mortal 林中阴影 | vim again 林中阴影 | 邪恶的Archlinux 林中阴影 | 十一年前,以及今天 林中阴影 | 贺叶霜的树 林中阴影 | Limited Gear Works 林中阴影 | 永生,其二 林中阴影 | 我的云上逃亡,或,google reader的替代品 林中阴影 | 如果你像我一样主力使用xfce但又觉得GNOME3也许会变得好一点于是安装之后才发现果然还是无法接受 林中阴影 | CATIA是个好软件 林中阴影 | blog再次复活 林中阴影 | 2012-2013 林中阴影 | Texlive 在archlinux上的安装,以及中文字体的设置 林中阴影 | phpwind论坛刷分脚本(可用于openwrt) 林中阴影 | THU课程表导出,油猴脚本,输出vcal 林中阴影 | html5-世界变动率计数器(仮) 林中阴影 | 总结:简单的vCal/iCalendar/.ics格式说明 林中阴影 | Hello Again~ 林中阴影 | chicken
林中阴影 | 另一些预测未来的尝试,以及问题
2018-05-02 · via 林中阴影

之前写到,我们不能从水晶球中看到未来的清晰倒影。而本次的结论更加悲观:那些模糊的幻象基本上没有任何效果,并且很可能是有害的。

另,本文部分是《反脆弱》的读书笔记。虽然作者有的观点过于极端让人不爽,但是其理论仍能给人启发……特别是对于梦想预测未来的人来说。

现实:参数太多而数据量太少

作为一个实验室民工,当我在说“波长与温度成正比”的时候,大概只需要测量8次就够了。可是,当参数太多(而且不能控制变量)的时候,情况变得复杂起来。很多时候,能够得到的数据大概是这样:

timeabcdy
1996-03-161100.755
2007-04-22331415
2018-09-0161061830

提问:$y=?$

A. $y=5a$

B. $y=15b+10c-10d$

C. $y=\text{random}()$

D. $y$是当天大乐透的尾号

当然,作为实验民工的话,正交试验法典型相关分析主成分分析是找到复杂特性的好手段。可是,现实生活中,并不存在重复实验的条件,而且,我们甚至不能将所有参数一一列举出来。最糟糕的情况下,重要的原因仍然藏在水底。

大家喜闻乐见的冰山图.jpg

大家喜闻乐见的冰山图.jpg

这时候,关于预测未来这件事,出现了两种截然相反的手段。

(假)先知们的伎俩:冗余的参数与神秘主义

有时候,仅仅是声称能够预测未来就可以带来实际的好处,无论正确与否;1同时,生物似乎倾向于在事物中寻找规律2。于是,为了垄断对未来的解释权,在可以观察到的参数之外,这些预言家们倾向于将原因复杂化,典型的手法包括“神的旨意”、“群星的角度”和“技术分析”等等。

此时,由于参数的过量,过拟合能够获得对历史数据相当精确的表述(以及对占卜师的信任),然而其预测能力并不像看起来那样强。但是,我们并没有办法判断预言的正确程度(今天的恋爱运是69%),同时养成了在新事件发生之后不翻旧账的好习惯(没有“昨日运势”的地址)。这样的假先知在每个时代都能够占据一席之地。3

应对这样的预言家有一个简单的办法:“不要询问他的意见、预测或建议。只要问他们的投资组合中有什么或者没有什么就行。”换一个时髦一些的说法,叫做“利益相关”,这样的话,错误的预言至少能够得到一些代价。

奥卡姆剃刀,以及为什么在现实中(可能)失效

之前已经提到过过拟合这一概念:

当可选择的参数的自由度超过数据所包含信息内容时,会减少或破坏模型一般化的能力更甚于适应数据。(维基百科)

一般来说,奥卡姆剃刀是解决过拟合问题的有效途径。在预测能力相似的情况下,引入的假定越少越好。在贝叶斯理论下,可以通过贝叶斯因子(或其不够精确的代替品,赤池信息量准则等等)来进行判断。现实生活中的噪音比实验数据更多,按理说剃刀会更加锋利,但是,与数学模型不同,生活中:

样本(仍然)不足

我们再次遇到了这个问题。生活中很多时候,我们获得的信息类似这样:

  • “你看隔壁小李,多年的xxx就是吃这个药好的”
  • “啥,出去跑步来着?那没关系,药还是得喝”
  • “副作用?没事!老王喝了二十多年了身体倍儿棒”

仅看这些对话,可以得到一个解释力很强,假设又很少的理论,当然我们并不会相信它。日常生活中所能够得到的样本大概如此,有效信息量甚至比噪音还低。指望从中获取什么一般规律/人生哲理/生活智慧,基本上是不现实的——除了给自己增加一些盲目的自信之外。

“火鸡与农场主”、黑天鹅效应、以及损失敏感性

数学与现实生活的另一个区别是,数学是永恒的。只要公理和逻辑不变,同样的算式总是可以期待相同的结果。而现实生活则不同,每天的日常生活很可能是连续发生的奇迹,而且,一旦奇迹不再发生,很可能带来灾难性的结果。这一问题再次提升了预言的难度:不仅需要对未来的平均值,而且对其方差/极端情况进行描绘。

同时,相比正确的预测,错误的预测一般会带来更加恶劣的影响,在心理上也会更强的挫败感,这由我们的本能所决定。

那么……

很多时候,人们观察到了一个(或一组)现象,然后盲目地寻找到一个原因,并认为得到了正确的答案。这在我们进化初期十分有效,在今天也比投硬币决定稍微好一些——如果用于决策的证据真的不够的话。

在更多的情况下,预测未来(并信任这一预测)并不是个好主意。荷兰赌/两边下注/无风险套利可能是更明智的选择。由于日常生活并不是由精明的数学家所设计,这种机会仍是有可能存在的。

在必须要做出决定的时候,可能需要注意:

  1. 尽可能地获取无偏见的信息;
  • 当然,所谓“无偏见”又是另一个故事了。
  1. 只下能够赔得起的赌注;
  • 或者完全不下赌注——如果想成为预言家,而且没有道德洁癖的话。

来自19-6-9:

前几天突然想起一个例子。我们宇宙的最终命运——是重新回到一个闪耀的奇点,还是变成冰冷稀薄的碎片,和一个常数相关。现在的观测结果显示,这个常数很接近两种可能的分界线,但我们并不能确定自己是对的:对暗物质质量的计算已经很困难,更不要提什么暗能量了。