






















1 ipwx 2018 年 6 月 24 日看着公式对照 API,可以理解一大部分奇怪的技巧。比如: 为啥用 tf.nn.log_softmax 而不是 tf.log(tf.nn.softmax) ? 因为 exp(x_i)/sum_j(exp(x_j)) 有可能因为 x_i 普遍偏大而 exp 溢出。但 log[exp(x_i)/sum_j(exp(x_j))] = x_i - logsumexp(x),而 logsumexp(x) = x_max + log[sum_j(exp(x_j - x_max))]。这么一变换,所有 exp 项变成 exp(x_j - x_max) 之后,exp 相都小于 1,就不溢出了。 |
此内容由惯性聚合(RSS阅读器)自动聚合整理,仅供阅读参考。 原文来自 — 版权归原作者所有。