概览

模型解释性作为整个系统的最上层，从模型中提取信息，供人来理解。

解释性的作用

1. 业务需要，保证结果可归因。
2. 提升模型效果。
3. 利于达成AGI（通用/强人工智能） 总得来说，解释性的作用还是为了提升最终的效果。

参考

模型解释性：https://christophm.github.io/interpretable-ml-book/ 神经网络解释性：http://colah.github.io/posts/2014-03-NN-Manifolds-Topology/