树模型和神经网络，像一枚硬币的两面。在某些情况下，树模型的性能甚至优于神经网络。
由于神经网络的复杂性，它们常常被认为是解决所有机器学习问题的「圣杯」。而另一方面，基于树的方法并未得到同等重视，主要原因在于这类算法看起来很简单。然而，这两种算法看似不同，却像一枚硬币的正反面，都很重要。
树模型 VS 神经网络
基于树的方法通常优于神经网络。本质上，将基于树的方法和基于神经网络的方法放在同一个类别中是因为，它们都通过逐步解构来处理问题，而不像支持向量机或 Logistic 回归那样通过复杂边界来分割整个数据集。
很明显，基于树的方法沿着不同的特征逐步分割特征空间，以优化信息增益。不那么明显的是，神经网络也以类似的方式处理任务。每个神经元监视特征空间的一个特定部分（存在多种重叠）。当输入进入该空间时，某些神经元就会被激活。
神经网络以概率的视角看待这种逐段模型拟合 (piece-by-piece model fitting)，而基于树的方法则采用确定性的视角。不管怎样，这两者的性能都依赖于模型的深度，因为它们的组件与特征空间的各个部分存在关联。
包含太多组件的模型（对于树模型而言是节点，对于神经网络则是神经元）会过拟合，而组件太少的模型根本无法给出有意义的预测。（二者最开始都是记忆数据点，而不是学习泛化。）
要想更直观地了解神经网络是如何分割特征空间的，可阅读这篇介绍通用近似定理的文章：https://medium.com/analytics-vidhya/you-dont-understand-neural-networks-until-you-understand-the-universal-approximation-theory-85b3e7677126。
虽然决策树有许多强大的变体，如随机森林、梯度提升、AdaBoost 和深度森林，但一般来说，基于树的方法本质上是神经网络的简化版本。
-
基于树的方法通过垂直线和水平线逐段解决问题，以最小化熵（优化器和损失）。神经网络通过激活函数来逐段解决问题。
-
基于树的方法是确定性的，而不是概率性的。这带来了一些不错的简化，如自动特征选择。
-
决策树中被激活的条件节点类似于神经网络中被激活的神经元（信息流）。
-
神经网络通过拟合参数对输入进行变换，间接指导后续神经元的激活。决策树则显式地拟合参数来指导信息流。（这是确定性与概率性相对应的结果。）