1.4.3 机器学习和深度学习的关系和对比
如图1-2所示，深度学习（Deep Learning，DL）属于机器学习的子类。它的灵感来源于人类大脑的工作方式，这是利用深度神经网络来解决特征表达的一种学习过程。深度神经网络本身并非是一个全新的概念，可理解为包含多个隐含层的神经网络结构。为了提高深层神经网络的训练效果，人们对神经元的连接方法以及激活函数等做出了调整，其目的在于建立、模拟人脑进行分析学习的神经网络，模仿人脑的机制来解释数据，如文本、图像、声音。
图1-2
如果是传统机器学习方法，我们会首先定义一些特征，如有没有胡须，耳朵、鼻子、嘴巴的模样，等等。总之，首先要确定相应的“面部特征”作为机器学习的特征，以此来对对象进行分类识别。
而现在，深度学习方法更进一步。深度学习可以自动找出这个分类问题所需要的重要特征，而传统的机器学习则需要人工给出特征。
那么深度学习是如何做到这一点的呢？以猫狗识别的例子来说，按照以下步骤即可：
（1）确定有哪些边和角跟识别出猫和狗关系最大。
（2）根据上一步找出的很多小元素（边、角等）构建层级网络，找出它们之间的各种组合。
（3）在构建层级网络之后，就可以确定哪些组合可以识别出猫和狗。
深度学习的“深”是因为它通常有较多的隐藏层，正是因为有那么多隐藏层存在，深度学习网络才拥有表达更复杂函数的能力，这样才能识别更复杂的特征，继而完成更复杂的任务。
对于机器学习与深度学习，我们从5个方面进行比较：数据依赖、硬件依赖、特征工程、运行时间、可理解性。
1．数据依赖
机器学习能够适应各种数据量，特别是数据量较小的场景。如果数据量迅速增加，那么深度学习的效果将更加突出，如图1-3所示。这是因为深度学习算法需要大量数据才能完美理解。随着数据量的增加，二者的表现有很大区别。
图1-3
通过数据量对不同方法表现的影响可以发现，深度学习适合处理大数据，而数据量比较小的时候，用传统机器学习方法也许更合适。之前提到的预先训练过的网络在120万幅图像上进行了训练。对于许多应用来说，这样的大数据集并不容易获得，并且花费昂贵且耗时。
2．硬件依赖
深度学习十分依赖高端的硬件设施，因为计算量实在太大了。深度学习中涉及很多矩阵运算，因此很多深度学习都要求有GPU参与运算，因为GPU就是专门为矩阵运算而设计的。相反，普通的机器学习随便给一台计算机就可以运行。深度学习需要使用高端的CPU和GPU（图形处理器）。与GPU相比，CPU在处理并行计算的速度上略有落后。GPU的设计初衷是用于图形渲染，这需要大规模的并行计算来处理图像中的像素。深度学习中的许多任务也可以受益于大规模并行计算，因为神经网络中的许多操作可以同时在多个数据点上执行。GPU的高度并行化结构使其非常适合执行这些操作。
3．特征工程
特征工程是指我们在训练一个模型的时候，需要首先确定有哪些特征。在机器学习方法中，几乎所有的特征都需要通过行业专家来确定，然后手工对特征进行编码。然而深度学习算法试图自己从数据中学习特征。这也是深度学习十分引人注目的一点，毕竟特征工程是一项十分烦琐、耗费很多人力物力的工作，深度学习的出现大大减少了发现特征的成本。经典的机器学习算法通常需要复杂的特征工程。首先在数据集上执行深度探索性数据分析，然后做一个简单的降低维数的处理。最后，必须仔细挑选一些对结果预测最有用的特征传递给机器学习算法。而当使用深度网络时，不需要这样做，因为只需将数据直接传递到网络，通常就可以实现良好的性能。深度学习算法试图自己从数据中学习特征。这也是深度学习十分引人注目的一点，毕竟特征工程是一项十分烦琐、耗费很多人力物力的工作，深度学习的出现大大减少了发现特征的成本。
4．运行时间
深度学习需要花费大量时间来训练，因为有太多参数需要学习。顶级的深度学习算法需要花费几周的时间来训练。但是机器学习一般几秒钟，最多几小时就可以训练好。执行时间是指训练算法所需要的时间量。一般来说，深度学习算法需要大量时间进行训练。这是因为该算法包含很多参数，因此训练它们需要比平时更长的时间。相对而言，机器学习算法的执行时间更少。但是深度学习花费这么多时间训练模型肯定不会白费力气的，优势在于模型一旦训练好，在预测任务时就运行得很快。
5．可理解性
最后一点，也是深度学习的一个缺点。其实也算不上缺点吧，那就是深度学习很多时候我们难以理解。一个深层的神经网络，每一层都代表一个特征，而层数多了，我们也许根本不知道它们代表什么特征，就无法把训练出来的模型用来对预测任务进行解释。例如，我们用深度学习方法来批改论文，也许训练出来的模型对论文评分都十分准确，但是我们无法理解模型的规则，这样那些拿了低分的同学找你问“凭什么我的分这么低？”，你会哑口无言，因为深度学习模型太复杂，内部的规则很难理解。
传统机器学习算法就不一样，比如决策树算法，可以明确地把规则列出来，每一个规则、每一个特征都可以理解。但这不是深度学习的错（指深度学习模型太复杂，内部的规则很难理解），只能说它太厉害了，人类还不够聪明，理解不了深度学习的内部特征。