干货｜如何区别大数据与深度学习

小伙伴们下午好!在聊数据话题的时候，总是看到大家喜欢将大数据、数据挖掘、深度学习、机器学习之类的话题参杂起来讨论。但是很显然，大数据和深度学习完全是两个不同领域的名词。大数据是在描述数据本身的显性的一个状态。而深度学习或者说机器学习则是在试图描述数据内在的逻辑。具体应该怎么理解，我们往下看看吧！

简单来说︾深度学习（Deep Learning）只是机器学习（Machine Learning）的一种类别，一个子领域。机器学习 > 深度学习
大数据（Big Data）
不是具体的方法，甚至不算具体的研究学科，而只是对某一类问题，或需处理的数据的描述。
具体来说︾机器学习 (Machine Learning)是一个大的方向，里面包括了很多种approach，比如deep learning, GMM, SVM, HMM, dictionary learning, knn, Adaboosting…不同的方法会使用不同的模型，不同的假设，不同的解法。这些模型可以是线性，也可以是非线性的。他们可能是基于统计的，也可能是基于稀疏的….

不过他们的共同点是：都是data-driven的模型，都是学习一种更加abstract的方式来表达特定的数据，假设和模型都对特定数据广泛适用。好处是，这种学习出来的表达方式可以帮助我们更好的理解和分析数据，挖掘数据隐藏的结构和关系。

Machine Learning的任务也可以不同.

可以是预测 (prediction),

分类 (classification),

聚类 (clustering),

识别 (recognition),

重建 (reconstruction),

约束 (regularization),

甚至降噪 (denoising),

超分辨 (super-resolution),

除马赛克 (Demosaicing)等等…

深度学习 (Deep Learning)
是机器学习的一个子类，一般特指学习高层数的网络结构。这个结构中通常会结合线性和非线性的关系。
Deep Learning也会分各种不同的模型，比如CNN, RNN, DBN…他们的解法也会不同。
Deep Learning目前非常流行，因为他们在图像，视觉，语音等各种应用中表现出了很好的empirical performance。并且利用gpu的并行运算，在模型相当复杂，数据特别大量的情况下，依然可以达到很理想的学习速度。
因为Deep Learning往往会构建多层数，多节点，多复杂度的模型，人们依然缺乏多里面学习的结构模型的理解。很多时候，Deep Learning甚至会被认为拥有类似于人类神经网络的结构，并且这种类似性被当做deep learning居然更大potential的依据。
大数据（Big Data）
我们也叫它逼格数据… 它是对数据和问题的描述。通常被广泛接受的定义是大数据的5V特点 (IBM提出): Volume (大量), Velocity (高速), Variety (多样), Value (价值), Veracity (真实性)。大数据问题 (Big-data problem) 可以指那种在这五个V上因为大而带来的挑战。
Volume很好理解。一般也可以认为是Large-scale data (其实学术上用这个更准确)。“大”可以是数据的维度，也可以是数据的size。一般claim自己是big-data的算法会比较scalable，复杂度上对这两个不敏感。算法和系统上，人们喜欢选择并行 (Parallel), 分布 (distributed) 等属性的方法来增加capability。

Velocity就是数据到达的速度。对于数据高速到达的情况，需要对应的算法或者系统要有效的处理。而且数据在时间上可能存在变化，对应的算法或者系统居然做出调整和即时判断，以适应新的数据。这就要求我们提出高效 (Efficiency), 即时 (real-time), 动态 (dynamic), 还有有预测性 (predictive) 等等…

Variaty指的是数据的类别。以往的算法或者系统往往针对某一种已知特定类别的数据来适应。而一般大数据也会指针对处理那些unstructured data或者multi-modal data，这就对传统的处理方法带来了挑战。
Variability是指数据具有可变性。妨碍了处理和有效地管理数据的过程。

Veracity是数据的质量。这关系到最终处理数据的结果是否能保证一定的准确性。