「04」机器学习、深度学习需要哪些数学知识?

入门避坑指南

自学三年,基本无人带路,转专业的我自然是难上加难,踩过无数坑,走过很多弯路。这里我整理了一下自己踩过的坑,供大家参考。

 

1. 不要从头开始学数学

 如果不是一点数学都不会,你没有必要从零学起。用上个把月,把微积分、线性代数、以及概率统计复习一遍就够了。我自己因为没有学过高数,所以花了半年时间,甚至读了数学分析、泛函分析和测度论这样的教材。现在回想起来,其实学到的大部分知识并没有在后来的算法生涯中用到,虽然算不上沉没成本,但投入产出比绝对不高。

因此,不要过度投入到数学领域,打好基础即可。有个例子说的很好, 如果你想造汽车,你需要有20年的理论功底,以及技术实践。 但如果你只是想开汽车,却很快就能学会。 当个司机,你需要去了解汽油发动机原理吗? 不需要。 因为你开的车,甚至有可能根本就用不上汽油发动机(电动车)。

 

2. 代码能力要过关

我在大三一年自修完了计算机系的所有必修课,因为我深知数据科学离不开计算机底层知识。我见过不少只会背推导公式,连JVM虚拟机是什么都不知道的人。除了Python,请至少学习1-2门底层语言,比如C/C++,Java。

此外,如果你的目标是算法工程师,那么数据结构与算法、计算机系统、内存机制、网络编程、大数据框架也要着手学习,因为你是以企业工作为导向的。这方面我有空会把自己读研时找实习的经历整理分享出来。

 

3. 不要过分深入

深度学习,底层结构很复杂,理论知识读懂即可,书也可以跳着看。除了自己感兴趣的部分,其他不需要深入。

 

4. 不要重复造轮子

不管是你是做科研还是搞业务算法,在开始入门的时候,认认真真自己实现一遍基础算法的底层代码就足够了,对于更多复杂的算法实现,如非必要(比如打比赛),否则请不要浪费时间,要记住,你只是入门,不需要专精这个领域。

我曾经读过hadoop的ML包源码,以及xgboost的C++源码,对当时还在入门的我来说,是做无用功。轮子还没修好,就照着别人的高铁学习结构,效率不会太高。现如今,对于大多数深度模型调用,代码量基本不过百行。除非你的方向是大规模、高可用深度学习系统的底层开发、架构开发,那么没有必要深入底层代码。

 

5. 不要报培训班

这一点仁者见仁。但我认为,网络上的公开课足够你学的了,比如Coursera,斯坦福CS231,可汗学院等等,这些现在都有中文字幕。相关资源我整理放在文末了,大家可以取用。要强调的是,有的同学会觉得花了钱,自然就会心疼,就会坚持学下去。这个想法很好,但太天真,有两点

我这么写可能有培训班的人来举报我(之前被举报过),但如今收割智商的培训班太多,连带着AI行业都被搞臭,所以我还是要说。

 


 

最后,我总结了深度学习、机器学习领域中所有会用到的数学知识,大家在制定计划时可以以这些知识点为脉络进行学习,如无必要,不要投入太多时间去学习这些以外的知识

微积分

微积分是现代数学的基础,线性代数,矩阵论,概率论,信息论,最优化方法等数学课程都需要用到微积分的知识。单就机器学习和深度学习来说,更多用到的是微分。积分基本上只在概率论中被使用,概率密度函数,分布函数等概念和计算都要借助于积分来定义或计算。 几乎所有学习算法在训练或者预测时都是求解最优化问题,因此需要依赖于微积分来求解函数的极值,而模型中某些函数的选取,也有数学性质上的考量。对于机器学习而言,微积分的主要作用是: 1.求解函数的极值 2.分析函数的性质 下面列出机器学习和深度学习中所需的微积分知识点,显然,不是课本里所讲的所有内容都是需要的,我们只列出所必须的。

线性代数与矩阵论

相对于微积分,线性代数似乎用的更多,而且有一部分属于矩阵论/矩阵分析的范畴,超出了工科线性代数教材的范围。下面列出线性代数和矩阵论的常用知识点。

概率论与信息论

 

概率论与信息论在机器学习中用得非常多。概率论的知识,一般不超出工科教材的范畴。而信息论是很多同学没有学过的,不过只要你理解了微积分和概率论,理解这些概念并不是难事。下面列出常用的概率论与信息论知识点。

最优化方法

前面已经说过,最优化方法是机器学习的灵魂,用于确定模型的参数或预测结果。不幸的是,工科专业一般没有学过这门课。不过只要你理解了微积分和线性代数,并不难推导出这些算法。下面列出常用的最优化方法知识点:

图论

机器学习中的某些问题可以用图论的方法解决,如流形学习,谱聚类。某些算法的表达也可能用到图论的知识,如深度学习中的计算图,NAS中的网络拓扑结构图。概率图模型让很多初学者谈虎色变,它是图论与概率论的完美结合。下面介绍常用的图论知识点。 图的基本概念:如顶点,边,有向图,无向图等。

邻接矩阵与加权度矩阵:图论中的核心概念,边一般都带有权重的。

某些特殊的图:如二部图,有向无环图等,在深度学习中经常会用到他们。

最短路径问题:经典的Dijkstra算法是每个程序员必须掌握的。

拉普拉斯矩阵和归一化拉普拉斯矩阵:比较难理解的概念,机器学习中的很多算法,如流形学习,使用图论的半监督学习,谱聚类都离不开它。理解这个矩阵和它的性质,是理解这些算法的基础。

 


 

最后附上自己整理的入门书单和课程,里面小蓝书、花书一类的我没放进去,因为我认为并不适合入门。这里我列的课程和书目都是非常beginner-friendly,适合新手读。其中有些书是几年前我看过的,而有些书是19年才写的,非常接近目前业界的深度学习应用,个人推荐看新书。(不知为何,新书的评分通常更高)

数学课程

  1. 麻省理工公开课:线性代数_全35集_网易公开课
  2. 可汗学院-线性代数入门
  3. 线性代数应该这样学 (豆瓣),
  4. 高等微積分 - 臺大開放式課程 (NTU OpenCourseWare)
  5. 概率论与数理统计 (豆瓣)

算法课程

  1. Coursera-机器学习-Andrew Ng
  2. BiliBili-机器学习基石-林轩田
  3. CS231n: Convolutional Neural Networks for Visual Recognition
  4. Deep Learning Tutorial from Stanford -Stanford计算机系官方tutorial,Andrew Ng执笔
  5. An Introduction to Statistical Learning with Applications in R 强烈推荐看Simple版
  6. Python深度学习 豆瓣评分9.6,深度学习类目下排名第一
  7. 动手学深度学习 豆瓣评分9.3,李沐老师写的
  8. 深度学习入门 豆瓣评分9.4,斋藤康毅大神写的

论文

深度学习代码库

下一篇文章,将会从简单的分类算法谈起,教大家如何学习机器学习算法,更多机器学习、编程、AI相关知识,也欢迎关注我的公众号“图灵的猫”

扫码关注公众号,点击“学习资料”菜单,即可获得以上机器学习、深度学习书籍等免费PDF资源~



 

「04」机器学习、深度学习需要哪些数学知识?

全文结束