成为机器学习大神,你不能不懂数学

2021-10-15 21:10 好书推荐

如何自学机器学习?需要哪些数理基础?怎样从入门到进阶,成就大神之路?对于这些问题,作为毕业后投身机器学习研究的数学博士、微软亚洲研究院机器学习组主管研究员陈薇无疑是最有发言权的。在这篇书单推荐中,她从机器学习综述、算法优化、理论延展、数学基础四大方面入手,为大家提供一份机器学习的“完全指南”。

在这个言必谈“AI”的时代,机器学习是重要的算法内核,而数学是理解和改进机器学习算法的必经之路。因此,我将在这篇文章中梳理机器学习的关键模块和与之联系的数学理论分支,列出一份机器学习的数学书单。

机器学习综述篇

机器学习算法的一般流程,是按照学习问题的性质设计模型,利用优化算法来最小化模型的正则化经验风险,从而学习出最优模型,然后应用到新的测试数据上。根据学习问题、模型、优化算法、正则化方法的不同,学习算法分为许多种类。浏览机器学习算法综述类书籍的目录,就不难发现机器学习的算法体系。以下3本机器学习综述类书籍,能帮助你建立对机器学习的整体认知:

1)Pattern recognition and machine learning

书单丨成为机器学习大神,你不能不懂数学

作者:Christoper M. Bishop

适合人群:初级到中级学者

推荐指数:★★★★★

主要内容:本书全面介绍了模式识别和机器学习,包括近年来的最新发展。如果你对机器学习、统计学、信号处理、计算机视觉、数据挖掘等方向感兴趣,都可以学习这本书。在打开这本书前,你不需要有模式识别或机器学习的知识,但至少要熟悉多元微积分和基本线性代数,有一些概率论知识会更好,书中也会有对基本概率理论的介绍。

推荐理由:这本书浅显易懂,生动形象,较为全面地涵盖了线性回归、神经网络、核方法等经典的监督机器学习算法,以及非监督的概率图模型和EM算法,非常适合初步接触机器学习算法的读者们。

2)Neural networks and learning machines

书单丨成为机器学习大神,你不能不懂数学

作者:Simon Haykin

适合人群:初级到中级学者

推荐指数:★★★★★

主要内容:本书共15章,是关于神经网络的非常全面的、最新的论述,内容包括Rosenblatt感知器、回归模型、多层感知器、核方法和径向基函数网络、支持向量机、正则化理论、信息论学习模型等。

推荐理由:这本书从神经网络讲起,循序渐进,从感知机、多层感知机、径向基函数感知机,过渡到核方法和SVM,然后讨论学习算法与信息论和统计的关联关系,最后介绍动态系统的学习及其与递归神经网络的关系。

3)Deep Learning

书单丨成为机器学习大神,你不能不懂数学

作者:Ian Goodfellow, Yuoshua Bengio, Aaron Couville

适合人群:初级到中级学者

推荐指数:★★★★★

主要内容:本书是深度学习领域奠基性的经典教材,包含三部分:一,介绍基本的数学工具和机器学习的概念,作为深度学习的预备知识;二,系统深入地讲解现今已成熟的深度学习方法和技术;三,讨论具有前瞻性的方向和想法,它们是深度学习未来的研究重点。本书适合各个相关专业的学生,以及不具有机器学习或统计背景的软件工程师,来快速补充深度学习知识并将其投入实际应用。

推荐理由:这本书侧重深度学习在2006年再次兴起、获得更大成功之后的新进展,尤其介绍了深度学习在自然语言处理、语音识别、计算机视觉、在线推荐等中的应用,而且包含了表达学习这一研究视角。

机器学习算法优化篇

机器学习算法的最终性能会受到三个因素的影响:模型空间的表达力、优化算法的收敛速率、泛化能力。在表达力方面,除了神经网络的普遍逼近定理之外,定量的研究非常有限。推荐以下3本介绍优化算法的书籍:

1)Convex optimization

书单丨成为机器学习大神,你不能不懂数学

作者:Steve Boyd

适合人群:初级到中级学者

推荐指数:★★★★★

主要内容:本书分为理论、应用、算法三大部分。理论部分介绍基础概念、知识和方法;应用部分介绍凸优化在解决逼近与拟合、统计估计和几何关系分析这三类实际问题中的应用;算法部分介绍求解无约束凸优化模型、等式约束凸优化模型以及包含不等式约束的凸优化模型的经典数值方法,以及如何利用凸优化理论分析这些方法的收敛性质。

推荐理由:内容全面,侧重算法,更适合初学者,能够帮助读者对凸优化理论和方法建立完整的认识。

2)Convex analysis and optimization

书单丨成为机器学习大神,你不能不懂数学

作者:Dimitri P. Bertsekas et,al.

适合人群:中级到高级学者

推荐指数:★★★★★

主要内容:本书对凸分析及其优化进行了全面的阐述,除此之外,还通过引入一些新的分析视角来重构该主题理论。

推荐理由:本书侧重凸算法的性质,更适合对凸分析感兴趣的学者。

3)The nature of Statistical learning theory

书单丨成为机器学习大神,你不能不懂数学

作者:Vladimir Vapnik

适合人群:中级到高级学者

推荐指数:★★★★★

主要内容:本书讨论了统计理论背后的基本思想,包括学习和概括。作者将学习视为基于经验数据的函数估计的一般问题,重点讨论了学习理论及其与统计学的关系,进一步发展了学习理论和SVM算法。

推荐理由:在泛化方面,除了可以参考综述类书籍的正则化技术章节之外,Vapnik的这本书将泛化性能描述成统计推断问题,提出了著名的VC容度来解答泛化问题,并由此设计了结构风险最小原则,引出SVM算法。

近几年,深度学习的理论受到学术界的广泛关注,希望不远的将来我们能对深度学习的逼近、优化、泛化有更深入全面的了解,涌现出一批深度学习理论的书籍。

机器学习理论延展篇

前文中的机器学习理论均以统计学描述学习算法性能。除此之外,信息论、博弈论、计算复杂度的相关理论也与机器学习联系密切,因此在这里推荐一些相关书籍作为机器学习的理论延展。

信息论

书单丨成为机器学习大神,你不能不懂数学

作者:Thomas M. Cover, Joy A. Thomas

适合人群:初级到中级学者

推荐指数:★★★★★

主要内容:这本书是信息论领域中的一本简明易懂的教材,对熵、信源、信道容量、率失真、数据压缩与编码理论、复杂度理论、网络信息论和假设检验等进行了介绍,能在理论和应用方面为读者打下坚实的基础。

推荐理由:信息论对理解模型有独特的视角,可以给出非监督概率生成模型的统一体系,也有人尝试用来理解深度学习的信息瓶颈。这本书中概念清楚,内容完整。

博弈论

A course in game theory

书单丨成为机器学习大神,你不能不懂数学

作者:Martin J. Osborne, Ariel Rubinstein

适合人群:初级到中级学者

推荐指数:★★★★★

主要内容:本书介绍了博弈论的基本概念和理论基础,由四部分组成:战略博弈、完全信息扩展博弈、不完全信息扩展博弈以及联盟博弈。

推荐理由:随着交互环境中强化学习技术的兴起,博弈论为我们描述或者建立agent的行为提供了有效的概念。这本书中将理论与例子结合,直观易懂。

计算复杂度

Computational complexity:A modern approach

书单丨成为机器学习大神,你不能不懂数学

作者:Sanjeev Arora

适合人群:中级到高级学者

推荐指数:★★★★★

主要内容: 这本书涵盖了计算复杂度理论的经典成果和最近的成就,可作为任何感兴趣的读者的自学参考。

推荐理由:计算复杂度刻画了算法的效率,尤其是针对离散的组合优化。如果对与机器学习有重要关系的加密、量子计算感兴趣,可以通过Sanjeev Arora的这本书对计算复杂度有更深入的了解。

数学基础篇

另外,还有极其重要的一点——入坑机器学习的你,别忘了打好数学功底!作为理解和改进机器学习算法的必经之路,数学是一切的基础。从概率论、代数到实变函数,扎扎实实走好每一步,才能让后面的进阶学习更加顺利。

Probability

书单丨成为机器学习大神,你不能不懂数学

作者:A.N.Shiryaev

适合人群:初级到高级学者

推荐指数:★★★★★

推荐理由:概率论是统计学和机器学习的基本描述语言,值得好好学习。推荐Probability,这本书不仅内容全面,推导清晰,而且有直观的例子。读者可以跳过书中部分较深入的章节。

高等代数

书单丨成为机器学习大神,你不能不懂数学

出版社:高等教育出版社

适合人群:初级到中级学者

推荐指数:★★★★★

推荐理由:代数是处理矩阵问题的主要技术,同时可以帮助深入理解(线性)空间。推荐高等教育出版社的《高等代数》,概念清晰,重要定理及证明完整,并配有大量习题。

此外,实变函数能够帮助我们深入理解收敛、微分、积分,并结合测度论过渡到随机积分和随机微分方程,而随机微分方程是描述随机动态系统的主要技术。泛函分析中算子的概念和四大定理对机器学习很有用处,比如理解Q-learning的Bellman 算子,用压缩映射定理刻画强化学习问题的不动点,等等。因此,以下四本相关书籍也值得大家仔细阅读。

实变函数论

书单丨成为机器学习大神,你不能不懂数学

作者:周民强

测度与概率

书单丨成为机器学习大神,你不能不懂数学

作者:严士健,刘秀芳

泛函分析讲义

书单丨成为机器学习大神,你不能不懂数学

作者:张恭庆,郭懋正

随机微分方程引论

书单丨成为机器学习大神,你不能不懂数学

作者:龚光鲁

最后,祝大家学习愉快!

相关文章
5本书读懂生活中的经济学原理

5本书读懂生活中的经济学原理

[好书推荐]5本书读懂生活中的经济学原理,做个有经济头脑的聪明人 1、《一课经济学》 亨利黑兹利特 豆瓣评分:8.4(2656人评价) 这是一本畅销70多年的经济学入门好书! 甚至连经济学大师哈耶克、弗里

数学老师简笔画画法超简单

数学老师简笔画画法超简单

[简笔画大全]首先画一个圆圈。画出数学老师的头部。在头部适合的位置画上耳朵。画数学老师头发的发髻。画上老师的五官。再画上数学老师的衣服。最后上色,简单的数学老师简笔画就画好啦。 数学老

《永远永远爱你》好书推荐及理由

《永远永远爱你》好书推荐及理由

[好书推荐]1、宫西达也温馨恐龙故事系列的又一力作,因为有爱你的人,一个人可以变得强大;因为有你爱的人,一个人可以变得温柔。 2、让孩子懂得:重要的是你如何去感知这个世界,如何处理自己

幼儿园数学说课稿《配对找朋友》

幼儿园数学说课稿《配对找朋友》

[教案]幼儿园数学说课稿《配对找朋友》 一、说课题名称 今天我要说课的题目是幼儿园小班数学活动《配对-找朋友》。接下来我会从以下几个方面进行我的说课。 二、说设计意图 《纲要》中指出科

推荐5本优秀儿童作品,好书永远不过时

推荐5本优秀儿童作品,好书永远不过时

[儿童书籍]大家都知道读书有益,但重点要读好书,所谓好书都是经得起时间和读者检验的。今天给大家带来5本好书。 1、《走进奇妙的野兽王国》 中科院动物研究所动物专家蒋志刚推荐 英国皇家艺术学

推荐内容
10本经典儿童教育书籍,用心关注孩子成长

10本经典儿童教育书籍,用心关注孩子成长

[好书推荐]10本经典儿童教育书籍,用心关注孩子成长。好父母成就孩子一生,希望孩子全方面成长的同时,父母首先需要做孩子的好榜样,成为一名合格的家长。小编抽空整理了10本经典儿童教育书籍,

大学生必读书目不应该错过的22本好书推荐

大学生必读书目不应该错过的22本好书推荐

[好书推荐]今天的书单只有22本,对于四年的大学生活而言,显然太单薄了。这个书单只是一个引子,希望能收到更多推荐。大学生必读书目不应该错过的22本好书推荐。 读大学不应该错过的22本书 1、《

30本经典好书推荐,30句书中经典名言

30本经典好书推荐,30句书中经典名言

[好书推荐]30本经典好书推荐,30句书中经典名言。每个人都在追求生命的完整,有的人通过家人、孩子、朋友的关系获得这种完整,有的人只通过自己与自己的关系就能获得生命的完整,殊途同归,最终

这些经典好书适合静心阅读

这些经典好书适合静心阅读

[好书推荐]生活如大海般沉默,宁静如昨日,一切平常如初。12月即将到来,2020年就要过去了。年初的计划你完成了多少呢?在这个冬季,泡一杯热咖啡,在温暖的房间一角,认真开启你的阅读之旅吧~

茅盾文学奖历年所有经典作品,48本书全在这里

茅盾文学奖历年所有经典作品,48本书全在这里

[好书推荐]茅盾文学奖历年所有经典作品 48本书全在这里 第十届(2015-2017) 01《人世间》 这本书,简直是另一个版本的《平凡的世界》, 把一群草根年轻人的奋斗、悲欢离合写得淋漓尽致, 从20世纪7