成为机器学习大神,你不能不懂数学

2021-10-15 21:10 好书推荐

如何自学机器学习?需要哪些数理基础?怎样从入门到进阶,成就大神之路?对于这些问题,作为毕业后投身机器学习研究的数学博士、微软亚洲研究院机器学习组主管研究员陈薇无疑是最有发言权的。在这篇书单推荐中,她从机器学习综述、算法优化、理论延展、数学基础四大方面入手,为大家提供一份机器学习的“完全指南”。

在这个言必谈“AI”的时代,机器学习是重要的算法内核,而数学是理解和改进机器学习算法的必经之路。因此,我将在这篇文章中梳理机器学习的关键模块和与之联系的数学理论分支,列出一份机器学习的数学书单。

机器学习综述篇

机器学习算法的一般流程,是按照学习问题的性质设计模型,利用优化算法来最小化模型的正则化经验风险,从而学习出最优模型,然后应用到新的测试数据上。根据学习问题、模型、优化算法、正则化方法的不同,学习算法分为许多种类。浏览机器学习算法综述类书籍的目录,就不难发现机器学习的算法体系。以下3本机器学习综述类书籍,能帮助你建立对机器学习的整体认知:

1)Pattern recognition and machine learning

书单丨成为机器学习大神,你不能不懂数学

作者:Christoper M. Bishop

适合人群:初级到中级学者

推荐指数:★★★★★

主要内容:本书全面介绍了模式识别和机器学习,包括近年来的最新发展。如果你对机器学习、统计学、信号处理、计算机视觉、数据挖掘等方向感兴趣,都可以学习这本书。在打开这本书前,你不需要有模式识别或机器学习的知识,但至少要熟悉多元微积分和基本线性代数,有一些概率论知识会更好,书中也会有对基本概率理论的介绍。

推荐理由:这本书浅显易懂,生动形象,较为全面地涵盖了线性回归、神经网络、核方法等经典的监督机器学习算法,以及非监督的概率图模型和EM算法,非常适合初步接触机器学习算法的读者们。

2)Neural networks and learning machines

书单丨成为机器学习大神,你不能不懂数学

作者:Simon Haykin

适合人群:初级到中级学者

推荐指数:★★★★★

主要内容:本书共15章,是关于神经网络的非常全面的、最新的论述,内容包括Rosenblatt感知器、回归模型、多层感知器、核方法和径向基函数网络、支持向量机、正则化理论、信息论学习模型等。

推荐理由:这本书从神经网络讲起,循序渐进,从感知机、多层感知机、径向基函数感知机,过渡到核方法和SVM,然后讨论学习算法与信息论和统计的关联关系,最后介绍动态系统的学习及其与递归神经网络的关系。

3)Deep Learning

书单丨成为机器学习大神,你不能不懂数学

作者:Ian Goodfellow, Yuoshua Bengio, Aaron Couville

适合人群:初级到中级学者

推荐指数:★★★★★

主要内容:本书是深度学习领域奠基性的经典教材,包含三部分:一,介绍基本的数学工具和机器学习的概念,作为深度学习的预备知识;二,系统深入地讲解现今已成熟的深度学习方法和技术;三,讨论具有前瞻性的方向和想法,它们是深度学习未来的研究重点。本书适合各个相关专业的学生,以及不具有机器学习或统计背景的软件工程师,来快速补充深度学习知识并将其投入实际应用。

推荐理由:这本书侧重深度学习在2006年再次兴起、获得更大成功之后的新进展,尤其介绍了深度学习在自然语言处理、语音识别、计算机视觉、在线推荐等中的应用,而且包含了表达学习这一研究视角。

机器学习算法优化篇

机器学习算法的最终性能会受到三个因素的影响:模型空间的表达力、优化算法的收敛速率、泛化能力。在表达力方面,除了神经网络的普遍逼近定理之外,定量的研究非常有限。推荐以下3本介绍优化算法的书籍:

1)Convex optimization

书单丨成为机器学习大神,你不能不懂数学

作者:Steve Boyd

适合人群:初级到中级学者

推荐指数:★★★★★

主要内容:本书分为理论、应用、算法三大部分。理论部分介绍基础概念、知识和方法;应用部分介绍凸优化在解决逼近与拟合、统计估计和几何关系分析这三类实际问题中的应用;算法部分介绍求解无约束凸优化模型、等式约束凸优化模型以及包含不等式约束的凸优化模型的经典数值方法,以及如何利用凸优化理论分析这些方法的收敛性质。

推荐理由:内容全面,侧重算法,更适合初学者,能够帮助读者对凸优化理论和方法建立完整的认识。

2)Convex analysis and optimization

书单丨成为机器学习大神,你不能不懂数学

作者:Dimitri P. Bertsekas et,al.

适合人群:中级到高级学者

推荐指数:★★★★★

主要内容:本书对凸分析及其优化进行了全面的阐述,除此之外,还通过引入一些新的分析视角来重构该主题理论。

推荐理由:本书侧重凸算法的性质,更适合对凸分析感兴趣的学者。

3)The nature of Statistical learning theory

书单丨成为机器学习大神,你不能不懂数学

作者:Vladimir Vapnik

适合人群:中级到高级学者

推荐指数:★★★★★

主要内容:本书讨论了统计理论背后的基本思想,包括学习和概括。作者将学习视为基于经验数据的函数估计的一般问题,重点讨论了学习理论及其与统计学的关系,进一步发展了学习理论和SVM算法。

推荐理由:在泛化方面,除了可以参考综述类书籍的正则化技术章节之外,Vapnik的这本书将泛化性能描述成统计推断问题,提出了著名的VC容度来解答泛化问题,并由此设计了结构风险最小原则,引出SVM算法。

近几年,深度学习的理论受到学术界的广泛关注,希望不远的将来我们能对深度学习的逼近、优化、泛化有更深入全面的了解,涌现出一批深度学习理论的书籍。

机器学习理论延展篇

前文中的机器学习理论均以统计学描述学习算法性能。除此之外,信息论、博弈论、计算复杂度的相关理论也与机器学习联系密切,因此在这里推荐一些相关书籍作为机器学习的理论延展。

信息论

书单丨成为机器学习大神,你不能不懂数学

作者:Thomas M. Cover, Joy A. Thomas

适合人群:初级到中级学者

推荐指数:★★★★★

主要内容:这本书是信息论领域中的一本简明易懂的教材,对熵、信源、信道容量、率失真、数据压缩与编码理论、复杂度理论、网络信息论和假设检验等进行了介绍,能在理论和应用方面为读者打下坚实的基础。

推荐理由:信息论对理解模型有独特的视角,可以给出非监督概率生成模型的统一体系,也有人尝试用来理解深度学习的信息瓶颈。这本书中概念清楚,内容完整。

博弈论

A course in game theory

书单丨成为机器学习大神,你不能不懂数学

作者:Martin J. Osborne, Ariel Rubinstein

适合人群:初级到中级学者

推荐指数:★★★★★

主要内容:本书介绍了博弈论的基本概念和理论基础,由四部分组成:战略博弈、完全信息扩展博弈、不完全信息扩展博弈以及联盟博弈。

推荐理由:随着交互环境中强化学习技术的兴起,博弈论为我们描述或者建立agent的行为提供了有效的概念。这本书中将理论与例子结合,直观易懂。

计算复杂度

Computational complexity:A modern approach

书单丨成为机器学习大神,你不能不懂数学

作者:Sanjeev Arora

适合人群:中级到高级学者

推荐指数:★★★★★

主要内容: 这本书涵盖了计算复杂度理论的经典成果和最近的成就,可作为任何感兴趣的读者的自学参考。

推荐理由:计算复杂度刻画了算法的效率,尤其是针对离散的组合优化。如果对与机器学习有重要关系的加密、量子计算感兴趣,可以通过Sanjeev Arora的这本书对计算复杂度有更深入的了解。

数学基础篇

另外,还有极其重要的一点——入坑机器学习的你,别忘了打好数学功底!作为理解和改进机器学习算法的必经之路,数学是一切的基础。从概率论、代数到实变函数,扎扎实实走好每一步,才能让后面的进阶学习更加顺利。

Probability

书单丨成为机器学习大神,你不能不懂数学

作者:A.N.Shiryaev

适合人群:初级到高级学者

推荐指数:★★★★★

推荐理由:概率论是统计学和机器学习的基本描述语言,值得好好学习。推荐Probability,这本书不仅内容全面,推导清晰,而且有直观的例子。读者可以跳过书中部分较深入的章节。

高等代数

书单丨成为机器学习大神,你不能不懂数学

出版社:高等教育出版社

适合人群:初级到中级学者

推荐指数:★★★★★

推荐理由:代数是处理矩阵问题的主要技术,同时可以帮助深入理解(线性)空间。推荐高等教育出版社的《高等代数》,概念清晰,重要定理及证明完整,并配有大量习题。

此外,实变函数能够帮助我们深入理解收敛、微分、积分,并结合测度论过渡到随机积分和随机微分方程,而随机微分方程是描述随机动态系统的主要技术。泛函分析中算子的概念和四大定理对机器学习很有用处,比如理解Q-learning的Bellman 算子,用压缩映射定理刻画强化学习问题的不动点,等等。因此,以下四本相关书籍也值得大家仔细阅读。

实变函数论

书单丨成为机器学习大神,你不能不懂数学

作者:周民强

测度与概率

书单丨成为机器学习大神,你不能不懂数学

作者:严士健,刘秀芳

泛函分析讲义

书单丨成为机器学习大神,你不能不懂数学

作者:张恭庆,郭懋正

随机微分方程引论

书单丨成为机器学习大神,你不能不懂数学

作者:龚光鲁

最后,祝大家学习愉快!

相关文章
幼儿园大班数学教案《比眼力》含反思

幼儿园大班数学教案《比眼力》含反思

[教案]幼儿园大班数学教案《比眼力》含反思适用于大班的数学主题教学活动当中,让幼儿敢大胆讲述自己的操作过程,目测10以内的数,并准确地说出目测的方法与结果,培养幼儿比较和判断的能力

适合幼儿园孩子看的好书推荐及理由

适合幼儿园孩子看的好书推荐及理由

[儿童书籍]幼儿园好书推荐及理由 1、《一个长上天的大苹果》 推荐理由: 在鲜花盛开的苹果树林中,一棵小苹果树正在大树的守护下长 大。一天夜里,它做了一个梦:它的枝丫上长出了一个全世界最大

有意思又好携带的好书推荐

有意思又好携带的好书推荐

[好书推荐]其实旅行这件事有个很大的乐趣是,可以在不同的地方看到不同人的生活状态。我在旅途中养成了观察人的习惯,他们身上有趣的细节总是能让我感受到各种烟火气。 我至今很难忘的是有次在

制定计划之前,建议先看看这5本书

制定计划之前,建议先看看这5本书

[好书推荐]我不知道读到这份书单的你,以前是如何对待制定计划这件事的:是从来没认真想过,没认真制定过?是当做儿戏,写完了就丢开了?是三分钟热情,最终让野心勃勃的规划变成空话和笑话?

幼儿园让孩子快乐学数学的扑克牌游戏

幼儿园让孩子快乐学数学的扑克牌游戏

[亲子游戏]1、分家家 目的:练习分类 玩法:每人一副牌,教师用语言提供分类依据: 1、按颜色给扑克牌分家(红色牌、黑色牌等); 2、按图形给扑克牌分家(红桃、草花、方块等); 3、按数字给扑

推荐内容
10本经典儿童教育书籍,用心关注孩子成长

10本经典儿童教育书籍,用心关注孩子成长

[好书推荐]10本经典儿童教育书籍,用心关注孩子成长。好父母成就孩子一生,希望孩子全方面成长的同时,父母首先需要做孩子的好榜样,成为一名合格的家长。小编抽空整理了10本经典儿童教育书籍,

大学生必读书目不应该错过的22本好书推荐

大学生必读书目不应该错过的22本好书推荐

[好书推荐]今天的书单只有22本,对于四年的大学生活而言,显然太单薄了。这个书单只是一个引子,希望能收到更多推荐。大学生必读书目不应该错过的22本好书推荐。 读大学不应该错过的22本书 1、《

30本经典好书推荐,30句书中经典名言

30本经典好书推荐,30句书中经典名言

[好书推荐]30本经典好书推荐,30句书中经典名言。每个人都在追求生命的完整,有的人通过家人、孩子、朋友的关系获得这种完整,有的人只通过自己与自己的关系就能获得生命的完整,殊途同归,最终

这些经典好书适合静心阅读

这些经典好书适合静心阅读

[好书推荐]生活如大海般沉默,宁静如昨日,一切平常如初。12月即将到来,2020年就要过去了。年初的计划你完成了多少呢?在这个冬季,泡一杯热咖啡,在温暖的房间一角,认真开启你的阅读之旅吧~

茅盾文学奖历年所有经典作品,48本书全在这里

茅盾文学奖历年所有经典作品,48本书全在这里

[好书推荐]茅盾文学奖历年所有经典作品 48本书全在这里 第十届(2015-2017) 01《人世间》 这本书,简直是另一个版本的《平凡的世界》, 把一群草根年轻人的奋斗、悲欢离合写得淋漓尽致, 从20世纪7