機器學習應該準備哪些數學預備知識？

本文作者： AI研習社

2017-11-07 17:38

導語：入門前先打好基礎~

雷鋒網按：本文原作者Robin Shen，本文整理自作者在知乎《機器學習應該準備哪些數學預備知識？》問題下的回答。雷鋒網已獲得轉載授權。

問題詳情：

數據分析師，工作中經常使用機器學習模型，但是以調庫為主。自己一直也在研究算法，也裸寫過一些經典的算法。最近在看PRML這類書籍，感覺有點吃勁，主要是公式推導看不懂，很多數學符號不知其意。也特地學過線性代數、微積分等，但是然并卵，還是看不懂大段的公式以及那些神奇的矩陣計算~

機器學習新手，想前來問下，有沒有哪些數學知識是可以彌補這一類缺陷的?能否具體的說一些知識點或者相關的文章和書籍？

回答：

利益相關：樓主@Robin Shen以本科應用數學和碩士運籌學、優化理論的背景轉到德國海德堡大學讀博，主要從事機器學習、計算機視覺的研究，希望自己的一些經驗可以對想入門機器學習的朋友們有點借鑒作用。

此回答的部分答案摘自我另外一個相關回答：Robin Shen：想轉專業機器學習（人工智能）需要學哪些課程？

首先對人工智能、機器學習一個綜述：大話“人工智能、數據科學、機器學習”--綜述 - 知乎專欄

籠統地說，原理和基礎都在數學這邊，當然有很多偏應用和軟件使用的技術，例如“深度學習調參”等，這些報個培訓速成班就能學會的技術含量不那么高的東西，不在討論范圍內。

這里要討論的，是如何系統的學習，然后自己能編出這機器學習或深度學習的程序或軟件－－我想，這才能稱為一個合格的機器學習、數據科學家。

入門基礎

1.微積分（求導，極限，極值）和線性代數（矩陣表示、矩陣運算、特征根、特征向量）是基礎中的基礎，某篇圖像分割1w+引用的神文核心思想便就求解構造矩陣的特征向量；

2.數據處理當然需要編程了，因此C/C++/Python任選一門（推薦Python，因為目前很多庫和Library都是用python封裝），數據結構可以學學，讓你編程更順手更高效，但是編程不是數據處理的核心。

當然了，樓主所在的圖像處理界，熟練使用matlab或者Python調用opencv庫是必要條件，但是again他們只是工具，業余時間自學，多練練就沒問題。有同學問用R行不行，補充一點，用什么編程語言很大部分取決于你的核心算法會調用什么已有的庫函數，比如樓主的科研里面核心算法往往是MIP（混合整數規劃）問題需要調用Cplex或Gurobi庫函數，因此C/C++/Python/Java這些和Cplex接口良好的語言都可以拿來用，這時候R就別想了。(更新：最新Gurobi版本支持R)

另外雖然圖像處理界一些open-source的code都用C++寫的，但是鑒于使用方便都會提供Python的接口，因此需要用到這些code的話，用Python調用比較方便；但是，如果是高階骨灰級玩家，需要修改甚至自己寫源代碼，那么還是推薦C/C++，因為他們的速度最快。

3.算法

通常高校都會有算法類的課程，會概述各類算法的基礎和應用，其中包括：精確算法、近似算法、啟發式算法、演化算法、遞歸算法、貪婪算法等待，還有各類優化算法。

算法非常核心，想必大家都聽說過算法工程師這個職位。

關于數學模型和算法的區別、聯系，參見：

【學界】整數規劃精確算法/近似算法/(元)啟發算法/神經網絡方反向傳播等算法的區別與關聯

中級教程

1.概率論+統計（很多數據分析建模基于統計模型）、統計推斷、隨機過程等

2.線性規劃+凸優化（或者只學一門叫numerical optimization，統計、機器學習到最后就是求解一個優化問題）、非線性規劃等

3.數值計算、數值線代等

當年我是在數學系學的這門課，主要是偏微分方程的數值解。

但我覺得其開篇講的數值計算的一些numerical issue更為重要，會顛覆一個數學系出身小朋友的三觀。(原來理論和現實差距可以這么大！)

Conditional number, ill-conditioned problem，會讓你以后的編程多留個心眼。

恭喜你，到這里，你就可以無壓力地學習Machine Learning這門課了（其實機器學習，通篇都是在講用一些統計和優化來做clustering 和 classification這倆個人工智能最常見的應用）。并且你就會發現，ML課中間會穿插著很多其他課的內容。恩，知識總是相通的嘛，特別是這些跨專業的新興學科，都是在以往學科的基礎上由社會需求發展而來。

到這里，其實你已經能看懂并且自己可以編寫機器學習里面很多經典案例的算法了，比如regression，clustering，outlier detection。

關于優化類課程的綜述，歡迎關注我的專欄：

[運籌帷幄]大數據和人工智能時代下的運籌學 - 知乎專欄

運籌學（最優化理論）如何入門？ - 知乎

學到Mid-level，就已經具備絕大部分理論基礎了。然后做幾個實際項目，就能上手然后就可以“吹噓”自己是搞機器學習的，就能找到一份工作了。

但是要讀Phd搞機器學習的科研，那么高階課程必不可少，而且同一個topic你需要上好幾門課，并且你博士的課題，很可能只是一本書中一個章節里面一小節里講的算法，去改進他。

比如，樓主的博士課題就是mixed linear programming + discrete graphical models + markov random fields + regression + clustering + segmentation。

高階課程

再高階的課程，就是比較specific的課程了，可以看你做的項目或者以后的concentration再選擇選修，比如：Probabilistic Graphical Models（概率圖模型）， Integer Programming（整數規劃），計算機視覺，模式識別，視頻追蹤，醫學圖像處理，增強學習，深度學習, 神經網絡，自然語言處理，網絡信息安全，等等等等。

深度學習：目前非常火，打敗了非常多幾十年積累起來的經典方法。

增強學習：也很火，游戲AI、自動駕駛、機器人等等，它都是核心。

概率圖模型：深度學習之前非常popular的“學習”方法，有嚴格的數學模型和優美的算法，雖然目前被前倆者蓋過了風頭，但是依然有它的立足之處。什么？你不知道最近用PGM發了篇Nature，打敗了CNN？快看下面：

Robin Shen：如何評價 Vicarious 在 Science 上提出基于概率圖模型（PGM）的 RCN 模型？

再比如有用偏微分方程做圖像處理的（比較小眾），那么這時候你肯定要去學一下偏微分方程了，大都是以科研為主導的。

科研嘛，為了發文章，就是要嘗試前人沒嘗試過的方法，萬一效果不錯呢，就是一篇好paper了，對吧。

附上頂尖會議排名，共勉：

國際“頂尖”計算機視覺、機器學習會議大搜羅--附排名&接收率

互聯網教學資源

書目沒有特別推薦的，但是建議看英文原版。

另外直接翻墻Youtube看視頻課程，很多國際知名教授都很無私地把自己上課的視頻放在youtube上免費學習（搜索我上面列出的科目名字）。如果確實要樓主推薦，那就推薦海德堡大學歷史上最年輕的教授 Fred的機器學習視頻（我基本都看過）（http://t.cn/RlNKGop）

另外一個教授給你上課的時候，開頭一般是會推薦書給你的（如果你確實喜歡看書的話）。當然了，翻墻是樓主suppose你們需要擁有的基本生存技能。