整理丨AI科技評論
2月23日，清華大學計算機系崔鵬副教授與斯坦福大學Susan Athey（美國科學院院士，因果領域國際權威）合作，在全球頂級期刊Nature Machine Intelligence（影響因子IF=15.51，2020）上發表題為“Stable Learning Establishes Some Common Ground Between Causal Inference and Machine Learning”（穩定學習：建立因果推理和機器學習的共識）的觀點論文。深入探討和總結了因果推理在機器學習和人工智能領域取得的關注，并對“穩定學習”提出了系統性分析和展望。文章認為，機器學習和因果推理之間應該形成共識，而穩定學習正在向實現這一目標的方向邁進。
人工智能的目標是讓機器像人類一樣“思考”和“決策”，機器學習是實現這一愿景的重要方法。那么，用機器學習的方法來解決現實中的決策問題是否可行？斯坦福大學的Susan Athey在一次演講中用身邊的例子進行了舉例：斯坦福大學的經濟學系女教授的平均水平似乎比男教授更高，老是發不出文章的教授中女教授很少，但這很有可能是因為數據自身的局限性，如果通過機器學習的方法編寫程序按性別來篩選候選人，并用斯坦福的訓練數據去推而廣之，很有可能在實際中產生歧視。利用機器學習實現對一項政策效果進行更精準的推斷，這正是諾貝爾獎級別的研究成果——Susan Athey與她的丈夫Guido Imbens近年來關注的研究方向正是利用機器學習實現對政策效果更精準的推斷，并在融合機器學習與政策的處置效應方面合作撰寫了多篇文章。而Guido Imbens2021年也因此與另兩位學者分享了當年的諾貝爾經濟學獎，評獎委員會認為，他們在勞動經濟學和從自然實驗中分析因果推理方面做出了突出貢獻，掀起了經濟學研究的“可信革命”。所謂“因果推理”是計量經濟學中近年來得到重視的一個重要概念。傳統計量經濟學一般集中在統計推理方面，重視變量之間的相關性而忽視了當中的因果關系；因果推斷則是將相關性與因果性進行獨立分析，科學地識別變量間的因果關系。在機器學習領域也存在類似的問題，目前大多數機器學習模型注重各因素之間的相關性分析，由此衍生的“泛化性”和“可信性”正是當前機器學習需要面對的兩大問題。在大數據時代，人們認為可以利用更大的機器或者更多數據解決問題，但很多時候問題的答案并不在數據中。這也正是機器學習難以在實際場景中應用于決策的原因：機器學習存在缺乏可解釋性和未知環境下的穩定性的問題，既難以預測結構變化之后的結果，也不能對結果進行合理的解釋。
（人工智能的兩大問題：缺乏可解釋性和穩定性，來自崔鵬的報告ppt）Susan Athey在2017年為《Science》撰寫的綜述性文章《Beyond Prediction：Using big data for policyproblems》中總結，在做出預測和做出決策之間存在許多差距，為了優化數據驅動的決策，需要理解基本假設。而這也正是解決機器學習兩大問題的有效途徑。
（Susan 2017年為《Science》撰寫的綜述性文章）在機器學習過程中帶來的關聯統計被認為是導致目前的機器學習缺乏可解釋性和穩定性的重要原因。現有的大部分機器學習方法都需要IID假設，即訓練數據和測試數據應當是獨立同分布的。然而在現實中這一假設很難滿足。以我們熟悉的圖片“貓狗檢測”為例，如果訓練數據的大部分圖片中狗位于草地上，模型對“水中的狗”這一極端樣例的檢測可能會完全失效，甚至可能出現“指貓為狗”的錯誤，把在草地上的貓錯認為狗。
當下的人工智能技術往往不能很好地泛化到未知的環境，是因為現有大部分機器學習模型主要是關聯驅動的，這些模型通常只做到了知其“然”（即關聯性）而不知其“所以然”（即因果性）。將因果推理的思想推廣到機器學習領域，去除關聯中的虛假關聯，使用因果關聯指導模型學習，是提升模型在未知環境下穩定性根本路徑之一。值得一提的是，從因果角度出發，可解釋性和穩定性之間存在一定的內在關系，即通過優化模型的穩定性亦可提升其可解釋性，從而解決當前人工智能技術在落地中面臨的困境。基于此，清華大學崔鵬團隊從2016年起開始深入研究如何將因果推理與機器學習相結合，并最終形成了“穩定學習”（Stable Learning）的研究方向。穩定學習有望彌補機器學習模型的“預測”到經濟生活等現實“決策”之間的鴻溝，隨著對因果分析研究的進一步深入，以穩定學習為代表的因果分析建模技術將成為人工智能發展的突破口，幫助我們從數據中推斷出因果關系并進行有效檢驗，從而做出更好的決策。因果推理近年來在機器學習和人工智能領域引起了廣泛關注。它通常被定位為一個獨特的研究領域，可以將機器學習的范圍從預測建模擴展到干預和決策。而從作者的角度來看，即便對于機器學習所擅長的預測類問題，如果對預測穩定性、可解釋性和公平性提出較高要求，那么因果統計的思想對于改善機器學習、預測建模也變得不可或缺。基于此，作者提出了穩定學習的概念和框架，以彌合因果推理中傳統精確建模與機器學習中的黑盒方法之間的鴻溝。本文闡明了機器學習模型的風險來源，討論了將因果關系引入機器學習的必要性，從因果推理和統計學習兩個視角闡述了穩定學習的基本思想和最新進展，并討論了穩定學習與可解釋性和公平性問題的關系。論文指出，機器學習技術的優化目標是預測的精度和效率，而錯誤預測的潛在風險往往被忽視。對于預測點擊量或對圖像進行分類等應用，模型可以頻繁更新，錯誤的代價也不會太高。因此，這些應用領域非常適合結合持續性能監控的黑盒技術，這也是近年來機器學習得以快速發展的基礎。然而，近年來機器學習被應用于醫療健康、工業制造、金融和司法等高風險領域，在這些領域，機器學習算法犯下的錯誤可能會帶來巨大的風險。尤其是當算法預測在決策過程中發揮重要作用時，錯誤會對安全、道德和正義等社會問題產生重大后果。因此，缺乏穩定性、可解釋性和公平保障是當今機器學習中亟需解決的最關鍵和最緊迫的議題。如圖所示，相關性有三種來源，即由因果性導致的相關性、干擾變量導致的相關性、由樣本選擇偏差導致的相關性。在這三種相關性中，只有由因果性導致的相關性是可以保證在各種環境下穩定成立、且可以被解釋的。而目前的神經網絡模型并沒有對特征是否存在因果性加以區分，這也是導致模型性能不穩定的重要原因。
論文進一步論述了機器學習可以避免由因果推理的基本問題引起的可驗證性等挑戰和局限性，并認為，機器學習和因果推理之間應該形成共識基礎，穩定學習的框架正是實現這一目標的路徑之一。論文還進一步闡述了穩定學習的定位與發展脈絡，并比較了與常見的獨立同分布模型和遷移學習模型的異同：
獨立同分布模型的訓練和測試都在相同分布的數據下完成，測試目標是提升模型在測試集上的準確度，對測試集環境有較高的要求；
遷移學習同樣期望提升模型在測試集上的準確度，雖然允許測試集的樣本分布與訓練集不同，但要求測試集樣本分布已知；
穩定學習無需測試數據集與訓練數據來自同一分布，并且不假設測試數據分布已知。測試目標是在保證模型平均準確度的前提下，降低模型性能在各種不同樣本分布下的準確率方差。與上述學習模式相比，穩定學習的目標更接近現實的問題設置，理論上，穩定學習可以在不同分布的測試集下都有較好的性能表現。
文章最后提出，如果我們希望機器學習算法能被進一步應用，需要解決穩定性、可解釋性和公平性問題，而這些問題是當今學習范式的根本局限，需要從根本上加以解決。盡管業內對預測、相關性和因果關系的基礎仍存在爭論，因果推理，尤其是在觀察研究中所取得的一些最新進展已經可以為機器學習提供更多的見解和理論支持。作為一種新的學習范式，穩定學習試圖結合這兩個方向之間的共識基礎。如何合理地放松嚴格的假設，以匹配更多具有挑戰性的真實應用場景，并在不犧牲預測能力的情況下使機器學習更可信，是未來穩定學習需要解決的關鍵問題。論文完整內容參見Nature網站：https://www.nature.com/articles/s42256-022-00445-z清華大學長聘副教授。于2010年獲得清華大學博士學位，研究興趣包括大數據環境下的因果推理與穩定預測、網絡表征學習，及其在智慧醫療、商業決策等場景中的應用。從2016年起，崔鵬與團隊開始深入研究如何將因果推理與機器學習相結合，并最終形成了“穩定學習”（Stable Learning）的研究方向。他在數據挖掘和多媒體領域的著名會議和期刊上發表了150多篇論文，并先后獲得7項國際會議及期刊最佳論文獎。曾獲得CCF-IEEE CS青年科學家獎，國家自然科學二等獎，以及省部級一等獎3項。目前是ACM杰出會員，CCF杰出會員以及IEEE高級會員。斯坦福大學商學院教授，美國科學院院士，美國藝術與科學院院士，美國經濟學會主席，約翰·貝茨·克拉克獎（該獎項也被視為諾內爾經濟學獎的風向標）的第一位女性獲得者。她曾在微軟擔任咨詢首席經濟學家六年，目前是斯坦福大學斯坦福經濟政策研究所高級研究員、以人為本人工智能研究所副主任、 Golub Capital 社會影響實驗室主任。Susan Athey本科期間在杜克大學同時主修經濟學、數學與計算機科學三個專業，目前專注于數字化經濟學、市場設計以及計量經濟學與機器學習領域的交叉領域研究，是因果領域的國際權威。雷峰網(公眾號：雷峰網)雷峰網
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
