0
過去幾年，人工智能的浪潮一次又一次刷新人們的想象：模型變得更大、算力更強、應用更廣。
但在光鮮的成果背后，一個更深層的問題被不斷暴露 —— AI 真的“理解”世界了嗎？它能記住對話，卻常常忘記語境，能生成答案，卻未必明白問題的由來。人們開始意識到，智能的邊界，不在算法，而在語境。
正是在這樣的背景下，上交大生成式人工智能實驗室（GAIR Lab）提出了一個顛覆性的觀點：人工智能的本質不是算力革命，而是“上下文革命”。 他們在最新論文中，把“上下文”從語言模型的附屬概念，提升為智能系統的核心結構，認為系統理解世界的方式，取決于它如何吸收、組織并重構語境。
這項研究通過回溯上下文系統的演化歷史，結合大量系統實驗與理論建模，提出了“上下文工程”（Context Engineering）這一全新學科框架。團隊發(fā)現，從早期依賴傳感器和規(guī)則的 Context 1.0，到能夠跨模態(tài)理解語義的智能體 2.0，AI 的每一次躍遷，都是一次對“語境吸收力”的升級。
在參數增長趨于極限的當下，這項研究像是在為人工智能指明新的出路：當機器不再只是記住語境，而能理解并創(chuàng)造語境，也許，那才是真正的智能時代的開始。
這篇論文的實驗結果揭示了一個重要規(guī)律：人工智能的進步，歸根結底取決于系統對“上下文”的理解和利用能力，也就是它能多好地吸收、組織和重構語境。
作者通過比較不同代的智能系統，總結出了上下文工程的發(fā)展路徑。他指出，從最早依賴傳感器和規(guī)則運行的系統（比如 Context Toolkit、Cooltown），到如今能理解自然語言和多模態(tài)信息的智能體（如 ChatGPT、LangChain、Letta），智能的提升，其實就是系統能處理的語境越來越復雜。
早期的系統只能根據明確輸入作出反應，而現在的系統已經能通過語義推理理解人類意圖，做出更自然的互動，這標志著上下文工程正式進入了 2.0 階段。
實驗還進一步預測了智能的發(fā)展方向。隨著系統理解語境的能力越來越強，它未來會逐步具備類似人類的思維方式，能理解社會語境甚至情感因素，最終可能進化成能主動創(chuàng)造語境的“超人智能”。
為了驗證這種演化趨勢，作者提出了上下文工程的函數定義：CE:(C,T)→f_context。這個定義的意義在于，它把提示工程、檢索增強和記憶管理等不同方法都統一到了一個數學框架下，為上下文的工程化提供了理論基礎。
在系統對比實驗中，研究發(fā)現現代智能體的上下文系統在輸入容忍度、記憶層級化、多模態(tài)融合以及多智能體協作等方面都有明顯進步。
值得一提的是，現在的系統不再只是簡單地存儲文本，而是能通過時間標記、語義壓縮和層級摘要的方式構建結構化語境，不同任務或子智能體之間還能共享上下文。
實驗結果表明，這種短期與長期記憶相結合的設計大大提高了系統的穩(wěn)定性和擴展性，而所謂的“自烘焙”機制則通過語義壓縮有效解決了超長對話帶來的信息冗余和語境污染問題。
此外，檢索機制的優(yōu)化使系統能在語義相關性、邏輯依賴與時序一致性之間實現動態(tài)平衡，進一步增強了對用戶隱性意圖的捕捉能力。
實驗還發(fā)現，Transformer 模型在處理長時語境時會出現注意力衰減和語義漂移等問題，這暴露出現有架構在“終身上下文”處理方面的不足。為了解決這些問題，作者提出了“Lifelong Context”的概念，認為要構建可持續(xù)、能不斷進化的語境記憶系統，就必須使用新的語義壓縮算法和一致性維護機制。
綜合所有發(fā)現，論文得出的結論是：現代智能體的發(fā)展方向，正在從“被動響應”向“主動構建語境”轉變。上下文工程的核心目標，就是讓系統不僅能理解語境，還能組織、加工、甚至重寫語境。這種能力，正是提升語言模型性能的根本，也是實現真正通用人工智能的關鍵。
論文的實驗經過大致可以分為三個階段。研究從上下文工程的整體框架出發(fā)，目的是在大型語言模型和智能體快速發(fā)展的背景下，探索模型性能與上下文質量之間的關系。作者認為，模型越智能，就越依賴語境信息的完整性與組織方式，因此希望通過歷史回顧和實證對比，建立一種系統化的上下文工程方法。
在第一階段，研究采用歷史比較的方式，分析了從 1990 年代到現在的兩代上下文系統。早期的 Context 1.0 主要依賴傳感器和固定規(guī)則來感知環(huán)境，屬于結構化邏輯系統，而如今的 Context 2.0 已能理解自然語言，利用檢索增強和長記憶機制來處理復雜語境，顯著提升了理解與推理能力。
第二階段，團隊進行了系統性對比實驗，選取了多個具有代表性的系統——從早期的 Context Toolkit 和 Cooltown，到現代的 ChatGPT、LangChain、Claude、Letta 等，重點比較它們在信息采集、管理和使用上的不同。實驗發(fā)現，現代系統在語義壓縮和上下文存儲方式上都有顯著改進，更擅長整合多源數據并保持語義連續(xù)。
到了第三階段，實驗的重點就來到了理論驗證。作者提出了上下文工程的函數化定義和“熵減模型”，認為上下文處理其實是一個“信息壓縮”過程：人類能憑語境自動理解省略的內容，而機器則需要先將復雜語境壓縮成低熵、可計算的形式。基于這一思路，論文構建了一個完整的上下文處理流程，包括信息采集、記憶管理和任務執(zhí)行等環(huán)節(jié)。雷峰網
在實驗中，系統通過多種設備采集數據，如手機、可穿戴設備、虛擬現實和物聯網終端。在管理層面，系統建立了短期與長期記憶的層級結構，用時間標記、語義標簽和摘要壓縮來組織信息。而在使用層面，不同智能體能通過結構化消息共享語境，并根據語義相關性、邏輯關系和用戶偏好動態(tài)篩選信息，甚至能主動推測用戶意圖。
最后，研究團隊還進行了“持續(xù)性上下文”實驗，測試系統在長期語境下的表現。結果發(fā)現，模型在長時間推理時容易出現注意力下降和語義漂移的問題。
為此，作者提出應通過語義壓縮與一致性維護機制，構建一種能夠長期保持穩(wěn)定的記憶體系，使系統能在時間維度上保持上下文的連貫和可靠。
總體來看，這些實驗構成了上下文工程的核心驗證過程，證明了系統化的語境采集、管理和使用方法，能顯著提升智能體的理解能力與交互一致性。
整體看下來，這項研究的意義主要體現在三個方面。
首先，在理論上，它重新定義了“上下文工程”這門學科。作者第一次把它當作一門獨立的工程領域來看待，并建立了一套比較完整的理論體系，把從早期的人機交互研究到如今的智能體技術都串聯起來。
通過數學化的建模，他們發(fā)現人工智能的每一次進步，其實都與系統“理解和利用上下文”的能力提升有關。換句話說，智能的核心就在于能否真正讀懂語境。
在工程實踐上，這項研究推動了人工智能從“能感知”到“能理解”的轉變，也就是從被動響應到主動協作。研究提出的“層級記憶結構”讓系統能處理更長的任務和對話，還能在文本、圖像、音頻等不同模態(tài)之間建立統一的語義空間。
同時，通過子智能體機制和輕量級引用方式，系統在保持效率的同時也降低了出錯和信息污染的風險。更重要的是，它還能根據用戶的習慣和偏好進行自我學習，實現更個性化、更主動的交互體驗。
從長遠來看，這項研究為未來的人工智能發(fā)展提供了新的方向。它為“人機共思”的新型系統奠定了理論基礎，也為具備長期記憶的智能體設計提供了可行路徑。雷峰網(公眾號：雷峰網)
最終，作者設想了一種全新的智能范式——“上下文即世界”，也就是說，未來的人工智能不只是理解人類提供的語境，而是能夠主動創(chuàng)造新的語境，成為人類思維與社會活動的一部分。
雷峰網原創(chuàng)文章，未經授權禁止轉載。詳情見轉載須知。
