在公告中，MOSS研究團隊稱，“MOSS只是想在百億規模參數上探索和驗證ChatGPT的技術路線，并且實現各種對話能力。

” 那么AI對話技術發展到今天經過了哪些關鍵節點，當下的“技術路線”又是什么？ 黃民烈解答道，回顧早期聊天機器人的對話，大部分都是基于規則的，第二代在技術上混合了一些規則和機器學習的方法。

到了第三代，二婶电视连续剧全集40集就是以Transformer為基本架構的大模型作為技術底座，實際上還是在一個新的神經網絡架構下，結合大量的數據和算力優化去做到的，所以技術上有了顯著的一些進步。

由于對話本身就是在語言處理中最重要也是最難的任務，也就是最近一兩年，才因為大模型的發展使得聊天機器人在性能上有接近人類的表現。

復旦大學計算機科學技術學院教授邱錫鵬此前在接受澎湃新聞采訪時表示，“GPT-3的In-context learning是一個我覺得有變革性的范式。

不再需要調參，給一些提示，就可以去做任務了。

這個目前雖然說質量并沒有調參的好，但也能達到一個不錯的效果，這個會讓大模型看起來更加智能。

” 什么是In-context learning（上下文學習）？“以前的方式是基于模型參數調整的，比如說要識別貓，然后看模型能不能檢測到貓的位置。

如果標的不對，再通過誤差反過來去調整參數，使得預測和正確位置對應起來。

上下文學習則是圈出來貓的位置，然后再給它一張另外的圖片，問它貓在哪里？它就能夠正確圈出來。

這個任務它之前沒有見過，但是通過這樣的方式就學會了。

”邱錫鵬講解道。

調參極耗費人力和時間成本，尤其是GPT-3這樣的超大模型。

碳同化系統Carbontracker估計，訓練GPT-3一次所需的電量與丹麥126戶家庭每年使用的電量相同。

而In-context learning可以讓一個未經進一步調參的預訓練大模型，通過給其恰當的demonstration（示例）學會完成目標任務。

黃民烈也提到上下文理解技術。

“ChatGPT最大的特點是通用任務助理，也就是在一個模型之內可以完成如此之多的開放任務，同時它在生成任務、上下文理解、安全倫理方面也有相當好的表現。

”總結而言，黃民烈認為，這里面的技術突破是一個技術、工程、數據的綜合性工程創新，二婶电视连续剧全集40集是一個長期積累從量變到質變的過程。

比如從GPT-3到代碼，到加instruct，到RL，以及數據和模型之間的飛輪，造成了這些質變。