原本發布T方法的論文名為《Attention is all you need》，意思是注意力機制就已經完全足夠滿足你的所有那些亂七八糟的技術需求了。
這項工作不僅引發了注意力技術的狂潮，順帶還引發了一波起名的狂潮。一時間，滿大街都是XXX is all you need樣式的名字。
這篇論文的一大意義是徹底拋棄了傳統的循環網絡和卷積網絡結構，推陳出新，而是僅僅只使用注意力機制來處理機器翻譯問題，并且取得了非常好的效果。
此前，人們一般都認為，注意力機制只能作為一種輔助道具，協助傳統的網絡來學習特征。
此后，這種全新的T方法迅速成為了語言類研究的重點方向，并且衍生出了BERT和GPT兩個經典的路線，后者更是進化出了ChatGPT這個家喻戶曉的新穎技術。
“注意力機制這個概念其實已經有了很多年了，差不多跟我的年齡一樣大。”九幾年的時候，注意力概念就已經在計算機視覺領域產生。
“它的概念也非常好理解，就像是直播中捕捉視覺的眼動儀，可以在直播畫面上顯示主播眼睛正在觀察的地方。注意力機制的目的，就是為了讓深度神經網絡可以起到類似的效果，迫使神經網絡去關注圖片中的重要部分。”
比如孟繁岐最開始參加的千分類圖像競賽，人工智能模型或許可以正確地識別了這張圖片的內容，但是真正讓它做出這個判斷的原因，卻很可能大大出乎你的意料。
它識別出圖像中的內容是貓，卻非常有可能并不是因為它的【注意力】在關注圖像中的貓，神經網絡也許壓根就沒有在看圖像中的貓這個生物，它在看別的。
或許是因為圖像中有貓糧，或者圖片的角落有【貓】相關的水印，又或者它可能是發現周邊都是草地的圖片內容往往是貓，因而一看到綠色的草地，就會做出類似的判斷。
當然，更有可能的是出于某種人類無法理解和解釋的原因。
雖然看的地方不對，結果卻是正確的，這種現象很容易被研究者們忽略，是非常危險的。
這種缺陷可以通過大量的數據和各種其他技術手段去彌補。如果沒有做好這些事情，模型在訓練測試的時候往往會表現得非常出色，可等到實際投入使用的時候，就很可能出大問題。
“隔壁有同事在嘗試把你寫的注意力算子應用在高分辨率的圖片上，以求降低計算成本。”
伊利亞分享了一下谷歌內部相關的情況：“我這邊也在考慮，在循環網絡或者長短期記憶網絡上結合注意力，去處理翻譯任務。”
注意力機制加上高清圖片是比較合理的，通過注意力的篩查，可以剔除圖片中不重要的部分，從而大大減少計算量。
孟繁岐微微點了點頭，心中想著：“圖片中的像素其實是非常冗余的，比如人類就可以輕松通過很局部的內容推測出物體的全貌，根據愷明后來的研究，甚至只需要原本百分之十幾二十的像素，就可以完成圖像的重構。”
“借助注意力來篩掉一部分像素，的確可以極大地減少計算量。使用這種辦法，就可以在原本的速度下采用更高分辨率的圖像，對關鍵的部分會處理得更加清楚，也就更加準確。”
孟繁岐認同這種做法，不過那是在圖像任務當中了，在語言問題當中是大不一樣的。人類的語言信息含量是非常高，密度也很大，即便只少一兩成信息，甚是一兩個字的差別，都很有可能會徹底改變句子的含義。
比如【我很喜歡】和【我不喜歡】，一字之差含義完全就不對了。因而類似的做法在語言上是不大行得通的。
不過可以像伊利亞一樣，換一個做法去使用注意力機制。
“注意力機制如果應用在語言和文本當中，其實計算的就是一個【相關程度】，一個句子當中每一個詞與其余詞的相互關系和相關的情況。”
孟繁岐也沒想到伊利亞的思路這么靈活，自己年初剛剛在搜索引擎中稍微利用了一下類似的概念，也沒有寫作論文，但伊利亞就很快捕捉到了這種技術在翻譯類型任務上的可能性。
“天才人物對技術的嗅覺果然不得了啊...”孟繁岐有些感慨。
注意力機制畢竟二十年來都是圖像領域的概念，它使用到語言文本里的形式是有很大變化的，這里面聽起來很像很容易，但實際上的差距并不小，不是那么容易就能想明白的。
更別提用代碼去實現了。
“如果使用注意力機制的話，為什么還一定非要使用舊的循環網絡和長短期記憶不可呢？”
孟繁岐指出了這個思維慣性不合理的地方。
“傳統的循環神經網絡建構語言的時間序列信息，前面的詞都要依次傳遞到后面的詞上面，這種信息的反復堆積有些浪費，并且全都堆在一起，直覺上不好區分。”
“你是說文字的長期依賴問題？”伊利亞微微皺眉，捕捉到了重點：“不過長期依賴問題，已經相當程度上被循環網絡的進化版本，長短期記憶方法又或者是各種門控制給解決了。”
“說是解決了，但實際上是減輕了，終究還是治標不治本，只是把癥狀壓了下去。”
“那怎么辦？難道干脆就不要了？”伊利亞沒想那么多，隨口問道。
問完卻發現，孟繁岐正在似笑非笑地看著他。
“你是認真的？”伊利亞此前是被思維的慣性局限住了，根本沒有想到注意力機制這樣一個配菜，能干脆成為主餐，取代原本常用的網絡結構。
現在孟繁岐已經暗示了他的想法，伊利亞自然也就開始認真地考慮這種操作的可行性。
“原本最常見的循環網絡和卷積網絡互有利弊，如果長度為n，前向的復雜度是O(n)級別，卷積是O(1)級別。但是卷積的每層復雜度要再根據卷積核的大小增加開銷。”
“倘若用注意力機制去做，前向的復雜度是O(1)，每層的復雜度則從O(nd^2)變為O(n^2d)。關鍵是，它可以并行了！”
分析復雜度分析到一半，伊利亞眼睛一亮，發現了重點。復雜度只是小事情，能夠輕松并行才是最關鍵的地方。
傳統的長短期和循環網絡，可以處理時間序列信息，但總是需要根據之前的信息來推測當前的信息，依賴前置位的信息，因而無法并行。
簡單點說，就是能并行的模型學不到長距離語言之間的聯系，能學到的又沒法并行。無法并行，用現在的設備自然就很難把語言模型做大。
“可目前最強力的模型都是帶門控制，編碼器加解碼器的循環網絡和卷積網絡...難道我們真的一點舊有的技術都不使用嗎？”
旁邊有旁聽的同事越聽越覺得不靠譜了，這一步子跨得也有點太大了，咔，容易扯著蛋。
“它可以無視語言中，兩個詞之間的距離為它們單獨建立相關性關系，單獨這一點，就足以成為我們嘗試的理由了。你們翻譯任務當中，長句不也是相當令人頭疼的問題嗎？”
句子一長，就容易出岔子，加上目前的模型還喜歡持續累加各個詞的信息。
機器看到中間，早就忘記前面是什么內容了。
“我是誰？我在哪？我在干嗎？”