對于剛剛成立的騰訊知文團隊來說，過去是收獲頗豐的一年。雖然成立尚不足一年，但這一團隊已在 AAAI、IJCAI、SIGIR、EMNLP、COLING 等頂會上發(fā)表數(shù)十篇論文。
知文團隊隸屬于騰訊 SNG 數(shù)據(jù)中心，服務(wù)和支持著包括騰訊云、QQ、QQ空間及相關(guān)產(chǎn)品和業(yè)務(wù)。這一團隊目前的研究重心在自然語言智能交互，圍繞智能交互的內(nèi)涵和外延，團隊的學(xué)術(shù)研究涉獵廣泛，包括但不限于問答、對話系統(tǒng)、文本摘要、知識圖譜、機器閱讀理解等。
據(jù)知文團隊負(fù)責(zé)人鐘黎介紹，知文核心算法團隊在 15 人左右(hiring!)，此外還有若干產(chǎn)品和工程職位。鐘黎目前主要負(fù)責(zé)知文智能產(chǎn)品(包括智能對話、智能問答、智能搜索等)的研發(fā)和落地，此前他曾在軟銀AI Lab、微軟亞洲研究院、IBM 研究院(新加坡)從事人工智能與機器學(xué)習(xí)的相關(guān)研究工作。
圍繞知文團隊目前的發(fā)展以及在 NLP 領(lǐng)域中的心得體會，雷鋒網(wǎng)對這位騰訊高級研究員進行了獨家專訪。((憑借此次專訪，騰訊知文團隊在雷鋒網(wǎng)學(xué)術(shù)頻道 AI 科技評論旗下數(shù)據(jù)庫項目「AI 影響因子」中增加 8 分。))
此前，他在由雷鋒網(wǎng)承辦的 CCF-GAIR 大會上談到建設(shè)業(yè)界問答系統(tǒng)的一些心得體會：
第一，要重視 Baseline。
第二，盡早建立起整個流程的 Pipeline。
第三，沒有免費午餐定理，不存在萬能算法。
第四，領(lǐng)域相關(guān)的數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)分析非常重要。
這些建議給大家?guī)砹巳滤悸?，而在專訪中，鐘黎進一步圍繞 NLP 的發(fā)展與難點，全方位展示了智能問答平臺的打造之路。
鐘黎表示，在打造智能問答平臺中，一個主要的難題是領(lǐng)域遷移。提到解決方案，目前他們希望先打造通用、多領(lǐng)域多任務(wù)、自動學(xué)習(xí)的智能問答平臺，讓新的業(yè)務(wù)、新的場景、新的領(lǐng)域能夠以較低的成本和門檻遷入進來，然后再提供一系列方法和工具，幫助做領(lǐng)域的定制。
對于 NLP 技術(shù)在騰訊的重要性，他表示，目前 NLP 已經(jīng)為業(yè)務(wù)帶來了許多價值。但是， 自然語言處理和理解本身是非常困難、非常復(fù)雜的領(lǐng)域，理解語言不僅涉及感知層面，還涉及認(rèn)知、推理、知識、演繹，語言背景還和文化、歷史息息相關(guān)。從這一點看，語言理解技術(shù)還在早期，還需要我們以更多的堅持、耐心，一點一滴去突破。
以下為雷鋒網(wǎng)對鐘黎的采訪內(nèi)容，做了不改變原意的編輯整理。
問：你的 NLP 研究經(jīng)歷如何?你是從大學(xué)就開始這一研究嗎?
答：其實不是，我最開始的經(jīng)歷和視覺相關(guān)，后來又轉(zhuǎn)到推薦，再之后又研究機器人、語音。語音其實也是 NLP 的一部分，但它跟 NLP 又不太一樣。我是來到騰訊才開始做純 NLP 研究。
基于過去較為多樣的研究和實踐經(jīng)歷，現(xiàn)在在做 NLP 任務(wù)時，我更多地會思考這些任務(wù)之間的共性，會嘗試一些其他學(xué)科的研究工具、經(jīng)驗和知識能否有助于解決當(dāng)前的問題，相對于完全 NLP 背景出身的研究人員來說，我覺得這也是自己的一個特點。
對于我們這一團隊來講，更多地是要考慮到更加復(fù)雜的生產(chǎn)環(huán)境、業(yè)務(wù)場景以及實際問題，就像前面提到的學(xué)科交叉，如果具有多學(xué)科交叉背景，其實會更有優(yōu)勢。
問：結(jié)合你此前的工作經(jīng)驗，NLP 技術(shù)在落地上經(jīng)歷了怎樣的發(fā)展歷程?
答：NLP 技術(shù)其實在企業(yè)界的應(yīng)用非常早，例如在 PC 時代，搜索是最早把 NLP 技術(shù)作為核心技術(shù)的應(yīng)用之一。我此前做過推薦、人機對話、語音識別，這些研究都涉及到 NLP 的一些應(yīng)用。
它在工業(yè)界的落地上，會有這樣幾個歷程：首先還是問題和數(shù)據(jù)驅(qū)動，先出來了一些實際問題，比較適合用NLP相關(guān)的技術(shù)去解決，然后在這些問題里，我們再去提煉比較具有共性的一些方案，把它從業(yè)務(wù)邏輯里抽離出來。
問：你提到此前的三個方向，一是推薦，二是人機對話，三是語音識別，這三個方向各自的難點在哪里?
答：這三個方向都是很大的領(lǐng)域，有很多的難點與挑戰(zhàn)，這里僅僅簡單提及一下。
在推薦里，基本需要做到內(nèi)容(物品)理解，用戶理解，場景理解，并且還要做好三者的關(guān)聯(lián)。這里就僅提下內(nèi)容理解的難點，內(nèi)容有兩點特征：
第一， 多模態(tài)內(nèi)容的融合，可能不光有文本內(nèi)容，還有視覺內(nèi)容，實時地處理這些多模態(tài)的數(shù)據(jù)會有些挑戰(zhàn)。
第二， 內(nèi)容更新很快，時效性很短，所以必須要挖掘出最新的熱點、事件，但想利用 NLP 技術(shù)完全自動地去發(fā)現(xiàn)熱點話題、事理圖譜也比較難。
人機對話是我們現(xiàn)在做的核心，難點也非常多。這里最大的問題在于我們并沒有實現(xiàn)真正的智能。機器本質(zhì)上還是數(shù)據(jù)驅(qū)動的算法模型，需要大量的數(shù)據(jù)來進行訓(xùn)練。數(shù)據(jù)和模型其實是受限于領(lǐng)域的，一旦做領(lǐng)域的遷移，可能就做不好了。所以在對話里，如何做好領(lǐng)域的遷移，我覺得這也比較難。
談到語音識別，其實近場語音做得很好，但如果是遠(yuǎn)場，比如說收集器在比較遠(yuǎn)的地方，然后又是多人對話，語音有重疊，這就會涉及到很多問題，比如語音分離，識別誰是說話人，另外，多人會話比較嘈雜，信噪比比較低。遠(yuǎn)場語音可能還涉及回聲消除?，F(xiàn)在遠(yuǎn)場語音還比較難，也是目前重點的研究方向。
問：這些學(xué)科之間有哪些共性?
答：舉個例子，語言模型這一工具在語音里其實用得比較多，因為我們研究語音的時候，是用語言模型來判斷轉(zhuǎn)移概率，當(dāng)然語言模型在NLP里也用得非常多。另外，談到推薦的架構(gòu)，推薦有好幾層，有召回、重排、精排等，這一架構(gòu)其實跟 NLP 里搜索的架構(gòu)有些類似。所以這些技術(shù)會有一些共通點。
問：深度學(xué)習(xí)的發(fā)展會促進 NLP 的發(fā)展嗎?
深度學(xué)習(xí)更多是一個工具，它在 NLP 里也取得了很多進步，但相對來說還沒有到一統(tǒng)天下的程度。在今天(騰訊知文團隊負(fù)責(zé)人鐘黎：從 0 到1 打造下一代智能對話引擎 | CCF-GAIR 2018)講到的模型既有深度學(xué)習(xí)模型，也有非深度學(xué)習(xí)模型，還涉及到很多比較簡單的模型。
我之前也提到了，沒有完美的模型，在實際運用的時候，一定要找到適合數(shù)據(jù)和場景的模型。深度學(xué)習(xí)并不是萬能的，最重要的是理解問題和數(shù)據(jù)。
問：從技術(shù)的曝光度和產(chǎn)品的落地情況來看，NLP 離計算機視覺還存在一定距離，這其中的主要因素是什么?
答：這個問題和之前有些相似。語言本身有它的復(fù)雜性，最簡單的例子，圖片的基礎(chǔ)存儲都是像素矩陣，美國的圖片、中國的圖片、日本的圖片的基本表示都是一樣的像素點，動物的圖片和飛機的圖片基本表示都是一樣的像素點;然而在語言里的情況要復(fù)雜很多，沒有 universal 的表示、沒有 atom unit、本身具有先驗結(jié)構(gòu)、需要外部語境與知識。這些困難使得 NLP 在應(yīng)用上和視覺有些差距，但目前應(yīng)該是有越來越多的落地了。
問：知文團隊近年來的發(fā)展路徑如何?挑選研究方向的主導(dǎo)因素是什么?
答：雖然知文團隊成立尚不足一年，但此前在 NLP 方向有諸多探索和應(yīng)用。對于業(yè)界的 NLP 團隊來說，我們的研究方向更多是問題驅(qū)動型，首先是解決業(yè)務(wù)技術(shù)難題和挑戰(zhàn)，在眾多的業(yè)務(wù)需求中，提煉共性，抽象成更為廣泛的課題，再進行深入的研究、探索，最后將成果反哺給業(yè)務(wù)，產(chǎn)生更大的實際價值。
問：知文團隊在多個學(xué)術(shù)頂會上都有論文被錄取，目前這一團隊與哪些高校有著合作?與高校的合作主要集中在哪些研究領(lǐng)域?
答：我們和 MIT、ETH、哥倫比亞大學(xué)、中科院、北京大學(xué)等高校均有一些合作，目前合作研究領(lǐng)域也是圍繞知文團隊的研究重心而展開，以自然語言智能交互為核心，包括問答、對話、機器閱讀理解等。我們同時也希望進一步加深同海內(nèi)外高校的合作和交流，我們有豐富應(yīng)用場景、來自業(yè)務(wù)一線的難題和工業(yè)級大數(shù)據(jù)，希望能攜手學(xué)術(shù)科研機構(gòu)，一起促進產(chǎn)學(xué)研的聯(lián)動和落地。
問：目前在打造智能問答平臺的過程中，從技術(shù)和落地上來看，面臨的主要難點有哪些?
答：難點還是不少，這里列舉一些：
第一，領(lǐng)域遷移問題。從業(yè)界的經(jīng)驗來講，有效融合領(lǐng)域相關(guān)的知識、經(jīng)驗和數(shù)據(jù)，往往比算法優(yōu)化能夠帶來更顯著的提升。但領(lǐng)域遷移涉及到數(shù)據(jù)、模型和架構(gòu)的遷移，特別對于定制化要求較高的領(lǐng)域，目前還是很難做到規(guī)?；Ｎ覀儸F(xiàn)在希望先打造通用、多領(lǐng)域多任務(wù)、自動學(xué)習(xí)的智能問答平臺，讓新的業(yè)務(wù)、新的場景、新的領(lǐng)域能夠以較低的成本和門檻遷入進來，有一個較好的 warm-start，然后再提供一系列方法和工具，幫助做領(lǐng)域的定制。
第二，問答分為多種類型，比如說任務(wù)型、尋求信息型、聊天型，但想要判斷用戶問題的類型并不是那么容易，問題的分界沒那么清晰，需要對真實的意圖、背后的語境有較好的把握。
第三，如何構(gòu)建垂直領(lǐng)域的知識圖譜。目前數(shù)據(jù)很小，用自動化的方法去構(gòu)建垂直領(lǐng)域的知識圖譜會出現(xiàn)很多錯誤，可能需要人工構(gòu)建。
第四，問答、對話其核心都是語言的交互。既然是交互，多輪會話是難以繞開的問題。在單次會話時期中，讓機器學(xué)會適當(dāng)?shù)姆磫?，獲取更多的信息來完成對話，也是目前的熱點研究方向。
問：互聯(lián)網(wǎng)上的數(shù)據(jù)很多都是視覺與文本信號共同出現(xiàn)，譬如騰訊視頻，不僅有視頻信息，還有音頻信息以及相應(yīng)的字幕、評論和彈幕等，你們團隊是否有將計算機視覺與 NLP 相結(jié)合的交叉性研究?你如何看待這些學(xué)科的交叉發(fā)展?
答：image captioning、video question answering、multi-modal/cross-media search 這些都是跟我們非常相關(guān)的領(lǐng)域，事實上知文團隊在 CIKM2017 上就有篇基于對偶學(xué)習(xí)做 image captioning 的工作。
在實際的業(yè)務(wù)場景中，學(xué)科交叉是非常普遍的現(xiàn)象，現(xiàn)在大量的業(yè)界數(shù)據(jù)都是多模態(tài)數(shù)據(jù)，能在業(yè)界實用的工作，一定是充分融合了各個學(xué)科的技術(shù)，充分挖掘出多模態(tài)的信息。
此外，學(xué)科間的交叉融合也能帶來新的創(chuàng)新和突破，例如 CNN 是視覺領(lǐng)域的基礎(chǔ)網(wǎng)絡(luò)，但目前 NLP 領(lǐng)域基于 CNN 的工作也非常普遍。知文就在 IJCAI 2018 上發(fā)表了一篇基于 CNN seq2seq 做文本摘要的工作。
問：接下來的研究重心會放在哪里?
答：還是會放在自然語言的交互，包括之前提到的一些難點，我們會不斷探索更好的解決方案。
例如遷移是其中一個需要解決的重點，還有非結(jié)構(gòu)化問題也是我們要處理的挑戰(zhàn)之一。另外，怎么讓回復(fù)更加自然、人性化，讓機器學(xué)會問問題，這些都是需要探索的問題。
要解決的問題很多，未來的路仍然很長。
問：NLP 在騰訊有哪些典型落地場景?你對哪一個場景最為看好?
答：NLP 在騰訊有著豐富而廣泛的落地場景。例如，在社交方面，騰訊使用 NLP 技術(shù)進行熱點和話題的挖掘和發(fā)現(xiàn);在通訊方面，騰訊使用 NLP 技術(shù)進行各類服務(wù)的喚醒，使用戶的體驗更便捷;在內(nèi)容方面，騰訊使用 NLP 技術(shù)進行千人千面的內(nèi)容推薦;在企業(yè)服務(wù)和云方面，騰訊知文使用 NLP 技術(shù)打造智能問答平臺，幫助企業(yè)降低人力成本，提升客服、營銷的效率。
我非?？春弥膱F隊一直深耕的自然語言智能交互場景。搜索是 PC 時代的流量和服務(wù)入口，它是中心化的、寡頭的。自然語言的智能交互將會是 AI 時代的最重要入口，它是分布式的、去中心化的，每個設(shè)備、每個企業(yè)、每個用戶都會有自己的自然語言智能交互入口。這是從鐵器時代走向蒸汽時代，不僅是互聯(lián)網(wǎng)和商業(yè)模式，它將會給全社會、全人類帶來影響深遠(yuǎn)、深刻的變革。
問：從戰(zhàn)略層面上看，目前 NLP 技術(shù)在騰訊處于什么地位?
答：NLP 技術(shù)在騰訊的應(yīng)用已經(jīng)很廣泛、很久遠(yuǎn)，為業(yè)務(wù)帶來了許多價值，是非常重要的基礎(chǔ)技術(shù)地位。但是， 正如前文中提到，語言處理和理解本身是非常困難、非常復(fù)雜的領(lǐng)域，需要聯(lián)系實際業(yè)務(wù)場景、業(yè)務(wù)數(shù)據(jù)，才能發(fā)揮更大的價值。近年來可以看到，NLP 技術(shù)在騰訊各個業(yè)務(wù)上多點開花，百花齊放，知文也非常幸運身在其中，貢獻(xiàn)自己的力量。
問：學(xué)術(shù)界和工業(yè)界需要如何做，才能促進 NLP 的穩(wěn)步進展?
答：知文團隊非常希望能夠進一步加深和海內(nèi)外高校和學(xué)術(shù)結(jié)構(gòu)的合作和交流，我們有來自業(yè)務(wù)一線有趣、有挑戰(zhàn)、有意義的課題、有豐富的應(yīng)用場景、有工業(yè)級的大數(shù)據(jù)，希望能夠攜手學(xué)術(shù)界的教授專家們，一起來促進 NLP 產(chǎn)學(xué)研的聯(lián)動和落地。
