|
|
自然語言處理技術(shù)是所有與自然語言的計(jì)算機(jī)處理有關(guān)的技術(shù)的統(tǒng)稱,其目的是使計(jì)算機(jī)理解和接受人類用自然語言輸入的指令,完成從一種語言到另一種語言的翻譯功能。自然語言處理技術(shù)的研究,可以豐富計(jì)算機(jī)知識(shí)處理的研究?jī)?nèi)容,推動(dòng)人工智能技術(shù)的發(fā)展。自然語言處理中的主要任務(wù) :
1. 詞性標(biāo)注與(中文)分詞:詞性標(biāo)注是自然語言處理中**基礎(chǔ)的研究領(lǐng)域之一。分詞則是中文自然語言處理里的重要任務(wù)。當(dāng)前詞性標(biāo)注任務(wù)已經(jīng)較為成熟,發(fā)展空間已經(jīng)不是很大,而中文分詞則基本不被外國(guó)高校所關(guān)注。
2. 語法解析:語法解析長(zhǎng)久以來是自然語言理解的核心方法,旨在通過解析語言的語法結(jié)構(gòu)來理解語義。語法解析的研究已持續(xù)數(shù)十年,做出突破難度較大,國(guó)內(nèi)高校對(duì)于這一方向的努力一直不是很多。如何科學(xué)地把語法解析結(jié)果應(yīng)用在其它任務(wù)中,是當(dāng)前NLP和計(jì)算語言學(xué)領(lǐng)域所有研究者共同感興趣的話題。
3. 語言模型:語言模型的基本任務(wù)是通過上文預(yù)測(cè)下文。預(yù)測(cè)準(zhǔn)確率越高,語言模型性能越好,標(biāo)志著模型對(duì)于該語言的學(xué)習(xí)/擬合能力越強(qiáng)。從應(yīng)用的角度上說,有利于文本表示學(xué)習(xí)的性能。
4. 信息檢索:信息檢索包括文本檢索和多媒體檢索,是搜索引擎的核心技術(shù),也是自然語言處理領(lǐng)域的重要應(yīng)用。NLP領(lǐng)域關(guān)注的信息檢索主要是通過短文本檢索長(zhǎng)文檔的任務(wù),也有通過文本檢索圖片的任務(wù)。信息檢索目前主要關(guān)注的問題是搜索結(jié)果的排序和個(gè)性化推薦。
5. 信息抽取:信息抽取旨在從非結(jié)構(gòu)化的文本數(shù)據(jù)中抽取結(jié)構(gòu)化的目標(biāo)信息。這是一個(gè)熱點(diǎn)的任務(wù),但是當(dāng)前模型大多只能進(jìn)行單一任務(wù)的信息抽取,效果也不是特別好。因此將來一段時(shí)間,信息抽取還會(huì)是一個(gè)熱門話題。該任務(wù)也是其它行業(yè)對(duì)人工智能**熱切的期待之一。行業(yè)外的人經(jīng)常問自然語言處理能不能做這個(gè)做那個(gè),大多數(shù)是在問能不能從非結(jié)構(gòu)化的海量文本中提取特定的某些信息。
6. 語義表示:語義表示是當(dāng)前諸多NLP任務(wù)的基礎(chǔ)之一,目標(biāo)是將字,詞,句,文章的語義表示在合適的向量空間中,以此為基礎(chǔ)提高各項(xiàng)任務(wù)中模型的性能。隨著機(jī)器學(xué)習(xí)的發(fā)展,語義表示已成為自然語言處理的一大核心。尤其**近深度學(xué)習(xí)很火,這一領(lǐng)域也是火得不行。
7. 文本分類:文本分類旨在將不同的文本進(jìn)行分類,以進(jìn)行進(jìn)一步的處理。例如百度曾通過文本分類結(jié)果作為廣告推薦的依據(jù)。目前大多數(shù)關(guān)于文本分類的研究主要目的是證明文本表示模型的優(yōu)越性。
8. 機(jī)器翻譯:有關(guān)機(jī)器翻譯這一任務(wù)的研究已延續(xù)數(shù)十年。與詞性標(biāo)注,語法解析任務(wù)不同,機(jī)器翻譯模型的性能依然不夠強(qiáng)。當(dāng)前流行的方法是應(yīng)用深度學(xué)習(xí)實(shí)現(xiàn)高性能的機(jī)器翻譯。
9. 對(duì)話系統(tǒng):對(duì)話系統(tǒng)的目標(biāo)是實(shí)現(xiàn)能和人類對(duì)話的機(jī)器人,這是一個(gè)難以實(shí)現(xiàn),難以評(píng)測(cè)的任務(wù)。近年來學(xué)術(shù)界和工業(yè)界對(duì)深度學(xué)習(xí)在對(duì)話系統(tǒng)中的應(yīng)用很感興趣。該任務(wù)會(huì)一直是一個(gè)熱門話題。
10. 問答系統(tǒng):?jiǎn)柎鹣到y(tǒng)可以說是一個(gè)簡(jiǎn)單版的對(duì)話系統(tǒng),通常是在進(jìn)行關(guān)于特定領(lǐng)域內(nèi)知識(shí)的問答。近年來也有人提出閱讀理解式的問答(類似高考英語閱讀理解),以及關(guān)于給定圖像進(jìn)行問答的任務(wù)。問答系統(tǒng)比對(duì)話系統(tǒng)更容易實(shí)現(xiàn)和評(píng)測(cè),但也存在問答系統(tǒng)面臨的諸多問題。
11. 情感計(jì)算:情感計(jì)算旨在分析社交網(wǎng)絡(luò)發(fā)言、電商平臺(tái)評(píng)論等文本的情感傾向,有較為廣闊的應(yīng)用前景,也受到了廣泛關(guān)注。目前的情感計(jì)算主要是建立在強(qiáng)大的語義表示模型上。
NLPIR大數(shù)據(jù)語義智能分析平臺(tái)是根據(jù)中文數(shù)據(jù)挖掘的綜合需求,融合了網(wǎng)絡(luò)精準(zhǔn)采集、自然語言理解、文本挖掘和語義搜索的研究成果,并針對(duì)互聯(lián)網(wǎng)內(nèi)容處理的全技術(shù)鏈條的共享開發(fā)平臺(tái)。
NLPIR大數(shù)據(jù)語義智能分析平臺(tái)主要有精準(zhǔn)采集、文檔轉(zhuǎn)化、新詞發(fā)現(xiàn)、批量分詞、語言統(tǒng)計(jì)、文本聚類、文本分類、摘要實(shí)體、智能過濾、情感分析、文檔去重、全文檢索、編碼轉(zhuǎn)換等十余項(xiàng)功能模塊,平臺(tái)提供了客戶端工具,云服務(wù)與二次開發(fā)接口等多種產(chǎn)品使用形式。
隨著信息技術(shù)在我國(guó)社會(huì)生活各個(gè)領(lǐng)域應(yīng)用的深入,中文信息處理正在成為人們工作和生活中不可或缺的手段,中文信息處理將具有更加廣闊的市場(chǎng)。
|