大數據文摘自2013年成立一直致力於普及數據文化，也匯集了一批願意奉獻的誌願者翻譯團隊，作為非營利組織，我們會更加注重版權和知識產權問題，將優秀的內容高品質的翻譯並分享給更多的中國讀者。

◆ ◆ ◆

簡介

 

不論是那些從事前沿研究開發，強化自然語言處理能力的人，還是那些在各自行業中越發認為自然語言處理能夠為他們帶來競爭力的機構和創新者，現在投身到自然語言處理（NLP）中都絕對是令人興奮的。

到2021年，全球自然語言處理市場的價值預計會達到160億美元，所以科技巨頭們爭相斥巨資投入到自然語言處理中以求分得一塊蛋糕就不足為奇了。在過去5年中，超過30家從事人工智能前沿研究的私有企業被穀歌，雅虎，英特爾，蘋果和Salesforce等巨頭們爭相並購。

涉足自然語言處理，文本分析和文本挖掘並不隻是大公司的專利。小公司、初創公司，甚至業餘項目都變得越來越容易涉足這些技術。

自然語言處理技術正在幫助公司規模化地將大量的非結構化數據物盡其用，同時能夠給他們提供一些見解和分析，而這些，在幾年前，他們做夢也想不到會成為現實。

現在我們將依次了解下最容易被人工智能和自然語言處理顛覆的三個行業：

1 法律業

2 保險業

3 客戶服務 

◆ ◆ ◆

法律業中的自然語言處理和文本分析

 

盡管我們離機器人律師還有很長一段路要走，現在具有創新意識的法律專業人士已經開始利用自然語言處理、文本挖掘和文本分析技術來發現經常隱藏在大量數據中的關鍵點，或者看起來不相關，但經過規模化分析後有價值的關鍵點，以及發現戰略增長和經常性的案件變化的趨勢，從而幫助他們在更快的時間內做出更明智的決策。

我們來介紹兩個例子，看看法律專業人士是如何利用自然語言處理和文本分析技術的。

• 電子數據展示（ediscovery）中的信息檢索

• 合同管理

• 條款摘要

• 電子數據展示中的信息檢索

電子數據展示表示在信息類型是電子版的法律訴訟過程中發現查找數據，例如起訴，政府調查，信息自由法請求等過程。電子版文件經常搭配難以在紙質版文件中發現的元數據，例如文件紀錄、分享的日期和時間等。像這種分鍾級別的細節在法律訴訟過程中很重要。

就自然語言處理而言，電子數據展示主要是關於信息檢索，幫助法律團隊尋找相關和有用的文件。

在很多案件中，需要分析的數據量能超過100GB，經常隻有5%到10%是真正相關的。要想篩選和減少數據量，外包服務機構每處理1GB數據要收費1千美元，你能看到成本會以多快的速度飛漲。

通過提取特定主體（人，地點，金額等）來涵蓋或剔除特定時間表，在電子郵件線程中隻收錄包含公司、人和被告的郵件，數據可以被篩選和分離。

 

◆ ◆ ◆

合同管理

 

自然語言處理使得合同管理部門能夠提取諸如金額和日期等關鍵信息，去總結合同中的條款來形成報告，還可以出於風險評估，預算和計劃的目的去比較所有條款。

在知識產權相關的爭端案件中，律師正在利用自然語言處理和文本挖掘技術從專利和公共法庭記錄等原文件中提取關鍵信息，去幫助他們指明案件中的方向。

條款摘要

眾所周知，法律文件如果要完整地閱讀會又長又沉悶。有時其實隻需要一個對全部文本的概括，來幫助法律人士理解全部內容。利用自然語言處理技術總結這些文件是可能的，我們可以從內容主體中選定固定數量的句子來生成一個摘要，例如提取最能反映文件內容的5個句子形成一個摘要。

NLP和文本分析在保險業的應用

保險從業者每天會從不同的渠道收集大量的數據，例如網站、在線聊天、電子郵件、社交網絡、經紀人或客戶代表手中。這些數據不僅來源於不同渠道，更與許多的方麵都有關係，例如主張、抱怨、政策、健康報告、事故報告、客戶和潛在客戶在社交媒體上的互動、電子郵件、在線聊天、電話……這個列表可以很長很長。

折磨保險業最大的問題就是騙保。讓我們來看看NLP、數據挖掘和文本分析技術是如何幫助保險業從業者來解決這些關鍵因素的。

將數據流精簡導向正確的部門/代理

通過反饋及時準確的數據來改善代理的決策

改善SLA響應時間和整體的客戶體驗

協助檢測騙保的聲明和活動

◆ ◆ ◆

精簡數據流

海量的數據和信息每天都會匯集到保險公司，並且需要被精密地管理、儲存、分析並及時地表現出來。一封錯過的郵件或者便箋或許不僅會導致糟糕的服務，讓客戶變得沮喪，更有可能會給公司帶來財物損失，例如，當在一個爭端案件中，相關證據沒能及時傳送到正確的人或部門手上時。

自然語言處理（NLP）通過一係列自動生成並分組的請求和文檔，用於幫助保險業從業者確保在正確的時間將正確的數據能傳到正確的“眼睛”中。這已經遠遠超過了文本分析技術用於理解文本並歸類的簡單的關鍵詞匹配。

◆ ◆ ◆

欺詐檢測

《歐洲保險》最近的一份報告顯示，在歐洲，檢測和未檢測到的騙保理賠估計占了全部理賠的10%。在這裏需要注意的當然是那些沒有被檢測到的欺詐。

保險公司通過NLP和文本分析技術來從非結構化的資源中挖掘數據，例如申請、理賠表格和調停通知，從而發掘出已提交的理賠申請中高危的部分。比如說，一個典型的騙保指標就是多份理賠申請中的事故的常見描述詞匯。一個受過訓練的人眼或許不一定真的無法察覺這些情況，但是這需要大量耗費時間的練習並且容易受到檢測者主觀性的影響，效果也並不穩定。

保險業從業者的解決方案是發展NLP分析麵板來支持快速決策分析，高亮潛在的騙保行為並使他們的調查員能夠基於一定的KPI來對不同的案件做優先級上的排序。

◆ ◆ ◆

NLP，文本分析和客戶服務

在一個越來越多關注SLA、KPI和ROI的世界裏，客戶支持和客戶的成功對於一個科技公司來說再重要不過了。在不斷增長的初創公司和創新公司殺入大量領域的現狀下，客戶體驗成為了市場洪流中消費者選擇的一個關鍵性因素

讓我們來看看NLP和文本分析在改善用戶體驗方麵能四個選擇

• 聊天機器人

• 分析客戶/客服交互

• 情感分析

• 客戶提問自動回複

聊天機器人

現在可以很肯定的說聊天機器人是一個非常棒的東西了！這些聊天客服開始出現在各處，因為公司期望利用前沿的人工智能技術來武裝自己。

你甚至有可能意識不到這一點，那就是你的日常偏好會被多個機器客服記錄下來。網店通過他們來向我們推薦商品，回答我們的問題，生成個性化的路徑並作為虛擬助手來和我們交流。

分析客戶/客服交互

客服和客戶之間的交互行為可以發現有趣的，可行動的見解和趨勢。許多交互是以文本的形式默認存在的，如郵件、在線聊天、反饋表等，而聲音到文本的轉換技術可以用於將電話交流轉換成文本以供分析。

傾聽顧客

顧客的聲音在如今變得比過去更加重要。社交媒體就像是一個等待發掘的消費者意見的公共金礦。NLP和文本分析可以讓你分析海量的社交聊天記錄來幫助理解人們對一個具體的項目、產品、品牌甚至公司的態度。

通過分析對你的品牌的態度可以幫助你降低流失並改善客戶支持，通過發現並主動改進負麵趨勢的方式。這也可以在造成太大損失之前發現問題並懸崖勒馬，同時在你做了正確的事情時得到及時反饋並保持下去

當客戶反饋包含了大量的負麵情感時，反饋給產品發展團隊可以幫助他們更有效地指導他們的努力方向。

由於客戶支持的多渠道性，你更傾向於搜集不同渠道的信息來源：郵件、社交媒體、反饋表、在線聊天等。對許多公司來說，回應速度是一個關鍵績效。與此同時，如何將客戶的詢問通過最短的步驟導向相關部門也是至關重要的一環。

NLP可以在沒有人工參與的情況下用於自動導向和分類客戶需求。如前所述，這不僅僅是簡單的關鍵詞匹配，而是運用文本分析技術來真正“理解”內容並分類

原文發布時間為：2016-10-21

本文來自雲棲社區合作夥伴“大數據文摘”，了解相關信息可以關注“BigDataDigest”微信公眾號