DataVisor大數據獨創算法，實現真正智能的反欺詐預警

互聯網的發展，讓在線服務呈現爆炸式增長，從而產生的億萬互聯網用戶的身份標簽。社交網站、電商、互聯網金融等越來越活躍的今天，互聯網帶來便捷的同時也帶來風險。各種欺詐活動，層出不窮，社交網上假屏，刷帖電商上有的是薅羊毛，刷單，金融領域它有身份盜取，開假帳號，信用卡交易欺詐，銀行轉賬欺詐，洗錢等等。歸根到底都是屬於那種惡意的帳號的活動。

今天基於大數據分析的欺詐預警和檢測，成為互聯網的必備手段，但是傳統的數據分析都是利用建模、數據畫像、監督等安全監測手段，都需要提供已有的監測算法、人工標簽或者訓練數據，來建立監測發現已知的惡意活動。但是欺詐行業有它的特殊性，特殊性就在於它所麵對的是不斷變換的欺詐者，不斷變化的欺詐方式。同時知道你的防線、你的防禦，能夠繞過這些平台上已經采取的一些檢測手段，所以它一直是有一些敵我之間這種相互的博弈狀況。包括早期的規則係統，包括下一代有監督的機器學習，但是這些手段又具有局限性。

但是我們知道各種欺詐的源頭就是在代表億萬互聯網用戶的身份的數字賬號。如果能在賬號建立之初就能做出預警和檢測，那麼用戶的損失就能減少最低。近日DataVisor CEO兼聯合創始人Yinglian Xie（謝映蓮）接受包括至頂網在內的媒體采訪。詳細介紹了DataVisor利用當前先進的人工智能技術研發的基於Spark大數據平台獨創的無監督欺詐檢測服務算法平台，為麵向用戶的網站提供包括個體欺詐和分布式群體欺詐的先進的反欺詐檢測服務。

 

DataVisor CEO兼聯合創始人Yinglian Xie

DataVisor 是2013年成立的一家矽穀初創技術創新企業，謝映蓮表示公司的願景是希望利用最先進的人工智能技術，結合大數據應用，最大程度保護用戶的數字資產。

數字用戶與現實用戶的防範在本質上相同。就像你要了解一個人，不僅要通過這個人本身，還要通過他的周邊的聯係，才能全麵係統的做個了解。數字用戶同樣如此，數字用戶主要基於數據的判斷，數據有兩個不同的維度，一個維度是每個用戶可以有很詳細的畫像，這是一個維度，目前大數據分析公司很多都是走的這個維度，讓這個用戶的行為越詳細，越充分，你就越容易判斷。DataVisor在這個維度之外，有提出另外一種維度，就是挖掘縱向的用戶之間的關係。當成千上萬的用注冊一起看的時候，通過對數據不同方式的挖掘，提供不同層次的對於惡意活動和欺詐的預判。這就需要更高挑戰、更複雜的算法。

DataVisor基於Spark大數據平台獨創的無監督欺詐算法，是DataVisor獨創的高效欺詐檢測算法。它與傳統的基於既定規則或基於監督學習模型的算法不同。此算法無需客戶提供標注數據，每小時可分析數十億新發生的事件，對新型的、變化多端的欺詐行為進行提前預警，並提早自動發現未知的惡意欺詐行為，為網絡欺詐和金融犯罪提供檢測服務。

基於對海量用戶賬戶的行為、設備、IP地址等進行高緯度用戶畫像及全方位的關聯和相似性分析。DataVisor大數據係統會自動挖掘出潛在的各種群體性（手動操作或基於自動作弊腳本的）隱蔽欺詐行為。謝映蓮談到這項算法技術無需訓練數據或標簽。比如發現一個新型的欺詐用戶群組，雖然該欺詐用戶群組在實施欺詐和惡意攻擊前會潛伏一段時間，傳統檢測手段不容易發現，但DataVisor的無監督用戶分析服務能夠自動發現用戶間的相似性和整個組織的異常行為，比如在發動攻擊前會做少量但極相似的交易測試。DataVisor能夠做出判斷，大大提升自動封禁或者人工審核的效率。

具體來講，DataVisor無監督用戶分析服務有幾個特點： 第一是實現早期預警，DataVisor能夠在欺詐性用戶發動攻擊之前進行預警。90%的欺詐性交易或者惡意用戶能夠被提前或者實時檢測。在保證用戶實際損失之前就檢測到惡意用戶或者欺詐賬號。

第二個就是超高的覆蓋率和準確率。DataVisor能夠檢測整條攻擊產業鏈。比如發現一個新型的欺詐用戶群組，雖然該欺詐用戶群組在實施欺詐和惡意攻擊前會潛伏一段時間，傳統檢測手段不容易發現，但DataVisor的無監督用戶分析服務能夠自動發現用戶間的相似性和整個組織的異常行為，比如在發動攻擊前會做少量但極相似的交易測試。DataVisor能夠做出判斷，大大提升自動封禁或者人工審核的效率。

第三，無監督檢測，無需人工標記和訓練數據，自動發現未知攻擊。每天檢測50萬以上的惡意賬號。第四海量的可擴展性，每小時分析數十億的事件日誌。每天為四億多用戶保駕護航。

DataVisor無監督用戶分析服務，區別於傳統的事件級別檢測或用戶級別檢測，以無監督反欺詐檢測算法（目前正在申請專利）為核心技術，結合其它檢測分析技術，如有監督機器學習、自動規則引擎和全球智能信譽庫。同時DataVisor支持Spark、Hadoop、HBase、ES等多種大數據處理框架，擁有超高的計算效率，可同時處理數十億事件數據分析工作，對所有用戶進行全局分析，識別用戶之間隱藏的關聯，並對異常用戶賬號進行早期預警。

目前，DataVisor全球累計處理超過6千億的用戶事件，檢測超過1億3千萬的壞用戶，保護超過20億來自全球大型互聯網公司的用戶，客戶包括阿裏巴巴、獵豹移動、陌陌、Yelp、Pinterest等。比如陌陌采用DataVisor所提供的解決方案後，陌陌平台上的垃圾信息、網絡釣魚、非法廣告和盜號行為均有了大幅度的減少。對於陌陌來講免受各種欺詐，spam的幹擾，能夠更專注與業務發展，保證用戶群的增長和服務。

原文發布時間為： 2017年7月25日

本文作者：任新勃

本文來自雲棲社區合作夥伴至頂網，了解相關信息可以關注至頂網。