0
| 本文作者： 又田 | 2018-01-08 15:09 |
保守估計(jì)，互聯(lián)網(wǎng)約50%~60%的流量由網(wǎng)絡(luò)機(jī)器人貢獻(xiàn)，航空票務(wù)、政府公示、社保信息、公積金信息、招聘簡(jiǎn)歷等，都是網(wǎng)絡(luò)爬蟲(chóng)的重災(zāi)區(qū)。網(wǎng)絡(luò)爬蟲(chóng)不但虛耗資源，影響正常用戶(hù)體驗(yàn)，還容易導(dǎo)致信息泄露，無(wú)效營(yíng)銷(xiāo)等，企業(yè)和個(gè)人都受損。 如何建設(shè)網(wǎng)絡(luò)機(jī)器人實(shí)時(shí)立體防控體系，成為很多企業(yè)關(guān)心的問(wèn)題。
本次公開(kāi)課，雷鋒網(wǎng)宅客頻道（微信公眾號(hào)：letshome）邀請(qǐng)了邦盛科技技術(shù)總監(jiān)李白分享他和他的團(tuán)隊(duì)如何利用數(shù)據(jù)、技術(shù)、規(guī)則、模型、產(chǎn)品來(lái)建設(shè)網(wǎng)絡(luò)機(jī)器人實(shí)時(shí)識(shí)別與防護(hù)體系。
嘉賓介紹
李白，浙江邦盛科技的技術(shù)總監(jiān)，主要負(fù)責(zé)實(shí)時(shí)大數(shù)據(jù)處理、分析、智能決策技術(shù)領(lǐng)域的研究與實(shí)踐，致力將實(shí)時(shí)大數(shù)據(jù)賦能與業(yè)務(wù)場(chǎng)景的結(jié)合與落地實(shí)踐。做為資深的業(yè)務(wù)安全專(zhuān)家，長(zhǎng)期專(zhuān)注爬蟲(chóng)行為分析、識(shí)別、防護(hù)、對(duì)抗，擁有豐富的實(shí)踐經(jīng)驗(yàn)和技術(shù)積累。
以下是公開(kāi)課總結(jié)文實(shí)錄+視頻，在不妨礙原意的表達(dá)上，雷鋒網(wǎng)宅客頻道略有刪節(jié)，視頻附在文末：
若想獲得此次公開(kāi)課完整 PPT，請(qǐng)關(guān)注微信公眾號(hào)宅客頻道（微信ID：letshome），回復(fù)“網(wǎng)絡(luò)機(jī)器人 ”。
內(nèi)容介紹
本期雷鋒網(wǎng)硬創(chuàng)公開(kāi)課包含但不限于以下內(nèi)容：
網(wǎng)絡(luò)機(jī)器人發(fā)展現(xiàn)狀趨勢(shì)及特點(diǎn)，以及給我們帶來(lái)的危害分析。
大數(shù)據(jù)時(shí)代，如何利用數(shù)據(jù)、技術(shù)、規(guī)則、模型、產(chǎn)品技術(shù)，精準(zhǔn)識(shí)別已擬人化的網(wǎng)絡(luò)機(jī)器人。
以某大型票務(wù)網(wǎng)站威力，介紹網(wǎng)絡(luò)機(jī)器人立體識(shí)別與防控的技術(shù)架構(gòu)和運(yùn)維流程。
如何從前端、后端，規(guī)則模型及運(yùn)維等方面，建設(shè)網(wǎng)絡(luò)機(jī)器人實(shí)時(shí)識(shí)別與防范體系。
今天我想和大家從以下幾個(gè)方面來(lái)探討：首先要談到的是網(wǎng)絡(luò)機(jī)器人也就是各種各樣的爬蟲(chóng)所帶來(lái)的風(fēng)險(xiǎn)；在其帶來(lái)風(fēng)險(xiǎn)的同時(shí)，市場(chǎng)也會(huì)有識(shí)別和防護(hù)的需求，如何識(shí)別與防護(hù)網(wǎng)絡(luò)爬蟲(chóng)？我會(huì)結(jié)合具體案例來(lái)講解；另外還有攻防對(duì)抗過(guò)程中的一些心得體會(huì)，以及將來(lái)為保證解決方案持續(xù)有效我們應(yīng)該怎么做。
這是一張過(guò)去四年的網(wǎng)絡(luò)流量分布圖，可以看到非人類(lèi)也就是網(wǎng)絡(luò)機(jī)器人在互聯(lián)網(wǎng)上貢獻(xiàn)的流量是持續(xù)上升的，而這些流量覆蓋領(lǐng)域也各式各樣，包括航空票務(wù)、政府公示、港口物流、招聘簡(jiǎn)歷、金融理財(cái)、社交網(wǎng)絡(luò)……
這些網(wǎng)絡(luò)機(jī)器人所帶來(lái)的風(fēng)險(xiǎn)可以簡(jiǎn)單劃分為幾個(gè)方面：
對(duì)票務(wù)行業(yè)來(lái)說(shuō)，網(wǎng)絡(luò)黃牛占票大行其道，企業(yè)和用戶(hù)利益受損
「薅羊毛產(chǎn)業(yè)」興盛，企業(yè)營(yíng)銷(xiāo)經(jīng)費(fèi)低效轉(zhuǎn)化
商業(yè)信息泄露，陷入不正當(dāng)競(jìng)爭(zhēng)
對(duì)于系統(tǒng)工程師來(lái)說(shuō)，暴力訪(fǎng)問(wèn)，威脅系統(tǒng)可用性
影響真實(shí)用戶(hù)訪(fǎng)問(wèn)體驗(yàn)
網(wǎng)絡(luò)資源虛耗，流量無(wú)效轉(zhuǎn)化
也正因?yàn)樯鲜鰣?chǎng)景下網(wǎng)絡(luò)機(jī)器人肆虐，國(guó)家開(kāi)始出臺(tái)一系列法律法規(guī)，總體可分為兩個(gè)層面：
一方面作為數(shù)據(jù)的擁有者，有責(zé)任和義務(wù)通過(guò)種種手段保障網(wǎng)絡(luò)數(shù)據(jù)的完整性、保密性和可用性。
另一方面從數(shù)據(jù)的爬取方來(lái)說(shuō)，未經(jīng)授權(quán)爬取某些數(shù)據(jù)屬于違法行為，比如未經(jīng)授權(quán)讀取用戶(hù)手機(jī)通訊錄超過(guò)50條記錄，公司法人最高可獲刑3年；未經(jīng)授權(quán)讀取用戶(hù)公積金社保記錄的超過(guò)5萬(wàn)條的，公司法人最高可獲刑7年……
網(wǎng)絡(luò)機(jī)器人即在互聯(lián)網(wǎng)環(huán)境中，通過(guò)自動(dòng)化的程序?qū)崿F(xiàn)對(duì)互聯(lián)網(wǎng)數(shù)據(jù)資源、數(shù)字資產(chǎn)等信息的智能化獲取，現(xiàn)代爬蟲(chóng)有三大特征：自動(dòng)化、智能化、擬人化，其可以細(xì)分為數(shù)據(jù)爬蟲(chóng)、占票工具、撞庫(kù)工具、比價(jià)工具、刷單工具等。
現(xiàn)代爬蟲(chóng)會(huì)通過(guò)模擬真人發(fā)起請(qǐng)求，具體模擬有三種方式：報(bào)文模擬，終端模擬，行為模擬。
而隨著攻防不斷演進(jìn)，企業(yè)對(duì)抗手段也有了變化。
具體可分為以下幾個(gè)里程：
人工運(yùn)維
在這個(gè)階段，企業(yè)面臨的攻擊節(jié)奏不快，網(wǎng)站流量不大，數(shù)據(jù)吸引力沒(méi)有廣而告之。此時(shí)網(wǎng)站或企業(yè)通過(guò)人工運(yùn)維，持續(xù)投入人力分析流量，根據(jù)簡(jiǎn)單規(guī)則，建立各維度訪(fǎng)問(wèn)主體的黑庫(kù)，持續(xù)更新。
傳統(tǒng)信息安全
隨著流量的增加，企業(yè)自然而然開(kāi)始考慮運(yùn)用一些網(wǎng)絡(luò)安全手段，比如網(wǎng)絡(luò)防火墻、IPS、IDS、應(yīng)用防火墻，但這些傳統(tǒng)防護(hù)手段對(duì)有著明顯爬蟲(chóng)特征的網(wǎng)絡(luò)機(jī)器人有用，而隨著爬蟲(chóng)愈來(lái)愈智能化、擬人化，其報(bào)文會(huì)十分接近正常人，因此這些傳統(tǒng)安全手法效果有限。
業(yè)務(wù)層應(yīng)對(duì)
在這一階段，企業(yè)防守開(kāi)始走向業(yè)務(wù)層應(yīng)對(duì)，業(yè)務(wù)應(yīng)用埋點(diǎn)邏輯，通過(guò)驗(yàn)證碼、前端混淆、服務(wù)端檢測(cè)等技術(shù)，對(duì)真人與機(jī)器人進(jìn)行區(qū)分。
立體式實(shí)時(shí)識(shí)別與防護(hù)
而在目前身處的這一階段，企業(yè)需要講數(shù)據(jù)、技術(shù)、規(guī)則、模型、產(chǎn)品、服務(wù)等一系列結(jié)合起來(lái)進(jìn)行對(duì)抗。
事實(shí)上，永恒的安全是不可能的。攻防不斷演進(jìn)是機(jī)器人防護(hù)永恒的主題，其實(shí)質(zhì)是人與人，AI 與 AI 的對(duì)抗。而不管是從前端還是后端，以及風(fēng)控規(guī)則模型，包括持續(xù)運(yùn)維，是一個(gè)立體式的防護(hù)。
后續(xù)我們也進(jìn)行了一些思考，首先數(shù)據(jù)要與場(chǎng)景結(jié)合，業(yè)務(wù)模式?jīng)Q定了模型上限。而我們需不斷通過(guò)優(yōu)化算法以及特征工程訓(xùn)練這一模型。這是一個(gè)無(wú)限逼近上限的過(guò)程，但我們?cè)陂_(kāi)始時(shí)就應(yīng)將上限拔高。
另外，一些與業(yè)務(wù)場(chǎng)景結(jié)合在一起的技術(shù)也可以抽取出來(lái)進(jìn)行訓(xùn)練，比如我們?cè)谧龅囊恍┝魇酱髷?shù)據(jù)計(jì)算、基于規(guī)則模型的智能決策、實(shí)時(shí)的數(shù)據(jù)可視化等。
從安全合規(guī)角度更要保證內(nèi)部敏感數(shù)據(jù)不外泄，外圍輔助數(shù)據(jù)本地化。
問(wèn)答環(huán)節(jié)：
1.目前航企遭受的爬蟲(chóng)攻擊多來(lái)自哪里？
答：主要來(lái)自同行業(yè)的競(jìng)爭(zhēng)，比如 A 航空公司利用爬蟲(chóng)占據(jù)了 B 航空公司全部低價(jià)票，而 B 公司只有高價(jià)票可售，這種情況下多數(shù)用戶(hù)會(huì)選擇其他公司（如 A 公司）購(gòu)票。另外在提直降代后，一些黑代理或者一些資質(zhì)不全的代理，也要有一定的生財(cái)之道，所以其會(huì)通過(guò)各種爬蟲(chóng)工具進(jìn)行占票轉(zhuǎn)而高價(jià)出售。同時(shí) OTA 網(wǎng)站之間為了獲取更多客戶(hù)也會(huì)互相爬取對(duì)方價(jià)格保證自己合理定價(jià)。
2.運(yùn)用多種手段識(shí)別打擊網(wǎng)絡(luò)機(jī)器人，如何提升準(zhǔn)確率？
答：這是一個(gè)很關(guān)鍵的問(wèn)題，我們做這件事的目的就是為了提升識(shí)別準(zhǔn)確率。那要如何提升準(zhǔn)確率？我認(rèn)為一定要利用人工智能來(lái)優(yōu)化查準(zhǔn)率和查全率，比如我們會(huì)基于專(zhuān)家規(guī)則，以此為基礎(chǔ)通過(guò)機(jī)器學(xué)習(xí)，加之以深度學(xué)習(xí)優(yōu)化模型。
另外從場(chǎng)景來(lái)看，也可以采用多種不同級(jí)別的管控手段，除了封IP，也考慮加入動(dòng)態(tài)的驗(yàn)證碼，或者限速、限流、延遲到達(dá)等等。
3.請(qǐng)問(wèn)是否使用了決策引擎和規(guī)則引擎？
答：是的，我們使用了決策和規(guī)則雙核引擎。
視頻回放地址：http://www.mooc.ai/open/course/413
若想獲得此次公開(kāi)課完整 PPT，請(qǐng)關(guān)注微信公眾號(hào)宅客頻道（微信ID：letshome），回復(fù)“網(wǎng)絡(luò)機(jī)器人 ”。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
