1. 研究背景
1.1 WEB應(yīng)用安全現(xiàn)狀
隨著的發(fā)展，金融網(wǎng)上交易、政府電子政務(wù)、門戶網(wǎng)站、社區(qū)論壇、等各類基于HTML文件格式的信息共享平臺(WEB應(yīng)用系統(tǒng))越發(fā)完善，深入到人們生活中的點(diǎn)點(diǎn)滴滴。然而WEB應(yīng)用共享平臺為我們的生活帶來便利的同時，也面臨著前所未有的挑戰(zhàn)：WEB應(yīng)用系統(tǒng)直接面向Internet，以WEB應(yīng)用系統(tǒng)為跳板甚至控制整個內(nèi)網(wǎng)系統(tǒng)的攻擊行為已成為最普遍的攻擊手段。據(jù)Gartner的最新調(diào)查，目前75%以上的攻擊行為都基于WEB應(yīng)用層面而非網(wǎng)絡(luò)層面;同時數(shù)據(jù)顯示，三分之二的WEB站點(diǎn)都相當(dāng)脆弱，易受攻擊。
據(jù)中國互聯(lián)網(wǎng)應(yīng)急中心最新統(tǒng)計(jì)顯示，2009年我國大陸地區(qū)政府網(wǎng)頁遭篡改事件呈大幅增長趨勢，被篡改網(wǎng)站的數(shù)量就達(dá)到52225個。2009年8月份，公安部對國內(nèi)政府網(wǎng)站的進(jìn)行安全大檢查，發(fā)現(xiàn)40%存在嚴(yán)重安全漏洞，包括SQL注入、跨站腳本漏洞等。由此導(dǎo)致的網(wǎng)頁篡改、網(wǎng)頁掛馬、機(jī)密數(shù)據(jù)外泄等安全事件頻繁發(fā)生，不但嚴(yán)重影響對外形象，有時甚至?xí)斐删薮蟮慕?jīng)濟(jì)損失，或者嚴(yán)重的社會問題，嚴(yán)重危及國家安全和人民利益。
網(wǎng)頁篡改：一些不法分子的重點(diǎn)攻擊對象。組織門戶網(wǎng)站一旦被篡改(加入一些敏感的顯性內(nèi)容)，引發(fā)較大的影響，嚴(yán)重甚至造成政治事件。
網(wǎng)頁掛馬：網(wǎng)頁內(nèi)容表面上沒有任何異常，實(shí)際被偷偷的掛上了程序。網(wǎng)頁掛馬未必會給網(wǎng)站帶來直接損害，但卻會給瀏覽網(wǎng)站的用戶帶來巨大損失。網(wǎng)站一旦被掛馬，其權(quán)威性和公信力將會受到打擊。
機(jī)密數(shù)據(jù)外泄：在線業(yè)務(wù)系統(tǒng)中，總是需要保存一些企業(yè)、公眾的相關(guān)資料，這些資料往往涉及到企業(yè)秘密和個人隱私，一旦泄露，會造成企業(yè)或個人的利益受損，可能會給單位帶來嚴(yán)重的法律糾紛。
1.2 傳統(tǒng)安全防護(hù)方法
企業(yè) WEB 應(yīng)用的各個層面，都已使用不同的技術(shù)來確保安全性。為了保護(hù)客戶端機(jī)器的安全，用戶會安裝防軟件;為了保證用戶數(shù)據(jù)傳輸?shù)狡髽I(yè)的傳輸安全，層通常會使用技術(shù)加密數(shù)據(jù);和/來保證僅允許特定的訪問，不必要暴露的端口和非法的訪問，在這里都會被阻止;同時企業(yè)采用一定的身份認(rèn)證機(jī)制授權(quán)用戶訪問 WEB 應(yīng)用。
但是，即便有防病毒保護(hù)、防火墻和 IDS/IPS，企業(yè)仍然不得不允許一部分的通訊經(jīng)
過防火墻，保護(hù)措施可以關(guān)閉不必要暴露的端口，但是 WEB 應(yīng)用所必須的端口，必須開放。順利通過的這部分通訊，可能是善意的，也可能是惡意的，很難辨別。同時，WEB 應(yīng)用是由軟件構(gòu)成的，那么，它一定會包含漏洞，這些漏洞可能被惡意的用戶利用，他們通過執(zhí)行各種惡意的操作，或者偷竊、或者操控、或者破壞 WEB 應(yīng)用中的重要信息。
1.3 本文研究觀點(diǎn)
網(wǎng)站是否存在WEB 應(yīng)用程序漏洞，往往是被入侵后才能察覺;如何在攻擊發(fā)動之前主動發(fā)現(xiàn)WEB應(yīng)用程序漏洞？答案就是：主動防御，即利用WEB應(yīng)用弱點(diǎn)掃描技術(shù)，主動實(shí)現(xiàn)對WEB應(yīng)用的安全防護(hù)。
本文主要針對B/S架構(gòu)WEB應(yīng)用系統(tǒng)中典型漏洞、流行的攻擊技術(shù)、AJAX的隱藏資源獲取、驗(yàn)證碼圖片識別等進(jìn)行研究，提出了一種新的面向WEB的漏洞檢測技術(shù)，能夠較完整得提取出AJAX的資源，有效識別驗(yàn)證碼。
2. WEB應(yīng)用風(fēng)險(xiǎn)掃描架構(gòu)
WEB應(yīng)用風(fēng)險(xiǎn)掃描技術(shù)架構(gòu)主要分為URL獲取層、檢測層、取證與深度評估層三個層次，其中：
URL獲取層：主要通過網(wǎng)絡(luò)爬蟲方式獲取需要檢測的所有URL，并提交至檢測層進(jìn)行風(fēng)險(xiǎn)檢測;
風(fēng)險(xiǎn)檢測層：對URL獲取層所提交的所有URL頁面進(jìn)行SQL注入、跨站腳本、文件上傳等主流WEB應(yīng)用安全漏洞進(jìn)行檢測，并將存在安全漏洞的頁面和漏洞類型提交至取證與深度評估層;
取證與深度評估層：針對存在安全漏洞的頁面，進(jìn)行深度測試，獲取所對應(yīng)安全漏洞的顯性表現(xiàn)，(如風(fēng)險(xiǎn)檢測層檢測出該網(wǎng)站存在SQL注入漏洞，則至少需可獲取該網(wǎng)站的類型);作為該漏洞存在的證據(jù)。
3. 網(wǎng)絡(luò)爬蟲技術(shù)—URL獲取
網(wǎng)絡(luò)爬蟲是一個自動提取網(wǎng)頁的程序，它通過指定的，從一個或若干初始網(wǎng)頁的URL開始，獲得初始網(wǎng)頁上的URL，在抓取網(wǎng)頁的過程中，不斷從當(dāng)前頁面上抽取新的URL放入隊(duì)列，直到滿足系統(tǒng)的一定停止條件。
網(wǎng)絡(luò)爬蟲的工作流程較為復(fù)雜，首先根據(jù)一定的網(wǎng)頁分析算法過濾與主題無關(guān)的鏈接，保留有用的鏈接并將其放入等待抓取的URL隊(duì)列。然后，根據(jù)搜索策略從隊(duì)列中選擇下一步要抓取的網(wǎng)頁URL，并重復(fù)，直到達(dá)到預(yù)設(shè)的停止條件。另外，所有被爬蟲抓取的網(wǎng)頁將會被系統(tǒng)存貯，進(jìn)行一定的分析、過濾，并建立索引，以便之后的查詢、檢索和取證及報(bào)表生成時做為源數(shù)據(jù)。
為了更加高速、有效地獲取網(wǎng)站中所有的URL鏈接，在本W(wǎng)EB應(yīng)用風(fēng)險(xiǎn)掃描技術(shù)研究中，所采用的網(wǎng)絡(luò)爬蟲技術(shù)著重解決以下三個問題：
(1) 對抓取目標(biāo)的描述或定義;
(2) 對網(wǎng)頁和數(shù)據(jù)的分析與過濾;
(3) 對URL的搜索策略。
3.1 網(wǎng)頁抓取目標(biāo)
網(wǎng)頁弱點(diǎn)爬蟲對抓取目標(biāo)的描述或定義基于目標(biāo)網(wǎng)頁特征抓取、并索引，對象是網(wǎng)站的網(wǎng)頁;通過用戶行為確定的抓取目標(biāo)樣例，其中，網(wǎng)頁特征可以是網(wǎng)頁的內(nèi)容特征，也可以是網(wǎng)頁的鏈接結(jié)構(gòu)特征，以及網(wǎng)頁代碼的結(jié)構(gòu)特征等。
3.2 網(wǎng)頁分析算法
基于網(wǎng)頁內(nèi)容的分析算法指的是利用網(wǎng)頁內(nèi)容(文本、數(shù)據(jù)等資源)特征進(jìn)行的網(wǎng)頁評價(jià)。該算法從原來的較為單純的文本檢索方法，發(fā)展為涵蓋網(wǎng)頁數(shù)據(jù)抽取、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、語義理解等多種方法的綜合應(yīng)用。根據(jù)網(wǎng)頁數(shù)據(jù)形式的不同，將基于網(wǎng)頁內(nèi)容的分析算法，歸納以下三類：第一種針對以文本和超鏈接為主的無結(jié)構(gòu)或結(jié)構(gòu)很簡單的網(wǎng)頁;第二種針對從結(jié)構(gòu)化的數(shù)據(jù)源動態(tài)生成的頁面，其數(shù)據(jù)不能直接批量訪問;第三種針對的數(shù)據(jù)界于第一和第二類數(shù)據(jù)之間，具有較好的結(jié)構(gòu)，顯示遵循一定模式或風(fēng)格，且可以直接訪問。
3.3 網(wǎng)頁抓取策略
爬蟲的抓取策略目前普遍的采用的方法有：深度優(yōu)先、廣度優(yōu)先、最佳優(yōu)先三種。由于深度優(yōu)先在很多情況下會導(dǎo)致爬蟲的陷入(trapped)問題，網(wǎng)頁弱點(diǎn)爬蟲目前采用的是深度優(yōu)先和最佳優(yōu)先方法組合方法。
深度優(yōu)先搜索策略：指在抓取過程中，在完成當(dāng)前層次的搜索后，才進(jìn)行下一層次的搜索。網(wǎng)頁弱點(diǎn)爬蟲采用深度優(yōu)先搜索方法為覆蓋指定網(wǎng)站存在弱點(diǎn)的網(wǎng)頁。其基本思想是認(rèn)為與初始URL在一定鏈接距離內(nèi)的網(wǎng)頁具有弱點(diǎn)相關(guān)性的概率很大;并采用將深度優(yōu)先搜索與網(wǎng)頁過濾技術(shù)結(jié)合使用，先用深度優(yōu)先策略抓取網(wǎng)頁，再將其中無關(guān)的網(wǎng)頁過濾掉。這些方法的缺點(diǎn)在于，隨著抓取網(wǎng)頁的增多，大量的無關(guān)網(wǎng)頁將被下載并過濾，算法的效率將變低，因此網(wǎng)頁弱點(diǎn)爬蟲采用了最佳優(yōu)先搜索策略來彌補(bǔ)這個缺點(diǎn)。
最佳優(yōu)先搜索策略：最佳優(yōu)先搜索策略采用基于網(wǎng)頁內(nèi)容的網(wǎng)頁分析算法，預(yù)測候選URL與目標(biāo)網(wǎng)頁的相似度，或與主題的相關(guān)性，并選取評價(jià)最好的一個或幾個URL進(jìn)行抓取。它只訪問經(jīng)過網(wǎng)頁分析算法預(yù)測為“有用”的網(wǎng)頁。