一種新的基于數據挖掘技術的異常入侵檢測系統研

入侵檢測系統IDS(intrusion detection system)是用戶計算機主動安全防護的一種措施，它用于檢測未經用戶授權直接進行計算機信息訪問的行為，它從系統內部和各種網絡資源中主動采集信息，從中分析可能的異常入侵。根據入侵檢測方法，IDS分為異常檢測系統和誤用檢測系統兩大類。誤用檢測系統只能檢測出已知特征模式的攻擊，對未知特征模式的攻擊無法檢測。而異常檢測系統采用將系統當前的活動與過去行為模型進行比較的方法,能夠有效地對新的、未知的攻擊進行檢測[1-3]。參考文獻[4] 提出了基于強規則和弱規則的關聯規則挖掘方法來檢測異常操作較少和分布時間長等不易的網絡攻擊。同時建立以各屬性為節點的貝葉斯網絡作為異常判別器，進一步判別關聯規則挖掘中發現的可疑行為，提高了系統檢測的準確率。但是在數據訓練階段，根據數據挖掘的要求，需要對原始的無攻擊的純凈數據信息進行數據預處理，訓練成適合數據挖掘的數據記錄，而數據信息抓取過程中受到網絡實時更新等因素的影響無法避免數據噪音，進而影響數據信息本身的安全性，依此數據信息訓練的數據項集本身也就存在了安全隱患。參考文獻[5]采用變長序列模式匹配算法對程序歷史行為和當前行為進行比較，聯合使用多個窗長度和判決門限對程序行為進行判決，提高了檢測的準確率和靈活性。但由于網絡數據信息量不斷膨脹，多窗口長度和判決門限會增加計算機的運算量，造成數據擁塞，網絡負載加大。參考文獻[6]提出了一種基于時態知識模型和可變滑動窗口的實時模式提取算法，并在此基礎上，實現了基于規則的、層次化的智能入侵檢測原型系統。但在匹配算法中需要逐一遍歷，對于復雜數據信息實時性難以體現。參考文獻[7]提出了一種具有自主學習、自主完善功能的入侵監測模型,可發現已知和未知的異常入侵活動。但該模型中評估指標不具備完善性，對短時間內正常進程記錄監管有限，從而更新的規則庫存在安全隱患?；谝陨蠁栴},本文提出了一種新的基于數據挖掘技術的異常入侵檢測系統ANEIDSDM(A New Exception Intrusion Detection System based on Data Mining)。
1 ANEIDSDM模型概述
在ANEIDSDM模型中，數據信息E是否異常，由數據評估W決定。只有當數據評估通過數據信息異常檢測，滿足相似度、支持度和置信區閾值時，數據信息E才被認為是正常的數據信息，否則為異常。
　數據信息是分散地存儲于計算機和傳播于網絡中的，對于數據的采集是基于一定條件的，有基于主機的信息采集，也有基于網絡的信息采集和混合型的數據信息采集等[8]。當數據信息采集完成后，會經過數據預處理，形成數據項集S，對S分類產生高頻繁集和低頻繁集。對于高頻繁數據項集進行模式分析，形成數據模式集O。每一種模式集都對應一種數據規則，對數據模式集的數據分析處理過程就是數據挖掘規則過程，數據規則集Q形成后，為了便于檢測，對其進行分類分析二次數據挖掘，形成分類規則集，最終形成規則庫K。經過多次訓練后，數據采集的規則庫具有一定的記憶，當數據進行抓取時結合記憶庫和規則庫的雙重考核，數據信息更加安全可信。
　數據挖掘過程中對數據項集分析產生的數據模式可能有用，也可能是無關的。所以為了節約計算機存儲空間和數據挖掘速度，采取以某一主屬性為特征屬性的方式對數據信息E進行挖掘。當待測數據信息E進行攻擊時，啟動檢測系統，快速對其數據信息進行分析，形成數據規則集V，對規則集V實行分類匹配，對比相似度，搜索與之相對應或相類似的規則庫對其規則集進行檢驗。若異常，則實行預警，否則以正常信息對待。當數據信息龐雜時，根據分類規則庫，可快捷對數據規則集實行查找匹配，快速對數據信息進行檢測。
　數據檢測時結合在線滑動窗口T，不僅對原始獲取數據信息進行實時檢測，而且對當前由用戶操作所引起的原始數據部分信息丟失、更改等現象具有一定的處理應變能力。當數據評估W完成后，評估結果存入決策列表L中，以供用戶決策。
　其思想有以下特點：(1)數據信息的采集結合主屬性產生高頻和低頻數據項集,減少了無關信息的處理過程。(2)采取關聯分析和分類分析二次挖掘，數據處理速度和數據挖掘質量有明顯的提高。(3)在線檢測數據記錄匹配，實時性更高。(4)引入相似度匹配檢測思想，實現快速數據評估。
2 相關知識與定義
2.1數據挖掘
　數據挖掘(Data Mining)是指從大量數據信息中發現數據間的潛在規律，進而提取人們感興趣的和有用的知識的方法和技術，這些知識具有隱含性、未知性、異常性，但又是潛在的對系統安全檢測有用的信息[9]。數據挖掘過程一般由三個階段組成:數據準備階段(包括數據清理與集成、數據選擇與變換)、數據挖掘階段、評估與表示階段(結果表達與解釋)。數據挖掘的模式有關聯模式、分類模式、回歸模式、時間序列模式、聚類模式和序列模式六種[10]。與數據挖掘的模式相對應的數據挖掘算法有：關聯分析算法、數據分類算法、序列分析算法和聚類分析算法等。目前，應用于入侵檢測領域的數據挖掘算法主要是關聯分析算法、數據分類算法和序列分析算法。
(1)數據預處理
　數據預處理模塊處理原始數據包，抽取對應的主特征屬性組成數據信息集，提供給數據挖掘模塊。由于數據連接過程需要傳送許多數據包，而這些數據包的基本屬性很多是重復的，所以對于TCP連接，從連接建立到連接終止過程中所有數據包的傳送抽象為一個連接事件，而對每一個連接事件建立一個與之相對應的數據項集。對無連接的UDP，可簡單地將每一個數據包抽象成一個連接事件。
(2)關聯規則挖掘
　關聯規則是指對數據項集中各種數據模式的有代表性的數據之間知識規律的規則描述。在入侵檢測系統中，設定一個最小支持度和一個最小置信度來度量關聯規則的相關性，從已知的數據信息中產生關聯規則，保證其支持度和置信度大于用戶預先設定的最小支持度和最小置信度閾值。其過程為：①特征抽取與數據預處理。數據信息被采集后形成數據項集，每一個數據項集以一個主屬性為參考，對無關數據項集進行處理。②關聯規則挖掘分析。對數據模式中關聯規則的數據進行規則挖掘。③檢測入侵。將新產生的關聯規則添加到關聯規則庫中去，然后將用戶行為與關聯規則庫中的規則匹配來判斷是否入侵。常見的算法有Apriori算法和AprioriTid算法。
　(3)頻度分析
　頻度分析是指在一定時間窗口事件發生的頻度，它有高頻和低頻繁兩種[11]。①高頻挖掘：即數據項集的屬性集大于一定支持度和置信度，如DDOS攻擊，在高頻繁挖掘時就能檢測出這類攻擊。②低頻繁挖掘：即數據項集的屬性集支持度低于一定閾值而置信度大于一定閾值，如慢掃描過程在單位時間內異常掃描較少，假如只檢查高頻數據項集，就會漏掉這類模式的攻擊。
　(4)數據分類分析
　數據分類的目的是提取數據庫中數據項的特征屬性，生成分類模型，把數據庫中的數據項映射到預先定義的類別中的一個，異常入侵檢測時它可以用數據規則集的形式表示[12]。數據分類的步驟如下：①訓練數據項集，將待測數據信息訓練成數據規則集。②分析數據規則集，提取主特征屬性。③根據標準數據規則庫中數據規則集對待測數據規則集進行分類。常用的分類算法有RIPPER、m3、C4.5、Near-neighbor和神經網絡等。
2.2 基礎定義
　定義1 滑動窗口。在t時間內，數據匹配檢測的范圍。 設開始時間為t=nt0，則滑動窗口T的檢測范圍為t=T+nt0。其中,t0為步長，T為窗口大小，t為時間。一般T是固定值[13]，為用戶默認，專家可根據系統安全等級設置其值大小。
　定義2 相似度。數據挖掘規則庫與系統檢測匹配規則庫的相似性度量值。

定義3 數據評估。對數據規則是否符合系統安全的衡量。
設數據評估為W，則W=[正常，異常]，其評估過程為在滑動窗口T內對規則庫Ki的相似匹配和檢測匹配。
2.3 ANEIDSDM定義
本模型由一個10元組{E，S，O，Q，P，K，W，T，M，L}來表示。其中E表示數據信息，包含基于網絡流量，基于主機和混合型的數據信息。當獲取數據信息E后，對其形成主屬性為采集標準的數據項集S，如在時間、方向、端口號、主機IP地址等屬性中，以目的主機IP地址為主屬性，采集的所有數據記錄經過數據去噪、預處理后形成數據項集。數據項集S經過數據模式分析后形成數據模式集，用O來表示。每種數據模式都對應一種數據規則算法，經過數據挖掘，形成數據規則集，用Q來表示。對數據挖掘的規則集進行分類分析，形成數據分類集，用P來表示。數據挖掘的結果最終形成規則庫K。數據挖掘完成后需要對數據挖掘結果進行數據評估，用W來表示。在數據評估過程中引入滑動窗口T和相似度M,數據評估結束后結果添加在決策列表L，提供給用戶。用戶響應后，規則庫K自動更新。