肯睿Cloudera通過實時分析賦能企業(yè)網(wǎng)絡安全團隊

如今，網(wǎng)絡安全團隊在保護企業(yè)安全時正面臨一系列空前的挑戰(zhàn)。身份盜竊資源中心（Identity Theft Resource Center，ITRC）的《年度數(shù)據(jù)泄露報告》顯示，2023年共發(fā)生了2365起網(wǎng)絡攻擊，受害者超過3億人，數(shù)據(jù)泄露事件數(shù)量自2021年以來增加了72%。根據(jù)《2024年上半年數(shù)據(jù)泄露風險態(tài)勢報告》統(tǒng)計，中國2024年上半年全網(wǎng)監(jiān)測并分析驗證有效的數(shù)據(jù)泄露事件超1萬6千起。

持續(xù)不斷且日益復雜的網(wǎng)絡攻擊讓許多專業(yè)人員感到力不從心。應對這種現(xiàn)狀，網(wǎng)絡安全團隊必須采用AI和自動化技術，以更主動、高效的方式抵御入侵。

然而，成功應對這些威脅面臨一個根本性難題：數(shù)據(jù)。本文介紹了網(wǎng)絡安全團隊在使用數(shù)據(jù)、分析和AI開展工作時所面臨的問題，Cloudera開放式數(shù)據(jù)湖倉一體架構如何解決這些問題，以及該架構對于應對現(xiàn)代網(wǎng)絡安全環(huán)境的復雜性有何關鍵作用。

Cloudera開放式數(shù)據(jù)湖倉一體架構助力企業(yè)解決網(wǎng)絡數(shù)據(jù)帶來的挑戰(zhàn)

對于網(wǎng)絡安全團隊來說，數(shù)據(jù)既是最大的財富，也是最大的挑戰(zhàn)。所以，網(wǎng)絡安全團隊面對的問題不僅在于數(shù)據(jù)量龐大，更在于如何有效地管理與解讀。當前，網(wǎng)絡安全團隊面臨的難題包括：

●   數(shù)據(jù)過載：網(wǎng)絡安全工具會產(chǎn)生大量日志數(shù)據(jù)，包括域名服務（DNS）記錄、防火墻日志等。雖然這些數(shù)據(jù)對于調(diào)查和威脅狩獵（Threat Hunting）至關重要，但現(xiàn)有系統(tǒng)往往難以高效管理這些數(shù)據(jù)。錄入數(shù)據(jù)的速度往往過慢并且可能成本過高，從而導致響應延遲和錯失良機。

●   工具泛濫：一個企業(yè)部署的網(wǎng)絡防御工具平均達到40多種。雖然每種工具都有自己的用途，但分析人員往往要同時使用多個界面，導致他們的調(diào)查工作變得分散。由于需要在不同工具之間手動切換，工作速度會有所減慢，這也導致分析人員只能依靠最原始的方法追蹤他們的發(fā)現(xiàn)。

●   非結構化數(shù)據(jù)無法用于分析：即便網(wǎng)絡安全團隊最終收集到日志數(shù)據(jù)，其格式也通常無法直接用于分析。網(wǎng)絡日志通常是非結構化或半結構化的數(shù)據(jù)，因此很難從中提煉出有價值的洞察。最終可能會導致分析人員為了規(guī)范、解析和準備用于調(diào)查的數(shù)據(jù)，浪費大量寶貴時間和資源。

Cloudera開放式數(shù)據(jù)湖倉一體架構提供了解決這些難題的辦法。通過結合數(shù)據(jù)湖存儲的靈活性和擴展能力與數(shù)據(jù)倉庫的功能，開放式數(shù)據(jù)湖倉一體架構統(tǒng)一并簡化了網(wǎng)絡日志數(shù)據(jù)的管理。通過打破數(shù)據(jù)孤島，Cloudera實現(xiàn)了多源日志數(shù)據(jù)的整合，幫助網(wǎng)絡安全團隊進行利用實時分析快速響應威脅。Cloudera的解決方案如下：

●   統(tǒng)一系統(tǒng)：Cloudera開放式數(shù)據(jù)湖倉一體架構將所有關鍵日志數(shù)據(jù)整合到一個系統(tǒng)中。通過使用專為海量數(shù)據(jù)進行高性能分析而設計的開放表格Apache Iceberg，網(wǎng)絡安全團隊能夠訪問所有數(shù)據(jù)并以更快的速度和更高的效率展開調(diào)查。無論他們查詢的數(shù)據(jù)是現(xiàn)在的還是過去的，系統(tǒng)都能根據(jù)需求擴大或縮小規(guī)模。

●   針對分析進行優(yōu)化：Iceberg表專為實現(xiàn)更快速、高效的分析而設計。憑借靈活的模式和分區(qū)，Iceberg表可將數(shù)據(jù)處理規(guī)模擴展到PB級，同時通過壓縮日志節(jié)省存儲成本。該方法以元數(shù)據(jù)為依據(jù)，能夠進行快速查詢規(guī)劃，幫助網(wǎng)絡安全團隊在需要快速得到答案時加快獲取過程。

●   數(shù)據(jù)安全和治理：Cloudera共享數(shù)據(jù)體驗（Shared Data Experience, SDX）將安全和治理內(nèi)置到每個步驟中。網(wǎng)絡日志通常包含有關用戶、網(wǎng)絡和調(diào)查的敏感數(shù)據(jù)，因此在確保授權團隊能夠安全訪問和共享這些信息的同時，必須對這些信息予以保護。

●   實時洞察數(shù)據(jù)傳輸管道：開放式數(shù)據(jù)湖倉一體架構為分析提供了基礎，而Cloudera的數(shù)據(jù)管道功能將原始、非結構化的網(wǎng)絡日志轉(zhuǎn)化為經(jīng)過優(yōu)化的Iceberg表。通過使用Cloudera Data Flow和Cloudera Stream Processing，團隊可以實時過濾、解析、規(guī)范和擴充日志數(shù)據(jù)，確保網(wǎng)絡安全團隊擁有用于高級分析的潔凈、結構化數(shù)據(jù)。

●   無縫集成：Cloudera開放式數(shù)據(jù)湖倉一體架構與多種工具集成，從而讓調(diào)查人員、網(wǎng)絡安全分析師和數(shù)據(jù)科學家能夠使用他們常用的工具開展工作。無論是Cloudera Data Visualization中的拖放界面，還是先進的異常檢測機器學習模型都為數(shù)據(jù)管理帶來了更多可能。此外，憑借Iceberg的互通性和開放標準，客戶可以為每項工作選擇合適的工具。

通過Iceberg實現(xiàn)實時威脅檢測

網(wǎng)絡日志數(shù)據(jù)的體量龐大且持續(xù)變化。在一部分舊系統(tǒng)中，查詢規(guī)劃和實際執(zhí)行所花費的時間可能一樣長。Iceberg通過存儲所有表元數(shù)據(jù)（包括分區(qū)和文件位置）提高查詢規(guī)劃的效率，進而便利查詢引擎的使用。即使面對龐大且動態(tài)變化的表，系統(tǒng)仍能保持可管理性，幫助網(wǎng)絡安全團隊執(zhí)行實時威脅檢測，同時不被低效的查詢規(guī)劃流程拖累，實現(xiàn)更快速、高效的威脅檢測和調(diào)查工作流程。

此外，用于檢測和應對威脅的系統(tǒng)和流程也需要跟隨威脅演變。通過Iceberg，團隊無需重寫表就能即時修改模式、分區(qū)和擴充流程。使用Iceberg快照進行版本控制即可輕松重現(xiàn)表的先前狀態(tài)，因此，網(wǎng)絡安全團隊無需管理和維護多個數(shù)據(jù)副本，即可隨時訪問歷史上下文。

未來趨勢：AI驅(qū)動的網(wǎng)絡防御

在AI驅(qū)動網(wǎng)絡安全的未來趨勢下，Cloudera幫助網(wǎng)絡安全團隊提前做好相應準備。通過SQL AI Assistant等內(nèi)置生成式AI工具，分析師可以快速編寫SQL查詢以提煉出所需答案。從自動執(zhí)行例行任務到構建用于事件摘要的聊天機器人，Cloudera的AI功能在提高網(wǎng)絡防御效率的同時，保證了數(shù)據(jù)的安全可控。

通過在可擴展、安全和分析就緒的環(huán)境中整合網(wǎng)絡數(shù)據(jù)，Cloudera開放式數(shù)據(jù)湖倉一體架構讓網(wǎng)絡安全團隊在應對網(wǎng)絡威脅時處于領先地位。憑借與眾多工具和執(zhí)行引擎的無縫集成、靈活且經(jīng)濟的存儲以及內(nèi)置的AI功能，Cloudera助力網(wǎng)絡安全團隊通過實時和預測性洞察緊跟網(wǎng)絡威脅的步伐，為企業(yè)保駕護航。