如何評估大數據安全分析產品

　　網絡犯罪以及其他惡意行為的不斷增加正促使企業部署更多的安全控制、收集越來越多的相關數據。結果，大數據分析方面的進展被用于以更寬和更深的分析為目的的安全監控中，以保護昂貴的企業資源。大數據安全分析技術融合了大數據的可擴展性，并將其與Advanced Analytic和安全事件管理系統( security event and incident management systems，SIEM)結合起來。在不久的將來，大數據安全分析將會變成像病毒檢測和漏洞掃描一樣常見。

　　因此，大數據安全分析適用于很多用例，但也不是所有的用例都適用?？紤]一下探測和阻擋高持續性威脅(Advanced Persistent Threat，APT)的技術挑戰。采用這些技術的攻擊者或許會采用慢節奏的、低可見性的攻擊方式來避免以避免被探測到。傳統的日志和監控技術會漏過這種類型的攻擊。攻擊的各步可能發生在不同的設備的不同時間段，而且看起來是毫無關聯的。這樣，一個攻擊者殺招的關鍵部分可能與正常行為差別不大。針對可疑行為的日志和網絡流掃描有時也會漏掉這些東西。避免遺漏數據的一種方法就是收集盡可能多的信息。這就是大數據安全分析平臺所采用的方法。

　　正如字面意思所言，該安全分析的方法利用了專門為收集、分析和管理大規模、高速度數據而設計的工具。這些技術也同樣用于相關產品，如針對流視頻用戶的電影推薦系統和為優化車隊的運輸效率而設計的車輛性能特性分析平臺等。此外，這些技術還可以應用于信息安全。本文重點分析 Cybereason、Fortscale、Hawkeye、IBM、LogRhythm、RSA和Splunk等若干大數據安全工具供應商的最主要的產品特性。其分析主要依據實現這些平臺所有好處的五大必需要素：

　　統一的數據管理

　　支持日志、漏洞和流等多種數據類型

　　可擴展的數據獲取

　　信息安全相關的分析工具

　　合規報告

　　因素1：統一的數據管理

　　統一的數據管理是一個大數據安全分析系統的基礎，負責存儲和查詢企業數據。由于關聯數據庫在擴展時比分布式NoSQL數據庫代價要高，處理大規模數據通常會使用Cassandra或Accumulo等這樣的分布式數據庫。當然，這些數據庫也其缺點。例如，實現ACID transaction等這些理所當然存在的數據庫特征的分布式版本就變得非常困難。

　　因此，大數據安全分析產品背后的數據管理平臺需要在數據管理特性和代價、可擴展性之間進行權衡。數據庫應該具備在不阻塞的情況下實時寫入新數據的能力。相似的，查詢也要能夠支持針對流入的安全數據的實時分析。

　　由于Hadoop已經成為流行的大數據管理平臺和相關的生態系統，采用它作基礎的大數據安全分析平臺也很常見。例如，Fortscale就使用了Cloudera的Hadoop平臺。這使得Fortscale平臺可以隨著集群中新加入節點的數量而線性擴展。

　　IBM的QRadar使用了提供數據存儲水平擴展功能的分布式數據管理系統。在一些情況下，SIEM或許只需要訪問本地數據。但是，在取證分析等情況下，用戶或許需要跨分布式平臺搜索信息。IBM的QRadar還集成了一個能夠跨平臺或本地檢索的搜索引擎。同時，該大數據SIEM系統使用的是數據節點，而非存儲域網(SAN)。這可以幫組減少花費和管理復雜度。這個基于數據節點的分布式存儲模型可以擴展到P字節的存儲空間——可以很好滿足那些需要很多大規模長期存儲的組織的需求。

　　RSA安全分析也采用了分布式的聯合架構來保證線性擴展。當擴展到大規模數據時，RSA工具中的分析工作流解決了一個關鍵需求：區分事件和任務的優先級，以改善分析的效率。

　　Hawkeye分析平臺(Hawkeye AP)是基于一個專門處理安全事件數據的數據倉庫平臺構建而成。除了擁有底層、可擴展的數據管理(例如，在跨多個服務器的鍍鉻文件中存儲大規模數據的能力)功能，擁有以結構化的方式查詢數據的工具也很關鍵。Hawkeye AP采用了分時存儲數據的方式，避免了全局重建索引的工作。而且，它被設計為了只讀的數據庫。一方面，它使能了性能優化;另一個更重要方面，它可以保證數據在寫完成后不會被篡改。最后，Hawkeye AP采用了專門針對分析應用有所優化的列導向數據存儲，而非行導向的存儲。

　　因素2：支持多種數據類型

　　容量、速度和種類是大數據的三個關鍵特性。安全事件數據的多樣性使得把數據集成到一個大數據安全分析產品變得富有挑戰性。

原文轉自：http://www.infoq.com/cn/articles/big-data-security-analysis-products