亚洲色大成网站www久久九九_狠狠色狠狠色综合日日五_国产精品你懂的在线欣赏_五月天视频一区

數字經濟的安全基石

申請試用

媒體報道

首頁 > 關于我們 > 安恒動態 > 2021 > 正文

破解海量網絡安全大數據存儲難題,我們做了這六步

閱讀量:
Elasticsearch是一種流行的企業級搜索引擎,它為企業提供了一個分布式多用戶能力的全文搜索引擎。在實際的網絡安全大數據領域,ES作為大數據組件,常常承擔著業務上核心的數據存儲與數據查詢分析職能,直接關系著整個數據安全產品的功能與性能。

安恒AiLPHA大數據智能安全平臺,是網絡安全大數據領域十分優秀的產品和應用解決方案,其內部集成著:超大規模數據存查、大數據實時智能分析、威脅情報碰撞、全網流量處理、復雜事件實時處理等功能,更具備了流計算任務監控管理、安全模型定制化開發與編排管理、ES及kafka運維監控管理、語法統一與轉換功能。

而以上所有這些功能的實現與穩定運行,所依托的,都是其內部自研的大數據框架——BaaS


圖1 BaaS平臺架構


BaaS,不僅僅意味著后端即服務,也秉承AiLPHA提出的大數據實驗室大數據即服務的理念。如圖1所示,BaaS不僅是整個安恒AiLPHA大數據智能分析平臺的計算核心,擔負著數據ETL、實時流計算、模型匹配、告警生成、數據入庫等核心的數據處理業務,更為產品提供了統一的運維監控管理平臺,以應對ES、kafka等組件的管理。BaaS為安恒的網絡安全業務提供一整套系統、成熟的大數據解決方案。


網絡安全大數據分析的業務挑戰


多源異構的數據接入

網絡安全大數據分析平臺,不可能不支持多樣的數據格式與類型,它需要對不同廠家不同類型探針采集到的不同格式數據進行統一分析入庫。

差異化的海量數據存儲

網絡安全大數據分析存儲的場景,決定了其數據主要可以分為:流量數據、日志數據、中間計算結果、告警數據、維表數據等幾類。特別是海量的流量和日志數據常常會對集群造成很大的壓力,而接入的數據在不同客戶不同現場的數據分布情況上也都有很大的差異。例如常見的:數據在時間分布上存在周期性的高峰期,以至在ES集群中造成了超大索引,如果不加以有效的管理,將使索引的大小完全取決于客戶數據的接入,實質是對自己的集群失去了控制。

分析結果數據的細化管理

對于網絡安全大數據平臺類的產品,在數據入庫的同時還需要對數據進行計算分析,這些分析計算的結果數據可以用于報表生成、大屏展示、模型再匹配等。這類數據常常與具體的分析業務或安全模型相關。而基于安全大數據平臺中開放的自定義安全模型管理功能,用戶可以在大數據智能安全平臺上自定義添加管理模型或業務,這也就對相關的ES索引管理提出了需求。

機器資源的適配

CPU、內存、磁盤等等這些,機器資源永遠是有限的。如何在各個現場合理分配資源、配置ES索引,如何更便捷適配不同的機器資源環境,這些都對BaaS的ES索引管理提出了挑戰。

數據生命周期的管理

對于數據的管理,不僅僅是針對于數據寫入,還應當包括對已經入庫的數據的整個生命周期的管理。數據入庫之后保存多久?有沒有必要把所有數據都放在ES的內存中支持快速查詢?如果一直這樣下去系統怎么才能持續運轉?是否要實現數據的冷熱分離?這些問題,都是值得考慮的。

與上層業務的去耦合

對于網絡安全大數據平臺類的產品,數據入庫對應的索引后,還需要支持查詢檢索、安全分析的操作與業務,這就要求ES索引管理策略與上層業務去耦合,否則將使得底層的索引的分類方式、命名方式、乃至于管理方式與查詢業務嚴重耦合,牽一發而動全身。

常常會有客戶要求:我們的索引按地域劃分好不好?能不能不按周劃分而是按半年?我們的索引就是想叫我們自己喜歡的名字,等等這些,在之前往往只能是定制團隊帶隊上線,定制開發。


實踐方案


為破解海量網絡安全大數據存儲難題,BaaS已經形成了一套完整的ES管理機制,針對不同版本、不同環境、不同客戶需求的大數據智能安全平臺業務,提供動態配置,快速便捷地適應產品需要。


1.? 索引劃分的優化

在海量的大數據網絡安全實施經驗的基礎上,BaaS優化了默認的索引劃分方式。將海量的日志數據根據威脅等級等屬性進行劃分,統一保存在日志類型相關的索引中;將異常記錄、原始告警、統計指標等其他類型數據按較長的時間周期劃分,例如月、半年、一年或不劃分,并且將劃分方式與具體的安全模型或業務解耦,將這類數據全部統一打上相應的標簽標識所屬業務,實現對入庫數據的差異化。

BaaS通過合理的細化管理,優化索引種類、數量、分片數,在兼顧業務的同時極大地減少了維護成本與ES集群的壓力。

另外,不同于之前硬編碼強耦合的方式,BaaS支持動態的配置調整索引的名稱、劃分周期及業務含義等,對于不同的網絡安全場景,都可以僅通過配置動態定制自己的入庫策略與索引劃分方式。

2、引入別名

如果索引劃分的邏輯變更了,或者根據客戶要求通過BaaS修改了索引的名稱、劃分周期,那么之前相關聯的其他業務模塊不是也都要跟著改一遍嗎?

No,No,No!

BaaS引入了ES的別名機制,使得與ES相關的其他業務能夠和BaaS的ES索引管理的策略解耦。索引別名可以指向一個或多個索引,并且可以在任何需要索引名稱的API中使用。別名為我們提供了極大的靈活性,它允許我們在正在運行的集群上的一個索引和另一個索引之間切換,或對多個索引進行分組組合,而這些對于業務的調用方是透明的。例如:為兼容舊版本業務,默認情況下每種索引都會有一個與過去版本同類型索引名對應的別名,使得其他業務能夠依然正常使用。

另外,對于每個索引,可以配置多個別名,適配多種安全大數據分析場景。

以上這些,都可以通過BaaS動態配置管理實現,這就達到了解耦上層業務的目的。

3、ES索引模板維護

BaaS在海量大數據存儲與安全分析的業務中引入了索引模板的管理。對于每一種劃分的索引,都首先為其新建模板,然后在新建索引以應用模板中的設置。

在索引的模板中,可以配置索引的別名、索引的配置(settings)、字段映射(mappings)等信息,明確地設定索引的分片數、副本數及其他可優化性能的配置。

同時,基于BaaS統一的數據字典管理功能,我們根據分析團隊及客戶提供的數據字典,動態的生成索引mapping,規范數據的寫入,使得海量的異構數據遵循統一的數據字典標準。另外,動態mapping的支持使得安恒的大數據安全平臺具備了動態拓展能力,也能支持客戶現場多樣的不在字典中的非標字段。

我們還將索引的模板配置開放到了BaaS自己的前端界面,便于運維與監控。例如:在修改了某一類索引的模板內容后,BaaS將自動修改ES集群中模板的內容,并新建一個新的索引以應用最新的模板配置,并將可寫的別名指向這個新建的索引。整個操作對于業務方式完全透明的,但在后端實質上已經實現了索引配置的實時更新。

4、ES索引生命周期管理

ES的索引生命周期,可以隨時間的推移管理索引。對于時間序列的索引,索引生命周期有四個階段:hot——索引積極地更新和查詢、warm——索引不再更新,但仍在查詢中、cold——索引不再更新并且很少被查詢。信息仍然可搜索,可以接受較慢的查詢速度、delete——不再需要索引,可以安全地刪除它。

BaaS引入了ES的索引生命周期管理機制,對每一種索引都配置了相應的生命周期。它與索引的別名管理、模板管理,三者之間是緊密聯系,三位一體的。

特別是,在hot階段,我們配置了索引滾動(rollover)。這一功能使得我們可以設置一個存儲空間或數據條數的閾值,當數據持續寫入時,一旦超過這一閾值,ES將進行索引滾動,新建一個索引并使得原有索引的寫別名指向這個索引,同時還會將原索引標記為只讀。而又由于BaaS為每一種索引都設置了對應的模板,新生成的索引仍將應用我們配置好的索引,整個系統能夠持續穩定運行。這就解決了常見的數據不均衡導致的個別索引過大問題。

除此之外,在warm、cold階段,通過BaaS也可以相應地設置索引收縮、冷凍等操作,以減輕大數據安全分析集群存儲和運行時的壓力。

5、定時任務

由于ES6.8版本本身對于生命周期的實現還有很多需要改進之處,BaaS平臺為實現集群的長時間穩定運行,對于常見的異常情況都配置了相應的定時任務,在ES本身機制之外提供了“雙保險”,保證著模板管理、別名管理、生命周期管理這三者的持續可用,保證著整個集群長期可持續穩定運行。

鑒于《中華人民共和國網絡安全法》國家網絡安全法中要求網絡日志保存6個月以上的規定,針對海量的網絡安全大數據存儲業務,BaaS配置了相關的磁盤清理、定時檢查等任務,保證數據在ES索引中的安全性的同時也將及時清理重要級別較低的數據,使集群能夠長期穩定運行。

6、動態支持

基于應用場景數據量、成本等因素,安全大數據產品一般需要支持多變得機器資源環境配置,例如有單臺、雙臺、多臺等,或是ARM版、mini版、敏捷版等不同分類,更有各類定制項目。而不管是哪個版,能夠分配給BaaS、分配給ES的資源總是屈指可數。在不同環境中如果都使用一套配置那顯然是不現實的。

BaaS有一套動態的機制,可以根據ES集群的節點數,動態的配置模板中的分片數、索引生命周期中的索引滾動閾值等,實現自適應的ES索引的管理。


不斷精進


隨著網絡安全大數據分析業務的不斷拓展,對ES索引管理提出了更多更高的要求。隨著多年的研究和技術發展,安恒AiLPHA大數據智能安全平臺針對網絡安大數據相關相關的使用場景,我們還在不斷地精進。

1.以自研的flink流計算任務實現etl模塊,替換了“較重”的logstash;

2.ES集群級別的配置優化;

3.可以通過界面便捷操作的ES運維監控平臺;

4.ES寫入策略優化;

5.對于特殊場景、去除了副本及ES的translog機制以大幅提升性能。


迎接挑戰


安恒信息AiLPHA大數據智能安全平臺,全天候監測60000+業務系統,累計發現300000+起安全隱患,協助公安追溯打擊案件五十余件,為國家安全建設作出耀眼成績。

在企業態勢感知領域,率先落地UEBA、SOAR、ATT&CK,推出智能資產測繪、AI關聯分析、可編排的安全運營三大核心能力,顯著提升安全運營效率400%以上。

在網絡全球化的時代,網絡安全問題已經成為全球企業進行數字化轉型的巨大阻礙。安恒信息立足國內,全球布局,成功開辟歐洲、北美市場,為全球超過2000家客戶提供高質量的態勢感知服務

BaaS作為安恒AiLPHA的計算核心,將繼續為這座大廈做好基礎的、穩定的、堅固的柱石,為客戶提供業務不間斷穩定運行安全保障,致力于讓安全更智能,更簡單。

關閉

客服在線咨詢入口,期待與您交流

線上咨詢
聯系我們

咨詢電話:400-6059-110

產品試用

即刻預約免費試用,我們將在24小時內聯系您

微信咨詢
安恒信息聯系方式
主站蜘蛛池模板: 铁岭市| 武穴市| 昌宁县| 中方县| 永城市| 深泽县| 亚东县| 辉县市| 土默特右旗| 营口市| 靖宇县| 深圳市| 永平县| 南召县| 泸溪县| 鄯善县| 岗巴县| 天门市| 崇州市| 茌平县| 海原县| 延吉市| 磐石市| 吉首市| 麻栗坡县| 台东县| 通河县| 吕梁市| 象山县| 开平市| 大庆市| 富阳市| 南乐县| 丰镇市| 本溪市| 永寿县| 广元市| 疏附县| 游戏| 崇信县| 平遥县|