如何自行搭建一个威胁感知大脑 SIEM？| 硬创公开课
|
副标题[/!--empirenews.page--]
近年来态势感知、威胁情报等等新词不断出现，其实万变不离其宗，它们都是利用已知的数据来判断风险，甚至预知未发生的威胁。这如同一个老练的探险者孤身穿行在原始丛林，他能轻巧自然地避开蛇虫鼠蚁，用脚印来预知猛兽的威胁。这一切都依赖于他那颗善于思考，经验丰富的大脑。 在网络安全的原始森林里，SIEM就扮演这样一个威胁感知大脑的角色。如何在合理成本下打造一个最为强大、合适的 SIEM 系统，是许多安全人员头疼的问题。小编有幸邀请到了拥有十年安全产品经验的百度安全专家兜哥，为大家讲解如何使用开源软件搭建企业的SIEM系统。 嘉宾简介兜哥，百度安全专家，具有十年云安全产品经验，主要研究方向为机器学习、僵尸网络、威胁情报、沙箱技术、具有多年企业安全建设经验，拥有安全方向相关专利多项；发表多篇安全学术论文。
【百度安全专家-兜哥】 公开课内容整理▼小编按：由于本次公开课偏向实操，涉及到许多的实际操作和代码示例，限于篇幅就不一一展示，文章下方附本次公开课视频，有兴趣的读者可以自行观看，本文主要以展示思路为主。了解技术细节可以关注兜哥的个人公众号：“兜哥带你学安全”，和兜哥本人进行技术交流。 前言在RSA2017会议上，应用大数据技术在安全领域，挖掘深入的攻击行为依然是一个热点。 SIEM简介市场调研机构IDC预计，未来全球数据总量年增长率将维持在50%左右，到2020年，全球数据总量将达到40ZB。一个中型互联网公司一天产生的数据量通常可以超过几T甚至几十T。传统的盒子形式的安全产品已经没有能力处理如此大量的数据。 SIEM（security information and event management），顾名思义就是针对安全信息和事件的管理系统。SIEM通过统一搜集、格式化、存储、分析企业内部的各类日志、流量数据，挖掘攻击行为。 完整的SIEM至少会包括以下功能：
其中最核心的我认为是入侵检测、行为分析和日志存储检索。 SIEM的发展对比 Gartner2009 年和 2016年的全球SIEM厂商排名，可以清楚看出，基于大数据架构的厂商Splunk迅速崛起，传统四强依托完整的安全产品线和成熟市场渠道，依然占据领导者象限，其他较小的厂商逐渐离开领导者象限。最重要的存储架构也由盘柜（可选）+商业数据库逐渐转变为可横向扩展的大数据架构，支持云环境也成为趋势。
开源SIEM 常见的开源SIEM主要有 OSSIM 和 OPENSOC，其中 OPENSOC 完全基于大数据架构，更适合目前的中大型企业。OPENSOC 是思科2014年在 BroCon 大会上公布的开源项目，但是没有真正开源其源代码，只是发布了其技术框架。我们参考了 OPENSOC 发布的架构，结合公司实际落地了一套方案。 OPENSOC 完全基于开源的大数据框 架kafka、storm、spark 和 es 等，天生具有强大的横向扩展能力。本文重点讲解的也是基于 OPENSOC 的 SIEM 搭建，以及简单介绍如何使用规则和算法来发现入侵行为。 SIEM架构
上图是Opensoc给出的框架，初次看非常费解，我们以数据存储与数据处理两个纬度来细化，以常见的 linux 服务器 ssh 登录日志搜集为例。 数据搜集纬度数据搜集纬度需求是搜集原始数据，存储，提供用户交互式检索的UI接口，典型场景就是出现安全事件后，通过检索日志回溯攻击行为，定损。
logtash其实可以直接把数据写es，但是考虑到 storm 也要数据处理，所以把数据切分放到 logstash，切分后的数据发送 kafka，提供给 storm 处理和 logstash 写入 es。数据检索可以直接使用 kibana，非常方便。数据切分也可以在 storm 里面完成。 这个就是大名鼎鼎的ELK架构。es比较适合存储较短时间的热数据的实时检索查询，对于需要长期存储，并且希望使用hadoop或者spark进行大时间跨度的离线分析时，还需要存储到hdfs上，所以比较常见的数据流程图为：
这里以数据实时流式处理为例，storm 从 kafka 中订阅切分过的ssh登录日志，匹配检测规则，检测结果的写入 mysql 或者 es。
在这个例子中，孤立看一条登录日志难以识别安全问题，最多识别非跳板机登录，真正运行还需要参考知识库中的常见登录IP、时间、IP情报等以及临时存储处理状态的状态库中最近该IP的登录成功与失败情况。比较接近实际运行情况的流程如下：
具体判断逻辑举例如下，实际中使用大量代理IP同时暴力破解，打一枪换一个地方那种无法覆盖，这里只是个举例：
（编辑：源码网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
