2018 RSA大会热点 | 人工智能从发展的争论、实践案例直至威胁检测算法 前方高能烧脑多图 (secjia.com)

2018年4月21日 | By News | Filed in: News.

https://ift.tt/2HfGgH9


2018 rsa大会

进程过大半了。今天绿盟科技专家带来了会上

人工智能

的观察,下面的内容从人工智能的发展方向争论,再到实践案例,再深入到威胁检测算法,干货满满,尤其是文章后半部分Micro Focus公司从5个实际案例场景给出的威胁检测算法,非常吸引人。

在我们开始介绍并讨论

2018 rsa大会

上的

人工智能

热点之前,大家可以通过下面的文章,回溯过去一年人工智能的点滴。推荐阅读:

AI人工智能 – 网络安全的拨云见日,还是新的银弹梦

在RSAC 2018 Day2 万众瞩目的开场主题演讲中,无论RSA的总裁Rohit Ghai和微软总裁Brad Smith 都不约而同地表达,在数据和技术改变数字转型(Digital transformation) 的时代,IT技术及行业要承担起网络安全的第一责任,带来更美好的未来,为万物互联的社会和网络提供安全技术保障。

尤其Rohit在开场演讲,强烈表达通过采用新技术做出更好的预测的期望和信心,其中一个最重要新技术就是人工智能(AI),以及利用AI实现的

用户实体行为分析UEBA

。Rohit甚至乐观地预期,AI会当成一种软件(AI is a software)。

据Rohit演讲提到的调查数据报告,在2017年46%的组织报告在一定程度上开始采用了AI技术,92%说UEBA工作得非常成功。

至少目前看起来 AI人工智能拥有广泛需求和基础

不同过往Keynotes只是对于安全趋势或者技术的预期,AI技术应用在这次的RSA 2018有着非常广泛的“群众”基础,单看在Day1 的创新沙盒(Innovation SandBox),各显创新神通Top10公司,大多数公司似乎都使用了AI技术。而且Day 2正式亮相的厂家展台,AI也成为一个各路公司营销Slogan中的标配关键词了。

再看Freebuf在2017年中的一篇报道,一张图看80家采用人工智能来做安全的公司,安全的主要领域都有被覆盖。几乎可以断定,安全AI技术热度还会在2018年继续升温。

https://ift.tt/2saZFRU

AI人工智能的发展有三种态度

但Rohit先生期望的网络安全Silver Linings美好时代真的要来临了?(小编,这个阶段让人不由得想起来当初云安全落地的过程,也是从概念到质疑,再到纷争,再到寻求落地形式)

从Day1 以及Day2的展商以及技术会议的内容看,主要的应用更多还是在智能检测的阶段,智能预测仍然没有脱离

攻击链

,几乎还都没有看到智能决策。从RSAC的演讲者材料看,不出意外,出现三种不同的态度。


乐观派 Session : spo2-t07, AI And cybersecurity


悲观派 Session: tv-t02, ai-deception-fooling-artificial-intelligence-is-easier-than-you-think


务实派 session : spo2-r04, demystifying_big_data-analytics-and_machine_learning_in_cyber_security

两种实践形式 威胁模型及跨领域协作

无论哪派观点和技术实现路线,威胁模型(Threat Modeling),在现阶段都是不可或缺的关键技术。在Day2的技术分享,美国安泰保险金融集团CSO James Routh可以算是务实派。James从其安全运营实践,做了Model-Driven Security的演讲。

其中提出了一个重要的实践路线,就是通过数据科学家和安全专家的协助,完成AI技术在安全领域成功应用。这也符合今年RSAC的主旋律,NoW matters,齐心协力帮助建立一个更安全的网络环境。

这也应该是现阶段一个现实可行的工程落地方法,无论甲方运营亦或安全厂家的自身安全能力的生产,都会或已经在采用这种方法。James先生也表达一个期望,之后基于AI基础的数据管理系统,能够实现对安全的按需控制。

RSA总裁Rohit Ghai对AI人工智能技术在应对未知的网络安全问题上有很高的期望。在2017年有46%的组织报告中开始采用了AI技术,有92%表示 UEBA已取得明显成效, AI is software!

从这几天看

RSA2018

关于 AI人工智能的报告分享,AI技术已经从之前的理论普及阶段转变成实际场景应用阶段;不少厂商的产品开始享受AI技术所带来的红利,利用AI来提高其产品的威胁检测和决策运维能力,不管是

创新沙盒

(Innovation SandBox)Top10公司,还是逐渐正式亮相的各大厂商展台,AI人工智能已是标配。下面分享几个厂商利用AI人工智能技术的实际安全场景应用案例。

Vectra利用AI人工智能和网络可见性 提高检测和响应效率

RSAC来自Vectra networks的安全分析的主管Chris Morales做主题演讲“网络可视化及AI,你是唯一的希望HELP ME NETWORK VISIBILITY AND AI; YOU’RE OUR ONLY HOPE,表示利用网络可视化和AI的方法更高效的发现各种威胁和攻击行为,以减少分析师工作量和缩短威胁响应时间。期间,Morales用Equifax网络威胁中心举例,并揭示Equifax对于威胁影响如此之慢的原因,是由于

手动过程和关键人员离职,最终导致的安全效果受损

Security effectiveness compromised by manual processes and the departure of key personnel。

利用网络可视化和机器学习可以有效的解决响应慢的问题,网络可见性一方面是外围可见性、内核可见性、云可见性、设备可见性、应用程序可见性,更重要的一点,网络可见性还是激活智能的关键。

在这个过程中,有必要理清AI人工智能/ML机器学习/DL深度学习/NN神经网络的关系,(小编,这是安全加小编第一次看到这种类型的图,诠释这几个概念之间的关系)

机器学习和网络可见性应用于真实的网络安全领域,来改进

EQUIFAX

遇到的问题。就在2018年3月,

美征信机构Equifax数据泄露案, 再爆240万美国公民个人信息被窃 ,监管机构愤怒了

演讲者还罗列了五大类攻击者行为,包括botnet变现、C&C、侦查、横向移动、数据外泄,每个大类包含了若干的子类别。

并对攻击者的三种行为检测场景做了举例说明:外部远程访问、可疑的管理员、数据窃取者


场景一:C&C外部远程访问

攻击者想对被攻击网络的内部获得对资产控制权限,而防火墙阻止大多数入站连接尝试,因此只能靠内部的失陷资产自发的对外发起连接。

该场景利用网络的时间序列数据,利用深度学习模型,发现人为的外部控制行为。


场景二:横向移动 可疑的管理员

当攻击者一旦获取相关权限,就惯于利用网络管理协议(SSH、RDP和VNC等)在网络环境中做

横向移动攻击

检测思路:

  • 数据源 随着时间的推移,管理协议连接图
  • 监督 学习模型学会并理解管理员、服务器、领域
  • 发现 攻击者或恶意内部人员使用管理功能


场景三:撤退

数据窃取者 攻击者将从网络深处收集数据到中转区域,然后将数据提取到网络之外。

检测思路:

  • 时间,时间轴的系列数据
  • 相关,相关的模型
  • 发现,攻击者撤退事件及受影响系统

只有对网络的完全可视化才能更好的找到威胁,传统的分析手段很容易将高危险的威胁淹没在噪音数据中,造成误报;而利用机器学习方法能够显著降低漏报的可能性,更重要的是能加速寻找威胁和事件响应的速度,提升有效的响应效率。RSA2018有不少同行提到AI人工智能技术对于快速

应急响应

的重要性,可以预见在不就的将来,人工应急的比重会逐渐下降,基于AI人工智能技术的快速响应将大范围的代替人工应急。


Vectra Networks

人工智能实时检测和网络攻击防御技术

Vectra成立于2011年1月,是一家安全技术提供商,主要应用人工智能实时检测和应对网络攻击,为客户提供实时网络安全防护管理。其主打产品Cognito是使用AI技术对网络攻击者进行追踪的威胁检测和响应平台。借助Cognito,安全分析师可以将攻击分析和追踪周期从几天活或几周缩短到几分钟,将威胁调查工作量减少了32倍。Vectra主打产品Cognito主要有四大部分组成:


  1. 各种元数据接入

    Cognito不使用DPI技术,而是通过从网络数据包中提取和分析元数据,提供对各种网络实体(云、数据中心、服务器、PC,打印机,IoT设备)的实时威胁可视性,实现“without pryin”的保护。

  2. 识别攻击者的行为

    Cognito对接入的丰富的元数据,利用机器学习、行为分析等方式,来发现未知的攻击者及其隐藏的恶意行为,如远程访问工具,隐藏隧道,后门,侦察工具,凭证滥用和泄露;Cognito还会监视和检测授权用户对关键资产的可疑访问,以及与使用云存储,USB存储和其他隐藏方法将数据转移的违规行为。

  3. 自动化分析

    Cognito利用威胁确定性指数(The Threat Certainty Index)将大量的威胁事件与其历史上下文做关联整合,根据整合得到的维度对相关的资产做风险评价,最终显示给客户的是最重要的事情Top N,而不会产生更多事件进行分析。

  4. 响应驱动

    Cognito可与endpoint、nac(network access control)、firewall解决方案配合使用,在发生攻击时快速控制和缓解攻击,并且为威胁调查提供了明确的起点,从而提高了SIEM和分析取证工具的效率。

Micro Focus于网络安全中揭开大数据、分析和机器学习面纱

Micro Focus大家比较熟悉,安全解决方案跟绿盟科技的

平台类产品

比较接近,主要有数据平台、企业安全管理、用户行为分析等。此次他们的报告主题是于网络安全中揭开大数据、分析和机器学习面纱“Demystifying Big data, analytics, and machine learning in Cyber Security”,主要介绍了大数据清洗、机器学习和实际案例。其中大数据清洗、机器学习并没太多新意,但实际场景案例的介绍干货满满。

大数据清洗

收集各种所需要的数据,清洗后ETL(抽取、转换及加载)到合适的位置。所谓ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程,目的是将企业中的分散、零乱、标准不统一的数据整合到一起,为企业的决策提供分析依据,属于商业智能BI的重要环节。

演讲者认为,为了避免数据的浪费,数据要从小开始,逐步扩展。

机器学习

  1. 机器学习的威力及可能性  你知道的你能知道的威胁 -> 你知道你不会知道的威胁 -> 你根本不知道你会不会知道的威胁。
  2. 一个应用机器学习的方法

实际案例场景

这部分的介绍比较有诚意,如外发扫描、横向移动、DGA活动的检测场景,笔者整理场景列表如下:


场景名


What



Why



How


可视化,群集

异常文件更新

探索文件系统上多个文件的时间戳。

通常, 文件会在计划中更新, 以便在近期的时间窗口中更新所有文件

基于时间增量的群集,同时看看是否有异常的狩猎

可视化,熵

异常出站活动,出站扫描器

查找正在实施出站扫描的系统

受影响的系统会查找其他系统上的漏洞, 或者尝试映射 IDS 忽略的网络活动 (很少有相同的模式, 也不会发送恶意通信。

可以利用出站防火墙通信、聚合和熵数学,来检查唯一的连接目标,以及它们连接到的地址的随机性。

简单的平均数威力

异常日志审核,Windows 1102

如果有用户清除Windows日志,注意保留 windows1102事件

大多数情况下不要手动清除安全事件日志

我们在时间窗口之间按时间和支点来绘制活动, 看看是否能发现异常活动。如果我们不将攻击视为我们的正常平均水平, 那么使用平均数就很容易发现问题

可视化,硬编码模式

横向移动,SMB活动

注意 SMB 登录、提权、计划任务以及可能随后的审核日志清理, 就可以探索通过 Windows 网络进行横向移动攻击痕迹

由于 SMB 是受信任的协议, 因此攻击者可以将其用于恶意目的, 可以对其进行跟踪和检测。

我们通过 SMB 协议查找成功登录,进而寻找与横向移动相关的一系列事件。

距离算法

过程模拟,可疑的过程模拟

在Windows系统上查找进程名称

攻击者使用与合法的 windows 进程类似的名称,隐藏可疑进程 (

恶意软件

)

利用 Damerau-Levenshtein距离算法中的分数,来判断哪对进程名与其他过程名称或多或少相似。


DGA深度学习检测 Activity:


DGA

(域名生成算法)是一种利用随机字符来生成C&C域名,从而逃避域名黑名单检测的技术手段,这种算法曾经在

境外APT-C1组织攻击我国某互金平台的互金大盗恶意软件

中出现过。


Low/Slow Attack:

Micro Focus企业安全管理架构图

笔者认为对AI人工或其它新技术的出现和应用需要保持积极乐观的心态,Micro Focus的自信来自于Micro Focus几十年企业文化的积累,以及对技术成熟度曲线的深刻理解。

NSFOCUS – 机器学习驱动的全流量威胁分析解决方案

面对新的威胁,基于规则的传统检测手段已难满足,需要结合机器学习和其他高级分析技术,通过监控网络流量、连接和对象来找出恶意的行为迹象,尤其是失陷后的痕迹。

与会期间,绿盟科技隆重发布了全流量威胁分析解决方案,北美资深安全顾问Guy Rosefelt介绍,在全流量威胁分析方案中,其威胁分析过程如下:首先利用探针设备对网络原始流量进行采集和解析,并将结果接入到威胁分析引擎中,基于规则引擎、威胁情报能力检测已知威胁。同时,我们也将流量数据中的流特征信息、包头信息等关键信息都提取出来,形成流量元数据信息,并连同原始流量数据进行分类存储。最后,通过攻击链引擎对黑客的整个攻击环节进行关联,实现对高级威胁事件的全方位分析。

在某些案例中,我们也可以通过全流量威胁分析可以应对未知威胁检测。将流量汇聚到大数据分析平台后,基于沙箱检测引擎、机器学习引擎可以对异常进行分析,辅以威胁情报,为用户提供抵御攻击者的应变手段。通过对流量原数据做回溯,可以看到以前发生过什么,以及做事件的深入调查。这对传统上基于规则方式的安全防护是一个很好的补充。

绿盟全流量威胁分析解决方案(简称NSFOCUS TAM),其核心功能如下:


  1. 镜像流量采集

    支持对镜像流量的全流量采集及对网络层、应用层协议进行解析,并可以将采集的到的镜像流量原始数据包及解析后的协议日志进行存储。

  2. 高级威胁分析

    基于规则引擎,威胁情报能力,检测已知威胁;基于沙箱检测引擎、机器学习引擎检测未知威胁;最后,再通过攻击链引擎,对黑客的整个攻击环节进行关联,实现对高级威胁事件的全方位分析。

  3. 热点事件溯源追踪

    基于场景分析引擎,能够将绿盟科技强大的应急响应通报能力进行本地化,对如“挖矿事件、永恒之蓝、Struts2”等应急事件可以先于规则引擎前进行检测,并且能够对历史流量进行回溯分析,发现历史上是否有相应事件发生。

NSFOCUS TAM为客户带来的价值如下,更多详见

2018 RSA大会热点 | 全流量威胁分析方案TAM解读 Now Matters Now TAM

  1. 对高危事件及失陷资产进行重点通报,大幅降低需要关注的告警数量,降低运维工作量。
  2. 规则检测、情报分析、沙箱检测和机器学习等多引擎结合,发现高级威胁事件,提升安全检测能力。
  3. 通过对热点事件的追踪溯源,将原来需要人工进行的应急响应进行自动化,提升应急响应效率。


本文持续更新中……

IT.数码

via Startup News https://ift.tt/12wUnNT

April 20, 2018 at 05:44PM


发表评论

电子邮件地址不会被公开。 必填项已用*标注