视频演讲: 如何打造一个百万亿级的日志搜索引擎:Poseidon

2017年3月20日 | By News | Filed in: News.

http://ift.tt/2n4GgxQ

Poseidon 系统是一个日志搜索平台,可以在百万亿条、100PB 大小的日志数据中快速分析和检索。360 公司是一个安全公司,在追踪 APT(高级持续威胁)事件,经常需要在海量的历史日志数据中检索某些信息,例如某个恶意样本在某个时间段内的活动情况。在 Poseidon 系统出现之前,都是写 Map/Reduce 计算任务在 hadoop 集群中做计算,一次任务所需的计算时间从数小时到数天不等,大大制约了 APT 事件的追踪效率。Poseidon 系统就是解决这个需求,能在数百万亿条规模的数据集中找出我们需要的数据,只需要花费几秒钟时间,大大提高工作效率;同时,数据不需要额外存储,节省了大量存储和计算资源。该系统可以应用于任何海量(从万亿到千万亿规模)的查询检索需求。

By 魏自立

IT.数码

via 未注册用户的 InfoQ 个性化 RSS Feed – 请注册后升级! http://ift.tt/rpkzfm

March 20, 2017 at 06:12AM


发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注