奇虎360开源其日志搜索引擎可处理百万亿级的数据

　　Poseidon 系统是一个日志搜索平台，可以在百万亿条、100PB 大小的日志数据中快速分析和检索。360 公司是一个安全公司，在追踪 APT（高级持续）事件，经常需要在海量的历史日志数据中检索某些信息，例如某个恶意样本在某个时间段内的活动情况。在 Poseidon 系统出现之前，都是写 Map/Reduce 计算任务在 Hadoop 集群中做计算，一次任务所需的计算时间从数小时到数天不等，大大制约了 APT 事件的追踪效率。Poseidon 系统就是解决这个需求，能在数百万亿条规模的数据集中找出我们需要的数据，只需要花费几秒钟时间，大大提高工作效率；同时，数据不需要额外存储，节省了大量存储和计算资源。该系统可以应用于任何海量(从万亿到千万亿规模)的查询检索需求。Poseidon 系统是一个日志搜索平台，可以在百万亿条、100PB 大小的日志数据中快速分析和检索。360 公司是一个安全公司，在追踪 APT（高级持续）事件，经常需要在海量的历史日志数据中检索某些信息，例如某个恶意样本在某个时间段内的活动情况。在 Poseidon 系统出现之前，都是写 Map/Reduce 计算任务在 Hadoop 集群中做计算，一次任务所需的计算时间从数小时到数天不等，大大制约了 APT 事件的追踪效率。Poseidon 系统就是解决这个需求，能在数百万亿条规模的数据集中找出我们需要的数据，只需要花费几秒钟时间，大大提高工作效率；同时，数据不需要额外存储，节省了大量存储和计算资源。该系统可以应用于任何海量(从万亿到千万亿规模)的查询检索需求。

　　魏自立，11 年加入 360，高级工程师、资深顾问。参与建设了全世界首个也是目前全世界最大的云查杀安全系统，也是 360 搜索引擎的核心开发。在分布式网络服务器架构与计算、大规模系统性能调优等方面积累了大量实践经验，目前负责 360 核心安全业务线的云引擎服务团队。

　　在QCon2017上，他还将担任《专题：支撑海量业务的互联网架构》专题的出品人。

　　欢迎关注“互联网架构师”，我们分享最有价值的互联网技术干货文章，助力您成为有思想的全栈架构师，我们只聊互联网、只聊架构，不聊其他！打造最有价值的架构师圈子和社区。

　　本号覆盖中国主要首席架构师、高级架构师、CTO、技术总监、技术负责人等人 群。分享最有价值的架构思想和内容。打造中国互联网圈最有价值的架构师圈子。