Elastic:Elastic Stack 7.6.0 重磅发布

我们非常兴奋地宣布 Elastic Stack 7.6 正式发布了。此版本借助新推出的 SIEM 检测引擎和与 MITRE ATT&CK™ 知识库相相匹配的精选检测规则集,简化了自动威胁检测过程;提升了 Elasticsearch 的性能;通过“采集时推理”功能让用户更轻松地一站式完成监督型 Machine Learning;同时还通过推出新的数据整合选项深化了云服务的可观测性和安全性。而且,这些只是此次发布版本中令人激动的新功能中的一小部分而已。

7.6 版本已在我们的 Elasticsearch Service on Elastic Cloud(唯一提供这些新功能的托管型 Elasticsearch 产品)上推出。或者,您也可以下载 Elastic Stack 进行自我管理。

完整功能描述详见各自的博客文章,闲言少叙,下面就是本版本的亮点。

Elasticsearch 变快了——没错,快上加快

我们将 Elasticsearch 的查询速度提高了数倍之多,十分令人瞩目。这一次,我们找到了一种方法能大幅提高按日期或其他长整型值排序的查询的性能。我们的实现方法是针对已排序查询应用 Block-Max WAND 优化;通过这种方法,可以十分巧妙地停止统计那些明显不会影响结果的新结果。没错,就是在 7.0 中让您更快完成 top-k 结果查询的 Block-Max WAND

以防提升效果不明显,这次可谓十分巨大。在可观测性和安全用例中,按时间排序是最常见的任务之一。无论是在 Elastic 日志中跟踪一条错误,还是在 Discover 中调查一个威胁,借助此次变更您都能比往常更轻松地完成,而且这两个任务也只是冰山一角而已。您只需简单升级至 7.6,便能尽享速度提升带来的优势。

从训练到推理,监督型 Machine Learning 现已成为 Elastic Stack 的一项原生功能

对于 Elastic Stack 中的 Machine Learning 功能,我们的目标一直都是提升易用性,以便公司/组织中的所有人都能用得上。 自从在 5.4 中首次发布以来,我们大幅简化了异常检测过程,目前在 Kibana 中构建一个可视化就能搞定,这不仅能让更多用户使用这一功能,还可进一步提升数据科学团队的工作效率。在 7.6 版本中,让我们倍感兴奋的是在堆栈中实现了端到端监督型 Machine Learning 功能,从训练模型,到在采集时使用模型进行推理,都不在话下。我们的目标是服务于可观测性、安全和企业搜索用例的从业者,让他们可以更轻松地在 Elasticsearch 中一站式使用监督型 Machine Learning 方法(例如分类和回归)。举例说明,安全分析师现在可以使用分类来构建一个非人为操作流量检测模型,然后在采集时使用新的“采集时推理”处理器来对新流量进行推理并标记为非人为操作流量(或人为操作流量)——全部在 Elasticsearch 的原生环境中完成。

和非监督型 Machine Learning 以及异常检测一样,我们此次的目标是让每个人都能访问并轻松使用监督型 Machine Learning。所以,这次我们没有构建一个通用的数据科学工具包,也并未提供与外部 Machine Learning 库之间的整合(因为这样做,需要用户拼凑并维护复杂的工作流,然后数据才能在多个工具之间传输),而是专注于简化常见用例。通过这种方法,我们解锁了新用例,并让用户仍可以轻松完成操作性事务。

screenshot-ml-data-frame-analytics.png

我们不只在构建框架——我们也是用户。我们十分兴奋地在此版本中加入了一个语言识别模型,此模型可在“采集时推理”处理器中使用以便在采集时为文档添加语言标签。语言识别对很多用例而言都至为关键。例如,支持中心可以使用此功能来根据语言将入站问题分派给正确的支持代表或支持中心,您也可用其来确保在 Elasticsearch 中对入站文本进行正确索引——我们会就这一主题发布一篇博文,敬请关注!

“我们团队负责为纽约市和多伦多市公共交通系统中的地铁网络提供 Wi-Fi,因此我们深切意识到检测系统问题和连接异常的必要性。这能确保我们每天为数百万通勤者提供优质的网络连接。在 2017 年,我们开始使用 Elastic 推出的非监督型 Machine Learning 来进行异常检测,以便检测出其他方法可能会错过的实时问题,从而最大程度减小对网络性能的影响。”BAI Communications 的技术专员 Jeremy Foran 说道,“展望未来,我们预计会开始支持全球范围内更多的公交系统,届时我们将会继续利用 Elastic Stack 7.6 中的监督型 Machine Learning 功能来确保新网络的正常运行。”

有关所有这些功能以及其他内容的详细信息,欢迎查看 Elasticsearch 7.6 博文和 Kibana 7.6 博文

Elastic 安全

借助新的 SIEM 检测引擎和已对应至 MITRE ATT&CK™ 知识库的规则,力争将潜伏时间降为零

Elastic 安全 7.6 版本推出了新的 SIEM 检测引擎来自动进行威胁检测,并最大限度缩短平均检测时间 (MTTD)。Elastic SIEM(核心是 Elasticsearch)目前已将调查安全事件的时间从数小时缩短至几分钟。借助这一新推出的自动检测功能,我们通过暴露其他方法可能会错过的威胁,来缩短潜伏时间。

我们同时还推出了近 100 条已对应至 ATT&CK 知识库的开箱即用型规则,它们可以帮助暴露出其他工具经常错过的威胁信号。这些规则均由 Elastic 安全专家创建和维护,旨在自动检测出已有威胁活动迹象的工具、策略和程序。检测引擎会针对信号生成风险和严重性评分,来帮助分析师高效地进行分拣,并专注于最重要的事情。

我们在“Elastic 安全”的免费基础级订阅中推出了此检测引擎和预装式规则,让各地的安全从业者都能公开获取并进行大规模的自动化分析。

screenshot-siem-overview-events-ecs.pnguploading.4e448015.gif正在上传…重新上传取消screenshot-siem-overview-events-ecs.png

前所未有的 Windows 端点的可见性,打败企图规避防御的敌手

Windows系统由于其受欢迎程度和宽松的用户权限模型而成为主要的攻击目标。 此版本加深了Windows活动的可见性,从传统上容易受到高级威胁规避技术影响的位置收集和丰富数据。新的开箱即用型检测功能会利用这些数据来检测企图采集键盘输入、向其他进程中加载恶意代码等的行为。从业者可将这些检测规则生成的事件与自动响应(例如强制关闭进程)结合使用,从而实现分层预防。

借助此功能,Elastic 安全能够为重度使用 Windows 系统的企业提供前所未有的高可见性和卓越保护,同时价格对每位分析师来说也可接受。

但别忙,Elastic 安全还有很多超赞功能……

Elastic SIEM 在 7.6 中正式发布。除了检测引擎外,它还包括重新设计的“概览”页面,以及用户体验方面的大量改进,以便帮您更快完成威胁猎捕、分拣和调查。其可以全新集成到 Amazon Web Services (AWS) 和 Google Cloud Platform (GCP) 日志中,打造更强大的云端安全性。欢迎查阅 Elastic 安全 7.6 发布博文了解完整详情。

Elastic 企业搜索

助力大公司提供统一的搜索体验,同时不牺牲功能自主性

对大公司而言,跨多个站点和业务部门管理搜索体验可谓一项艰巨任务。Elastic App Search 7.6 推出了元搜索引擎,这一非文档式引擎能够查询一组引擎。通过元搜索引擎,公司/组织能够在单个搜索栏中跨多个搜索引擎提供统一的搜索体验,同时还能让管理员完全控制每个单独子引擎的行为。

这一功能将同时在 Elastic Cloud 和自管型版本中的 App Search 中推出。

企业搜索产品现更名为 Workplace Search

我们将 Elastic 企业搜索的等级提升为新的“总括型”解决方案名称,其中涵盖我们的搜索产品套件。而且,我们于 2019 年 5 月作为公测版推出的企业搜索产品现更名为 Elastic Workplace Search。通过 Workplace Search,团队和公司/组织便能搜索并发现分散在为现代员工队伍提供支持的诸多工具中的全部内容。一个搜索框,就能查询您的全部工作数据。

有关元搜索引擎和其他改进,请参见 Elastic 企业搜索更新

Elastic 可观测性

 

新的 AWS 和 GCP 整合选项为云运行状态提供更深入的可见性

我们将整合选项扩展到了云生态系统,从而帮助用户更好地关注云运行状态。AWS 计费模式使得企业能够跟踪他们的 AWS 费用和使用情况。将这一数据与 Machine Learning 和 Alerting 功能结合使用,便能在控制成本的同时收到异常使用模式通知。通过新的 GCP 模块,您能直接监测虚拟机以及由 StackDriver 监测的任何 GCP 服务,同时借助开箱即用型 Kibana 仪表板,您花费极少精力便能瞬间完成从数据采集到获得洞察的全过程。这些新的云数据整合选项,以及在近期版本中添加的多个其他选项,能够让您对云运行状态获得更深入的可见性。

通过在 Elastic APM 中提供原生 Jaeger 支持,强化我们在开放标准上的投入力度

从开源到开放代码,开放性一直是我们从事所有事情的核心。看到可观测性社区通过诸如 OpenTracing 和 OpenTelemetry 等举措开发并积极采用开源标准,我们十分激动,所以我们也致力于在 Elastic 可观测性中支持这些开源标准。Jaeger 为 CNCF 的一个毕业项目,兼容 OpenTracing 标准,是端到端请求跟踪的热门选择。Elastic APM 代理从早期开始便一直能兼容 OpenTracing。我们此次在 7.6 版本中推出了 Jaeger 摄入支持,以便在 Elastic APM 和 Jaeger 之间搭建更加直接的桥梁,对此我们感到无比激动。

Elastic APM 现在作为 Jaeger 入口,允许客户通过 APM 服务器将 Jaeger 插桩后的痕迹直接采集到 Elasticsearch 中,而无需更改 Jaeger 插桩后的既有代码。用户现在可将 Jaeger 插桩后的痕迹导入 Elastic APM,并与他们的日志和指标一起进行探索,瞬间即可完成,还不用花费什么力气。

Elastic 可观察性的其他亮点包括:

  • 日志分类,此功能由 Machine Learning 提供支持,能够将日志与类似格式的内容分组到一起,从而简化趋势分析
  • 当发布服务的新版本时,Elastic APM 中的版本注释功能可以检测到并自动在 APM 应用中的时间线上添加注释

如欲了解有关 Elastic 可观测性的全部新功能,请参阅详细博文

篇幅有限,不胜枚举……

还有非常多的功能。请查看各产品的博文,详细了解我们在 7.6 版本中添加的所有新功能:

Elastic Stack

解决方案