原创 Elasticsearch:cat API 介绍及其使用

在 Elasticsearch 中,cat API 仅适用于使用 Kibana 控制台或命令行供人类使用。 它们不适合应用程序使用。 对于应用程序消耗,我们建议使用相应的 JSON API。所有的 cat 命令都接受查询字符串参数 help,以查看它们提供的所有 header 和信息,并且 /_c...

2020-09-27 11:38:50 441 0

原创 Elasticsearch:深刻理解文档中的 verision 及 乐观并发控制

Elasticsearch 版本支持 Elasticsearch 背后的关键原则之一是让你充分利用数据。 从历史上看,搜索引擎加载了来自单一来源的数,一般来说,它的数据是只读的。 随着使用量的增加以及 Elasticsearch 在你的应用程序中越来越重要,碰巧需要由多个组件来更新数据。 多个组...

2020-09-26 17:10:51 167 0

原创 Elasticsearch:Script aggregation (2)

在本教程中,我们将继续进行更高级的操作:重新定义 extended_stats 聚合的结果以及实现 scripted_metric 聚合。 准备数据 本文中的示例使用下面提供的文档,其中包含不同公司出售的单个产品类型的详细信息。 数据包括公司名称,产品名称,产品价格,产品销售市场,可销售的...

2020-09-23 17:00:31 135 0

原创 Elasticsearch:Script aggregation (1)

使用默认聚合时,开发人员通常无法获得预期的结果。 基本聚合功能也有局限性。 例如,如果要更改直方图的偏移值,就是这种情况。 由于 Elasticsearch 不提供此本机功能,因此我们使用脚本来获取所需的结果。 我们还将介绍其他使用脚本的聚合任务。在我之前的文章 “开始使用Elasticsearc...

2020-09-23 15:14:10 122 0

原创 Kibana:在可视化中选择合适的 scale type 更好地洞察数据

在 Kibana 中我们做可视化时,特别是在用 terms 聚会时,有的 term 的数据数量比较多,有的 term 数据数量比较少。在这种情况下,如果我们在 Y 轴的显示上,如果选择 linear, 也就是线性显示,那么显示的图像比较难看,比如: 在上面最左边的数据比较大,相反,最右边的数...

2020-09-22 18:20:07 107 0

原创  Elasticsearch:理解搜索中的 precision 及 recall

当你负责搜索引擎时,不用多说,你应该充分了解有关搜索相关性的尽可能多的详细信息。 虽然大多数人不需要学习每条信息,但需要了解搜索。 你至少应该对 recall (查全率)和 precision (精度)有基本的了解。 本文将重点介绍与搜索相关性的 precision 和 recall。 什么是相...

2020-09-21 17:49:09 124 0

原创 Kibana:通过 Elastic Maps 中的全局行政区层为 IP 分析带来新见解

我们喜欢 Elastic 的地图。在 Elastic Stack 中,我们使用地图可视化的所有数据都有一个核心组成部分:位置。位置可以表示报告机队车辆的实时位置,使用地理围栏限制搜索结果,从某个地理区域衡量应用程序性能指标或通过将地理坐标附加到 IP 地址来识别安全威胁。 最近,我们在 Elas...

2020-09-21 12:28:01 237 0

原创 Kibana:为可视化图添加一个 static 线

当我们做可视化图时,有时我们想为自己的图添加一条静态线。这条线的作用是用来表示在什么位置的统计数据是高于这个值的或低于这个值的。我们知道在通常的情况下,我们一般的可视化图是不可以做到这一点的。我们需要使用 TSVB 来说实现这个。比如,使用下图的红线,它清楚地表明了在什么时候统计数据是大于20的。...

2020-09-21 10:51:53 597 6

原创 Elasticsearch:Snapshot 生命周期管理

在今天的文章中,我们来讲述一下 Data safety 及 security。safety 及 security 是两个不同的概念,尽管在中文很多时翻译都为安全的意思。前者的意思是指我的数据在硬件或者人为操作发生错误时,我可以通过数据的备份(比如 snapshot)以及冗余数据存储(比如多个 re...

2020-09-17 16:22:30 217 0

原创 Elasticsearch:foreach 摄入处理器介绍

foreach processor用于处理未知长度数组中的元素。这个有点和我们在编程中使用的循环是一样的。 所有处理器都可以对数组内的元素进行操作,但是如果需要以相同的方式处理数组中的所有元素,则为每个元素定义处理器将变得既麻烦又棘手,因为数组中元素的数量可能未知。因此,存在 foreach 处...

2020-09-16 15:03:52 320 0

翻译 Elasticsearch:使用 GeoIP 丰富来自内部专用 IP 地址

对于公共 IP,可以创建表来指定 IP 属于哪个城市的特定范围。但是,互联网的很大一部分是不同的。在世界上每个国家都有公司专用网络,其 IP 地址的格式为 10.0.0.0/8、172.16.0.0/12 或 192.168.0.0/16。这些 IP 地址往往没有有关地理位置的真实信息。因此,El...

2020-09-16 09:25:40 242 0

原创 Enterprise: 如何在 Chrome 中设置 Elastic Workplace Search 为搜索引擎

Elastic Workplace Search通过将所有内容平台(Google云端硬盘,github, gira, confluence, Salesforce等)统一到个性化的搜索体验中,提高团队的生产力。 凭借其轻松和灵活的部署(在Elastic Cloud上或作为免费的自助管理下载),预先...

2020-09-15 11:10:16 486 0

原创 Elasticsearch:通过 sampler 聚合来改善繁重的 Elasticsearch 聚合

结合两个 Elasticsearch 功能:sampler 聚合可以帮助创建有效的估计 facet 和见解,同时显着降低繁重和缓慢聚合的成本。Sampler aggregation 是一种筛选聚合,用于将任何子聚合的处理限制为得分最高的文档样本。 典型用例: 将分析重点放在高相关性匹配上,而不...

2020-09-14 18:50:55 702 0

原创 Elasticsearch:IP 数据类型及其搜索

在使用 Elasticsearch 搜索 IP 地址时,我们可以把数据类型定义为 IP 数据类型。这样我们可以针对 IP 地址进行搜索。这种 IP 地址可以是 IPv4 或者是 IPv6 的形式。 现在假设我们导入一个如下的数据到 Elasticsearch 中: PUT my-index/...

2020-09-10 16:56:36 943 0

原创 Elasticsearch:使用 _validate API 在不执行查询的情况下验证查询

我们知道有的 Elasticsearch 的查询是非常耗时的。我们可以使用 _validate API 来对我们的 DSL 搜索进行一些验证。在很多的情况下,我们甚至可以使用这个 API 来验证不同的查询方法之间的区别或相同的地方。Elasticsearch 的 DSL 最终会转换为 Apache...

2020-09-10 12:25:53 606 0

原创 Beats:使用 Filebeat 导入 JSON 格式的日志文件

在我们之前的文章 “Beats: 使用 Filebeat 进行日志结构化”,我使用了一种方法来解析一个 JSON 格式的文件,并导入到 Elasticsearch 中。在今天的文章中,我来用另外的一种方式来展示如何导入一个 JSON 格式的文件。 准备数据 我们还是以之前的那篇文章中的数据...

2020-09-09 22:49:41 775 2

翻译 Elastic:在 Elasticsearch ingest 处理器中调试损坏的 grok 表达式

在之前的文章: Elastic:在摄入时使用 grok 构建 Elasticsearch 数据以加快分析速度 Logstash:如何逐步构建自定义 grok 模式 但是如果我们的模式不能正常工作,那该如何处理呢? 在本文中,我们将使用 Kibana 的 Grok Debugg...

2020-09-08 22:45:16 415 0

原创 Kibana:如何周期性地为 Dashboard 生成 PDF Report

Kibana 中的 Dashboard 给我们直观的数据展示。在实际的工作中,可以用于汇报。在 Kibana 中,我们可以来生成我们想要的 PDF report。我们可以手动来生产这样的 report,但是它可能变得非常麻烦,那么我们有什么办法可以使得这个过程变得自动化呢?在今天的教程中,我们来讲...

2020-09-07 17:17:43 787 0

原创 Elasticsearch:创建 Ingest pipeline

在 Elasticsearch 针对数据进行分析之前,我们必须针对数据进行摄入。在摄入的过程中,我们需要对数据进行加工,这其中包括非结构化数据转换为结构化数据,数据的转换,丰富,删除,添加新的字段等等一系列的工作。针对目前 Elastic 公司所提供的工具来看,我们有两种方法来针对数据进行加工:L...

2020-09-03 10:53:35 1348 0

原创 Elasticsearch:反向代理及负载均衡在 Elasticsearch 中的应用

在我们配置 Elasticsearh 安全的时候,我们可以考虑三个方面的东西: firewalls 反向代理 (reverse proxies) Elastic Security 我们可以利用 firewall 已经 IP filtering来限制或允许特定的 IP 地址来访问我们的 Ela...

2020-09-02 18:45:55 1868 0

原创 Elasticsearch:Painless execute API

Painless execute API 允许执行任意脚本并返回结果。请注意的是:这个 API 是新的,请求方式及响应在未来可能会有所改变。 Context Context 也即是上下文的意思。Context 控制了脚本如何执行,在运行时可以使用哪些变量,返回类型是什么。 Plainle...

2020-09-02 10:57:16 747 0

原创 Elasticsearch:如何在搜索中实现 should_not 过滤器

在 Elasticsearch 中,我们可以使用 bool query来说实现一种组合的查询。它可以具有如下的一种形式的搜索: POST _search { "query": { "bool" : { "must&quo...

2020-09-01 18:19:36 1180 0

提示
确定要删除当前文章?
取消 删除