原创 Elastic:培训视频

在这篇文章中,我将会把我写的有些内容录制成视频,供大家参考。希望对大家有所帮助。优酷的视频频道地址在这里。 Elastic 简介及Elastic Stack 安装:优酷,腾讯 Elastic Stack docker 部署:优酷,腾讯 Elasticsearch中的一些重要概念(Cluste...

2020-01-06 15:31:54 3364 7

原创 Elasticsearch:Elasticsearch中的数据强制匹配

在实际的使用中,数据并不总是干净的。 根据产生方式的不同,数字可能会在JSON主体中呈现为真实的JSON数字,例如 5,但也可能呈现为字符串,例如 “5”。 或者,应将应为整数的数字呈现为浮点数,例如 5.0,甚至是“5.0”。 coerce尝试清除不匹配的数值以适配字段的数据类型。 例如:...

2020-01-27 12:08:39 955 0

原创 Elasticsearch:如何在搜索时得到精确的总hits数

从Elasticsearch 7.0之后,为了提高搜索的性能,在hits字段中返回的文档数有时不是最精确的数值。Elasticsearch限制了最多的数值为10000。 当文档的数值大于10000时,返回的total数值为10000,并在relation中指出gte。 我们可以做如下的...

2020-01-26 14:01:42 1391 0

原创 Elasticsearch:Elasticsearch 中的慢日志

Shard 级慢速搜索日志允许将慢速搜索(查询和获取阶段)记录到专用日志文件中。日志记录是任何应用程序不可缺的一部分。 对于像Elasticsearch这样的分布式解决方案,它必须处理大量的请求,因此日志记录不可避免,其重要性至关重要。 顾名思义,慢速日志用于记录慢速请求,无论是搜索请求还是索引...

2020-01-20 13:27:11 1276 0

原创 Beats:如何使用Filebeat将MySQL日志发送到Elasticsearch

在今天的文章中,我们来详细地描述如果使用Filebeat把MySQL的日志信息传输到Elasticsearch中。为了说明问题的方便,我们的测试系统的配置是这样的: 我有一台MacOS机器。在上面我安装了Elasticsearch及Kibana。在这个机器里,我同时安装了一个Ubun...

2020-01-13 11:59:56 1420 0

原创 Elasticsearch:如何实现短语建议 - phrase suggester

词组建议者(phrase suggester)是术语建议者(term suggester)的高级版本。 短语建议者使用的功能是选择整个校正后的短语而不是单个单词。 这是基于ngram语言建模的,短语建议者可以基于频率和并发性更好地选择token。 在本教程中,我们将向您展示如何使用短语建议者来纠...

2020-01-13 09:32:30 1089 0

原创 Elasticsearch:如何在Elasticsearch中查询相似的术语 (suggest API)

在这篇文章中,我们来讲述Elasticsearch中的suggester。通过使用suggester,根据提供的文本建议外观相似的字词。 建议功能的某些部分仍在开发中。suggester的官方文档在地址https://www.elastic.co/guide/en/elasticsearch/re...

2020-01-12 13:33:57 1012 0

原创 Elastic: 把MQTT数据传入到Elasticsearch

Elasticsearch 可以存储PB级的数据并实时分析数据,而MQTT被广泛使用于物联网中。那么我们该如果把MQTT的数据传入到Elasticsearch中呢? 我们可以通过如下的架构来把MQTT数据传入到Elasticsearch: 在这里,我们可以通过一个叫做MQTT的router...

2020-01-11 11:20:52 1331 0

转载 Logstash:如何使用 Logstash 和 JDBC 确保 Elasticsearch 与关系型数据库保持同步

为了充分利用 Elasticsearch 提供的强大搜索功能,很多公司都会在既有关系型数据库的基础上再部署 Elasticsearch。在这种情况下,很可能需要确保 Elasticsearch 与所关联关系型数据库中的数据保持同步。因此,在本篇博文中,我会演示如何使用 Logstash 来高效地复...

2020-01-07 15:26:02 1300 2

原创 Elastic:使用ElastAlert发送通知

ElastAlert是一个简单的框架,用于从Elasticsearch中的数据中发出异常,尖峰或其他感兴趣模式的警报。我们可以在地址https://elastalert.readthedocs.io/en/latest/elastalert.html找到它的使用说明。在今天的教程中,我将一步一步地...

2020-01-03 16:43:49 1594 6

原创 Elasticsearch: 理解mapping中的store属性

默认情况下,对字段值进行索引以使其可搜索,但不存储它们 (store)。 这意味着可以查询该字段,但是无法检索原始字段值。在这里我们必须理解的一点是: 如果一个字段的mapping中含有store属性为true,那么有一个单独的存储空间为这个字段做存储,而且这个存储是独立于_source的存储的。...

2020-01-02 21:19:36 1013 0

原创 Elasticsearch: API响应的一些常用选项

我们可以点击Elasticsearch API以获取所需的响应,但是如果要修改API响应,以便我们更改显示格式或过滤掉某些字段,然后我们可以将这些选项与查询一起应用。 有一些常见的选项可以适用于API,在下面我们来介绍一些常用的选项。 准备数据 我们首先使用Bulk API来把我们的文档导...

2020-01-01 15:23:28 963 0

提示
确定要删除当前文章?
取消 删除