原创 Logstash: 启动监控及集中管理

在本篇文章里,我将详细介绍如果启动Logstash的监控及集中管理。 前提条件 如果你还没安装好自己的Logstash,请参照文章“如何安装Elastic栈中的Logstash”。同时安装我之前的文章“Elasticsearch:设置Elastic账户安全”为我们的Elasticsearc...

2019-12-31 10:48:53 2339 5

原创 Elasticsearch:flattened 数据类型 (7.3 发行版新功能)

默认情况下,对象中的每个子字段都需要分别进行映射和索引。如果事先不知道子字段的名称或类型,则将动态映射它们。 flattened数据类型提供了一种替代方法,其中将整个对象映射为单个字段。对于给定的对象,flatten类型映射将解析出其leaf值并将它们作为关键字索引到一个字段中。然后可以通过简单...

2019-12-26 14:18:32 1504 0

原创 Elasticsearch: range 数据类型及基于range的聚合 (7.4发行版新功能)

在Elasticsearch中有一种数据类型叫做range的数据类型。它目前支持的类型如下: integer_range 一个带符号的32位整数范围,最小值为,最大值为。 float_range 一系列单精度32位IEEE 754浮点值。 long_range 一系列带...

2019-12-25 20:17:47 1150 0

原创 Elasticsearch:透彻理解 Elasticsearch 中的 Bucket aggregation

Elasticsearch除了在搜索方面非常之快,对数据分析也是非常重要的一面。正确理解Bucket aggregation对我们使用Kibana非常重要。Elasticsearch提供了非常多的aggregation可以供我们使用。其中Bucket aggregation对于初学者来说也是比较不...

2019-12-24 16:37:22 1631 0

原创 Elasticsearch: 运用 Pinned query 来提高文档的排名 (7.5发行版新功能)

Pinned 查询用来提升所选文档的排名,使其高于匹配给定查询的文档。 此功能通常用于引导搜索者查找精选的文档,这些文档在搜索的任何“organic”匹配项之上被提升。 使用存储在_id字段中的文档ID来标识升级或“固定”的文档。 下面有给一个例子来说明: 准备数据 首先我们使用如下...

2019-12-23 16:11:43 1113 1

原创 Elasticsearch: Rare Terms Aggregation

在许多的情况下,我们做terms聚合搜索的时候,我们想得到的是每个桶里满足条件的文档最多的搜索结果。但是有些情况,我们想寻找稀有的术语数量。尽管我们可以把我们的搜索结果按照升序来排序,但是对于很大数据的这种聚合操作很容易造成unbunded error。在Elasticsearch了,Elasti...

2019-12-23 14:00:43 1070 0

原创 Elasticsearch:基于 Vector 的打分

目前这个功能还是处于试验阶段。在未来的版本中可能会出现变化。基于Vector(向量)的打分目前分为一下两种: Dense_vector Spare_vector 它们都是基于功能进行评分的。在实际的使用中,我们必须注意的是:向量函数的计算过程中,所有匹配的文档均被线性扫描。 因此,期望查询时间...

2019-12-22 10:49:55 1324 3

原创 Elasticsearch:使用 function_score 及 soft_score 定制搜索结果的分数

我们将介绍使用function_score的基础知识,并介绍一些function core技术非常有用和有效的用例。 介绍 评分的概念是任何搜索引擎(包括Elasticsearch)的核心。评分可以粗略地定义为:找到符合一组标准的数据并按相关性顺序将其返回。相关性通常是通过类似TF-IDF...

2019-12-21 16:59:49 1009 0

原创 Elasticsearch:Elasticsearch 中的 refresh 和 flush 操作指南

在今天的文章里,我们来主要介绍一下Elasticsearch的refresh及flush两种操作的区别。如果我们从字面的意思上讲,好像都是刷新的意思。但是在Elasticsearch中,这两种操作是有非常大的区别的。本指南将有效解决两者之间的差异。 我们还将介绍Lucene功能的基础知识,例如重新...

2019-12-21 10:44:05 1220 0

原创 Elasticsearch:top_hits aggregation

top_hits指标聚合器跟踪要聚合的最相关文档。 该聚合器旨在用作子聚合器,以便可以按存储分区汇总最匹配的文档。 top_hits聚合器可以有效地用于通过存储桶聚合器按某些字段对结果集进行分组。 一个或多个存储桶聚合器确定将结果集切成哪些属性。 选项: from-要获取的第一个结果的偏移量...

2019-12-19 21:20:39 904 0

原创 Elasticsearch:如何把 Elasticsearch 中的数据导出为 CSV 格式的文件

本教程向您展示如何将数据从Elasticsearch导出到CSV文件。 想象一下,您想要在Excel中打开一些Elasticsearch中的数据,并根据这些数据创建数据透视表。 这只是一个用例,其中将数据从Elasticsearch导出到CSV文件将很有用。 方法一 其实这种方法最简单了。...

2019-12-19 20:01:48 1724 1

原创 Elasticsearch:运用 distance feature 查询来增强相关性

提高文档的相关性得分,使其更接近提供的原始日期或地点。 例如,您可以使用此查询为更接近某个日期或位置的文档赋予更大的权重。 您可以使用distance_feature查询查找与某个位置最近的邻居。 您还可以在布尔搜索的“should”过滤器中使用查询,以将增强的相关性得分添加到布尔查询的得分中。...

2019-12-18 16:33:07 848 0

原创 Elasticsearch: 运用 Field collapsing 来减少基于单个字段的搜索结果

允许根据字段值折叠搜索结果。 折叠是通过每个折叠键仅选择排序最靠前的文档来完成的。要想理解这个其实也并不难,我们就那百度音乐的页面例子来说: 我们可以看到在上面的页面中,它有展示很多喜欢的歌曲。其实这个歌曲可能是一个专辑里的最突出的一个。当我们做页面的时候,我们没有必要把一个专辑里所有的歌曲...

2019-12-18 14:02:07 709 0

原创 Elastic:使用Heartbeat进行Uptime监控

Elastic在6.5的版本中退出Heartbeat。Heartbeat 也就是我们通常所说的心跳。我们知道在医院,医生是用听心跳来判断一个人是否有生命迹象。在Elastic的Heartbeat里,它也是一样的道理。Heartbeat是一个轻量级的数据收集器。它用来帮我们进行uptime的健康监控...

2019-12-17 20:45:12 1705 0

原创 Elasticsearch:pipeline aggregation 介绍

首先,我们来假想有这样的一个表格: 上面的表格里显示了每一个月的用户数量,但是我们如何能得到如下的信息呢: 哪一个月的用户数是最大的? 从April到January的总的用户数是多少? 它们的平均用户数是多少? 每个月变化的值是多少? 所有的这些问题,我们都可以使用Pipeli...

2019-12-15 09:53:23 1395 0

原创 Elasticsearch:fielddata 介绍

默认情况下,大多数字段都已编入索引,这使它们可搜索。 但是,脚本中的排序,聚合和访问字段值需要与搜索不同的访问模式。 搜索需要回答“哪个文档包含该术语?”这个问题,而排序和汇总则需要回答一个不同的问题:“此字段对该文档的值是什么?”。 大多数字段可以将索引时生产的磁盘doc_values用于此...

2019-12-14 14:47:14 783 0

原创 Elasticsearch:从零开始安装Elasticsearch并使用Python装载一个CSV并读写它

本文提供了一个简短的简单指南,介绍如何设置您的第一个Elasticsearch开发环境,以便快速进行并开始探索/利用技术提供的功能。简介将基于Elasticsearch提供的最重要的API,这些API是获取数据和执行查询的基础。第二个目的是提供文档和其他有趣资源的链接,以了解其他潜在的操作方面,其...

2019-12-13 20:57:58 1273 2

原创 X-Pack:Elastic Graph 介绍

当我刚接触Elastic的Graph时,我对Graph的理解确实是模糊的。从字面上讲,它的意思是“图形”的意思。那个它在Elasticsearch中到底代表是什么?经过一段时间的探索,我对这个Graph有一些初步的认识。简单地说:graph代表的是数据之间的关联。这个数据可以是同一个索引或者是多个...

2019-12-13 15:49:52 1028 0

原创 Elasticsearch:hanlp 中文分词器

HanLP 中文分词器是一个开源的分词器,是专为Elasticsearch而设计的。它是基于HanLP,并提供了HanLP中大部分的分词方式。它的源码位于: https://github.com/KennFalcon/elasticsearch-analysis-hanl 从Elasticse...

2019-12-06 14:36:46 1327 0

原创 Elasticsearch:enrich processor (7.5发行版新功能)

我们使用enrich processor来简化数据的摄取。简单地说:您可以使用enrich processor在ingest期间将现有索引中的数据添加到传入文档中。比如,你可以在如下的场景中用到: 根据已知的IP地址识别Web服务或供应商 根据产品ID将产品信息添加到零售订单 根据电子邮件地...

2019-12-05 16:25:24 1088 0

转载 Elastic:Elastic Stack 7.5.0 重磅发布

我们非常兴奋地宣布 Elastic Stack 7.5 正式发布了。我们在此版本中推出了 Kibana Lens,用户通过 Lens 可以快速又直观地创建可视化视图。我们在这一版本中对 Observability 和 Security 解决方案进行了重大的改进,同时我们还将 Elastic Ent...

2019-12-05 10:19:37 909 0

原创 Elastic: 如何在阿里云上构建Elastic集群

阿里云(https://www.alibabacloud.com/zh/product/elasticsearch)创立于2009年,是全球领先的云计算及人工智能科技公司,为200多个国家和地区的企业、开发者和政府机构提供服务。阿里云在全球18个地域开放了49个可用区,为全球数十亿用户提供可靠的计...

2019-12-02 20:26:44 748 0

原创 Elastic:在Elastic云上3分钟部署Elastic集群

Elastic Cloud Elasticsearch Service使您可以快速启动Elasticsearch和Kibana集群,然后立即开始发送日志! 首先,您需要登录到Elastic Cloud Elasticsearch Service。 单击此处打开主页。 然后,点击“没有帐户?立即注册...

2019-12-02 12:22:46 724 0

提示
确定要删除当前文章?
取消 删除