• 博客(23)
  • 资源 (9)
  • 论坛 (1)
  • 收藏
  • 关注

原创 Logstash: 启动监控及集中管理

在本篇文章里,我将详细介绍如果启动Logstash的监控及集中管理。前提条件如果你还没安装好自己的Logstash,请参照文章“如何安装Elastic栈中的Logstash”。同时安装我之前的文章“Elasticsearch:设置Elastic账户安全”为我们的Elasticsearch及Kibana设置安全密码。如何监控Logstash?我们安装如下的步骤来实现监控L...

2019-12-31 10:48:53 4130 8

原创 Elasticsearch:flattened 数据类型 (7.3 发行版新功能)

默认情况下,对象中的每个子字段都需要分别进行映射和索引。如果事先不知道子字段的名称或类型,则将动态映射它们。flattened数据类型提供了一种替代方法,其中将整个对象映射为单个字段。对于给定的对象,flatten类型映射将解析出其leaf值并将它们作为关键字索引到一个字段中。然后可以通过简单的查询和汇总来搜索对象的内容。此数据类型对于索引具有大量或未知数量的唯一键的对象很有用。仅为整个J...

2019-12-26 14:18:32 2001

原创 Elasticsearch: range 数据类型及基于range的聚合 (7.4发行版新功能)

在Elasticsearch中有一种数据类型叫做range的数据类型。它目前支持的类型如下:integer_range 一个带符号的32位整数范围,最小值为,最大值为。 float_range 一系列单精度32位IEEE 754浮点值。 long_range 一系列带符号的64位整数,最小值为-2的63次方,最大值为2的63次方-1。 double_range ...

2019-12-25 20:17:47 1563

原创 Elasticsearch:透彻理解 Elasticsearch 中的 Bucket aggregation

Elasticsearch除了在搜索方面非常之快,对数据分析也是非常重要的一面。正确理解Bucket aggregation对我们使用Kibana非常重要。Elasticsearch提供了非常多的aggregation可以供我们使用。其中Bucket aggregation对于初学者来说也是比较不容易理解的一个。在今天的这篇文章中,我来重点讲述这个。简单地说:一个桶代表一个具有共同标准的文档集...

2019-12-24 16:37:22 2641 2

原创 Elasticsearch: 运用 Pinned query 来提高文档的排名 (7.5发行版新功能)

Pinned 查询用来提升所选文档的排名,使其高于匹配给定查询的文档。 此功能通常用于引导搜索者查找精选的文档,这些文档在搜索的任何“organic”匹配项之上被提升。 使用存储在_id字段中的文档ID来标识升级或“固定”的文档。下面有给一个例子来说明:准备数据首先我们使用如下的bulk API接口来把我们所需要的数据导入到Elasticsearch之中:POST _b...

2019-12-23 16:11:43 1411 5

原创 Elasticsearch: Rare Terms Aggregation

在许多的情况下,我们做terms聚合搜索的时候,我们想得到的是每个桶里满足条件的文档最多的搜索结果。但是有些情况,我们想寻找稀有的术语数量。尽管我们可以把我们的搜索结果按照升序来排序,但是对于很大数据的这种聚合操作很容易造成unbunded error。在Elasticsearch了,Elastic提供了一种叫做Rare Terms Aggregation的方法。它使用了可预测结果的资源高...

2019-12-23 14:00:43 1388

原创 Elasticsearch:基于 Vector 的打分

目前这个功能还是处于试验阶段。在未来的版本中可能会出现变化。基于Vector(向量)的打分目前分为一下两种:Dense_vector Spare_vector它们都是基于功能进行评分的。在实际的使用中,我们必须注意的是:向量函数的计算过程中,所有匹配的文档均被线性扫描。 因此,期望查询时间随匹配文档的数量线性增长。 因此,我们建议使用查询参数限制匹配文档的数量。准备数据我们首...

2019-12-22 10:49:55 1868 4

原创 Elasticsearch:使用 function_score 及 soft_score 定制搜索结果的分数

我们将介绍使用function_score的基础知识,并介绍一些function core技术非常有用和有效的用例。介绍评分的概念是任何搜索引擎(包括Elasticsearch)的核心。评分可以粗略地定义为:找到符合一组标准的数据并按相关性顺序将其返回。相关性通常是通过类似TF-IDF的算法来实现的,该算法试图找出文本上与提交的查询最相似的文档。尽管TF-IDF及其表亲(例如BM25...

2019-12-21 16:59:49 1363

原创 Elasticsearch:Elasticsearch 中的 refresh 和 flush 操作指南

在今天的文章里,我们来主要介绍一下Elasticsearch的refresh及flush两种操作的区别。如果我们从字面的意思上讲,好像都是刷新的意思。但是在Elasticsearch中,这两种操作是有非常大的区别的。本指南将有效解决两者之间的差异。 我们还将介绍Lucene功能的基础知识,例如重新打开(reopen)和提交(commit),这有助于理解refresh和flush操作。Re...

2019-12-21 10:44:05 2072 1

原创 Elasticsearch:top_hits aggregation

top_hits指标聚合器跟踪要聚合的最相关文档。 该聚合器旨在用作子聚合器,以便可以按存储分区汇总最匹配的文档。top_hits聚合器可以有效地用于通过存储桶聚合器按某些字段对结果集进行分组。 一个或多个存储桶聚合器确定将结果集切成哪些属性。选项:from-要获取的第一个结果的偏移量。 size-每个存储桶要返回的最匹配匹配项的最大数目。 默认情况下,返回前三个匹配项。 排序-匹...

2019-12-19 21:20:39 1534 11

原创 Elasticsearch:如何把 Elasticsearch 中的数据导出为 CSV 格式的文件

本教程向您展示如何将数据从Elasticsearch导出到CSV文件。 想象一下,您想要在Excel中打开一些Elasticsearch中的数据,并根据这些数据创建数据透视表。 这只是一个用例,其中将数据从Elasticsearch导出到CSV文件将很有用。方法一其实这种方法最简单了。我们可以直接使用Kibana中提供的功能实现这个需求。我们首先来准备数据:再接着选择...

2019-12-19 20:01:48 2412

原创 Elasticsearch:运用 distance feature 查询来增强相关性

提高文档的相关性得分,使其更接近提供的原始日期或地点。 例如,您可以使用此查询为更接近某个日期或位置的文档赋予更大的权重。您可以使用distance_feature查询查找与某个位置最近的邻居。 您还可以在布尔搜索的“should”过滤器中使用查询,以将增强的相关性得分添加到布尔查询的得分中。下面我们用一个具体的例子来展示这个API的使用。准备数据我们还是拿之前我们的文章“E...

2019-12-18 16:33:07 1140

原创 Elasticsearch: 运用 Field collapsing 来减少基于单个字段的搜索结果

允许根据字段值折叠搜索结果。 折叠是通过每个折叠键仅选择排序最靠前的文档来完成的。要想理解这个其实也并不难,我们就那百度音乐的页面例子来说:我们可以看到在上面的页面中,它有展示很多喜欢的歌曲。其实这个歌曲可能是一个专辑里的最突出的一个。当我们做页面的时候,我们没有必要把一个专辑里所有的歌曲都放到这个封面的位置。我也许就只想放这个专辑里点击率最高的或者是最受欢迎的一首歌作为这个专辑的代表。当...

2019-12-18 14:02:07 930

原创 Elastic:使用 Heartbeat 进行 Uptime 监控

Elastic在6.5的版本中退出Heartbeat。Heartbeat 也就是我们通常所说的心跳。我们知道在医院,医生是用听心跳来判断一个人是否有生命迹象。在Elastic的Heartbeat里,它也是一样的道理。Heartbeat是一个轻量级的数据收集器。它用来帮我们进行uptime的健康监控。它可以帮我们查看一个服务器及服务器中一些服务是否运行正常。心跳可以在网络内部或外部运...

2019-12-17 20:45:12 2341 6

原创 Elasticsearch:pipeline aggregation 介绍

首先,我们来假想有这样的一个表格:上面的表格里显示了每一个月的用户数量,但是我们如何能得到如下的信息呢:哪一个月的用户数是最大的? 从April到January的总的用户数是多少?它们的平均用户数是多少? 每个月变化的值是多少?所有的这些问题,我们都可以使用Pipeline aggregation来算出来,这是因为这些数据的统计需要用到它的parent或sibling...

2019-12-15 09:53:23 1894

原创 Elasticsearch:fielddata 介绍

默认情况下,大多数字段都已编入索引,这使它们可搜索。 但是,脚本中的排序,聚合和访问字段值需要与搜索不同的访问模式。搜索需要回答“哪个文档包含该术语?”这个问题,而排序和汇总则需要回答一个不同的问题:“此字段对该文档的值是什么?”。大多数字段可以将索引时生产的磁盘doc_values用于此数据访问模式,但是文本(text)字段不支持doc_values。替代的方案,文本(text)字段...

2019-12-14 14:47:14 1070

原创 Elasticsearch:从零开始安装Elasticsearch并使用Python装载一个CSV并读写它

本文提供了一个简短的简单指南,介绍如何设置您的第一个Elasticsearch开发环境,以便快速进行并开始探索/利用技术提供的功能。简介将基于Elasticsearch提供的最重要的API,这些API是获取数据和执行查询的基础。第二个目的是提供文档和其他有趣资源的链接,以了解其他潜在的操作方面,其他出色的功能和各种工具。目标受众可以是个人数据分析师或Web开发人员,具有相关数据用例且已经听说...

2019-12-13 20:57:58 1565 2

原创 X-Pack:Elastic Graph 介绍

当我刚接触Elastic的Graph时,我对Graph的理解确实是模糊的。从字面上讲,它的意思是“图形”的意思。那个它在Elasticsearch中到底代表是什么?经过一段时间的探索,我对这个Graph有一些初步的认识。简单地说:graph代表的是数据之间的关联。这个数据可以是同一个索引或者是多个索引的。在今天的文章中,我来介绍一下graph到底是什么。图形分析功能使您可以发现Elastics...

2019-12-13 15:49:52 1371

原创 Elasticsearch:hanlp 中文分词器

HanLP 中文分词器是一个开源的分词器,是专为Elasticsearch而设计的。它是基于HanLP,并提供了HanLP中大部分的分词方式。它的源码位于:https://github.com/KennFalcon/elasticsearch-analysis-hanl从Elasticsearch 5.2.2开始,一直有跟随Elasticsearch的不同发行版而更新。安装1...

2019-12-06 14:36:46 2416 1

原创 Elasticsearch:enrich processor (7.5发行版新功能)

我们使用enrich processor来简化数据的摄取。简单地说:您可以使用enrich processor在ingest期间将现有索引中的数据添加到传入文档中。比如,你可以在如下的场景中用到:根据已知的IP地址识别Web服务或供应商 根据产品ID将产品信息添加到零售订单 根据电子邮件地址补充联系信息 根据用户坐标添加邮政编码在我之前的一篇文章“Logstash:运用jdbc_str...

2019-12-05 16:25:24 1421

转载 Elastic:Elastic Stack 7.5.0 重磅发布

我们非常兴奋地宣布 Elastic Stack 7.5 正式发布了。我们在此版本中推出了 Kibana Lens,用户通过 Lens 可以快速又直观地创建可视化视图。我们在这一版本中对 Observability 和 Security 解决方案进行了重大的改进,同时我们还将 Elastic Enterprise Search 加入到了 7.5 的版本中。请继续阅读本文,并了解这个版本的所有亮点...

2019-12-05 10:19:37 1075

原创 Elastic: 如何在阿里云上构建Elastic集群

阿里云(https://www.alibabacloud.com/zh/product/elasticsearch)创立于2009年,是全球领先的云计算及人工智能科技公司,为200多个国家和地区的企业、开发者和政府机构提供服务。阿里云在全球18个地域开放了49个可用区,为全球数十亿用户提供可靠的计算支持。基于Elasticsearch及商业功能,阿里云Elasticsearch作为云服务,集成了E...

2019-12-02 20:26:44 1049

原创 Elastic:在Elastic云上3分钟部署Elastic集群

Elastic Cloud Elasticsearch Service使您可以快速启动Elasticsearch和Kibana集群,然后立即开始发送日志! 首先,您需要登录到Elastic Cloud Elasticsearch Service。 单击此处打开主页。 然后,点击“没有帐户?立即注册”链接。 最后,在“企业电子邮件地址”字段中输入您的电子邮件,然后单击“Start free tria...

2019-12-02 12:22:46 1075

images.tar.gz

Pictures for tutorials

2014-09-10

Ubuntu Core知识分享

介绍Ubuntu及其开发流程

2016-12-26

Ubuntu core introduction

介绍Ubuntu Core, snapcraft,Ubuntu Core安全,商店

2016-08-31

Ubuntu上的HTML5开发

本文档介绍了如何在Ubuntu平台上开发HTML5的应用

2015-03-18

Ubuntu应用开发

在这个文档中介绍如何在Ubuntu平台上开发应用

2015-01-04

Scope开发介绍

在文档中介绍最新的在Ubuntu手机平台上的Scope开发知识

2015-06-29

Ubuntu手机介绍

介绍Canonical公司,Ubuntu手机平台,SDK。重点介绍Ubuntu手机平台上的Scope技术。

2015-01-16

Scope技术开发

这篇文章介绍了如何在Ubuntu平台上开发Scope。

2015-01-04

online account workshop

Ubuntu平台上的online account介绍

2015-02-03

Elastic 中国社区官方博客的留言板

发表于 2020-01-02 最后回复 2020-08-03

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除