Elastic_Elastic 中国社区官方博客_CSDN博客-Elastic,Kibana,Logstash领域博主

原创 Elasticsearch：如何制作 GeoJSON 文件并进行地理位置搜索

我发现我之前的文章 “Elasticsearch：使用 Elasticsearch 进行地理位置搜索” 还是蛮手欢迎的。我觉得大家喜欢是因为里面还有一些图片把复制的问题简单化，一目了然。在使用 Geo search 进行讲解时，如果能在地图上清楚地展示各个文档，边界，那么一切问题就变得非常简单了。在今天的文章中，我来讲述如何使用 GeoJSON 来创建一些边界。这对于展示一些搜索非常有用。GeoJSON 文件格式我们首先来看一下一个简单的 GeoJSON 文件格式：sample.json.

2021-04-15 17:29:39 210 1

原创 Elastic：如何成为一名 Elastic 认证工程师（ECE），Elastic 认证分析师（ECA) 及 ECOE

Elasticsearch 无疑是是目前世界上最为流行的大数据搜索引擎。根据 DB - Engines 的统计，Elasticsearch 雄踞排行榜第一名，并且市场还在不断地扩大：能够成为一名 Elastic 认证工程师也是很多开发者的梦想。这个代表了 Elastic 的最高认证，在业界也得到了很高的认知度。得到认证的工程师，必须除了具有丰富的 Elastic Stack 知识，而且必须有丰富的操作及有效的解决问题的能力。拥有这个认证证书，也代表了个人及公司的荣誉。针对个人的好处是，你可以..

2020-10-28 11:54:13 8280 8

原创 DevSecOps实战演练：Elastic Security Workshop - 3月31日 13:00-16:30

从零开始安装 Elastic Stack，使用 Logstash 导入日志文件到 Elasticsearch。Logstash是一个功能强大的工具，可与各种部署集成。它提供了大量插件，可帮助您解析，丰富，转换和缓冲来自各种来源的数据里面。本次分享含有调试及如何使用 Logstash 的 inputs, filters，outputs 及如何启动监控及集中管理。详细链接请参阅https://www.bagevent.com/event/6696688...

2020-07-25 09:00:03 4733 6

原创 Elastic：菜鸟上手指南

您们好，我是Elastic的刘晓国。如果大家想开始学习Elastic的话，那么这里将是你理想的学习园地。在我的博客几乎涵盖了你想学习的许多方面。在这里，我来讲述一下作为一个菜鸟该如何阅读我的这些博客文章。我们可以按照如下的步骤来学习：1)Elasticsearch简介：对Elasticsearch做了一个简单的介绍2)Elasticsearch中的一些重要概念:cluster, n...

2020-02-25 20:01:55 43462 39

原创 Elastic：培训视频 - 最新更新 2020-12-04

在这篇文章中，我将会把我写的有些内容录制成视频，供大家参考。希望对大家有所帮助。优酷的视频频道地址在这里。Elastic 简介及Elastic Stack 安装：优酷，腾讯 Elastic Stack docker 部署：优酷，腾讯 Elasticsearch中的一些重要概念（Cluster/Shards/Replica/Document/Type/Index）：优酷，腾讯开始使用El...

2020-01-06 15:31:54 8152 11

原创 Elasticsearch 简介

Elasticsearch是一个非常强大的搜索引擎。它目前被广泛地使用于各个IT公司。Elasticsearch是由Elastic公司创建并开源维护的。它的开源代码位于https://github.com/elastic/elasticsearch。同时，Elastic公司也拥有Logstash及Kibana开源项目。这个三个开源项目组合在一起，就形成了 ELK软件栈。他们三个共同形成了一个强大的...

2019-08-08 16:04:31 13337 18

原创 Kibana：运用 script fields 对数据进行清洗

在我的上一篇文章中，我详细地描述了如何使用 script fields 对搜索匹配的结果创建新的字段。这些字段的值基于 _source 或者 doc values 的值进行运算而形成的。在 Kibana 中，我们同样可以运用 scripted fields 来形成新的字段。我们甚至可以针对这些字段做数据分析。你可以详细地阅读我以前写过的文章： Kibana: 如何在 Kibana 中生成 Scripted fields Kibana：使用 Scripted fields 来提高数据的可观测性在

2021-04-15 09:25:39 201

原创 Elasticsearch：Script fields 及其调试

在之前的文章 “Elasticsearch：从搜索中获取选定的字段”，我有讲到过一些关于 script fields 的话题。在今天的文章中，我想就这个话题更进一步地详述。在搜索时，每个 _search 请求的匹配（hit）可以使用 script_fields（基于不同的字段）定制一些属性。这些定制的属性（script fields）通常是：针对原有值的修改（比如，价钱的转换，不同的排序方法等）一个崭新的及算出来的属性（比如，总和，加权，指数运算，距离测量等）一个 _search 请求能定义多于.

2021-04-14 16:21:07 303

原创 Elasticsearch：Search-as-you-type 字段类型

search_as_you_type 字段类型是一个类似 text 的字段，经过优化，可以为提供按需输入完成情况的查询提供开箱即用的支持。它创建了一系列子字段，这些子字段被分析以索引可被部分与整个索引文本值匹配的查询有效匹配的术语。支持前缀完成（即，匹配项从输入的开头开始）和中缀完成（即，匹配项在输入中的任意位置）。将这种类型的字段添加到 mapping 时PUT my-index-000001{ "mappings": { "properties": { "my_f

2021-04-13 10:53:20 450

原创 Elasticsearch：Match phrase prefix query

在之前的练习 “开始使用Elasticsearch （2）”，我们描述了如何使用 match_phrase 来搜索结果，并保证每个词的顺序是一样的。在今天的文章中，我们来讲一下 match_phrase_prefix。这个在一些自动补全的搜索中还是蛮有用的。使用它进行搜索，它返回的结果包含所提供文字的顺序，并严格按照所给的顺序。提供的文本的最后一个词被视为 prefix，与该词开头的任何单词匹配。比如，我们在 google 网站进行搜索：如上图所示，我们首先匹配的单词是 michael, j.

2021-04-13 08:50:27 133

原创 Elasticsearch：如何使用 Elasticsearch 和 Python 构建面部识别系统

你是否曾经尝试在图像中搜索对象？ Elasticsearch 可以帮助你存储，分析和搜索图像或视频中的对象。在本快速教程中，我们将向你展示如何构建一个使用 Python 进行面部识别的系统。了解有关如何检测和编码面部信息的更多信息-并在搜索中找到匹配项。在今天的练习中，我们将参照代码：https://github.com/liu-xiao-guo/face_detection_elasticsearch。你可以把这个代码下载到本地的电脑：$ pwd/Users/liuxg/python

2021-04-12 17:26:09 549

原创 Elasticsearch：一个关于 aggregation 的例子

今天的文章来自我一个国外同事的分享。通过这个例子，我们可以了解如何选择我们想要的聚合，排序，以及从 source 中提取字段。这个例子来源于一个需求，比如在 Elastic 有一个叫做 Contributor 的项目。鼓励大家来参加我们的社区分享。每次分享都会得到一个积分。在每个季度或者年度，我们会根据每个 Contributor 的积分进行排名，并得出最终的贡献奖。这里有一个问题就是。参加这个活动的每个 Contributor 都会对应于一个独一无二的邮件地址，但是每次分享他的名字可能会有不同。在

2021-04-12 09:26:57 303

原创 Elasticsearch：一些有趣的数据类型

Elasticsearch 中的每个字段都有一个字段数据类型或字段类型。此类型指示字段包含的数据类型（例如字符串或布尔值）及其预期用途。例如，你可以将字符串索引到文本字段（text）和关键字（keyword）字段。这样做的目的是，将分析文本字段值以进行全文搜索，而将关键字字符串保持原样以进行过滤和排序。字段类型按 family 分组。同一 family 中的类型支持相同的搜索功能，但可能具有不同的空间使用或性能特征。当前，关键字（keyword）family ，它由 keyword，cons

2021-04-10 19:39:53 2911 1

原创 Elasticsearch：消除 Elasticsearch 中的重复数据

重复数据在数据分析和搜索中会造成错误。在我们的实际使用中，我们应该避免重复导入的数据。重复数据有各种原因会造成。比如我们重复导入同样的数据。当我们写入文档时使用自动生成的 ID，那么同样的文档被导入两次，这样会造成同样的两个一样的文档会保存于 Elasticsearch 中尽管它们的 ID 会有不同。在我之前的文章 “Beats：如何避免重复的导入数据”，我详细描述了如果使用 Beats 导入数据时，避免重复数据。避免在 Elasticsearch 索引中重复始终是一件好事。但是，通过消除重复项，你可

2021-04-07 12:21:02 3034 4

原创 Elastic：导入 Word 及 PDF 文件到 Elasticsearch 中

在很多实际的应用中，我们希望导入 Word 及 PDF 文件到 Elasticsearch 中。在我之前的文章 “Elasticsearch：如何对 PDF 文件进行搜索”, 我讲述了如何使用 ingest pipeline 来把 PDF 文件导入到 Elasticsearch 中。在今天的文章中，我将介绍另外一种方法来导入 PDF 及 Word 文件到 Elasticsearch 中。我们将采用一个开源的项目https://github.com/dadoonet/fscrawler来实现这个。...

2021-04-06 20:35:19 565

原创 Elasticsearch：从搜索中获取选定的字段

在实际的搜索返回数据中，我们经常会用选择地返回所需要的字段或部分的 source。这在某些情况下非常有用，因为对于大规模的数据来说，返回的数据大下直接影响网路带宽的使用以及内存的使用。默认情况下，搜索响应中的每个匹配都包含文档 _source，这是在为文档建立索引时提供的整个 JSON 对象。要检索搜索响应中的特定字段，可以使用 fields 参数：POST my-index-000001/_search{ "query": { "match": { "message":

2021-04-06 13:19:01 503

原创 Beats：为 Beats =＞ Logstash =＞ Elasticsearch 架构创建 template 及 Dashboard

前一段时间有一个开发者私信我说自己的 Beats 连接到 Logstash，然后连接到 Elasticsearch。等数据在 Elasticsearch 中收集完后，发现 Kibana 中的 Dashboard 不能被使用。数据类型不匹配。这个到底是什么原因呢？Beats 为我们的数据导入带来了极大的方便。目前在 Elastic Stack 的架构中：我们可以通过如下的三种路径吧数据导入到 Elasticsearch 中：Beats ==> Elasticsearch Beats

2021-03-31 09:43:46 3576 5

原创 Logstash：Pipeline-to-Pipeline 通信 - 一个实例处理多种日志

使用 Logstash 的多管道功能时，你可能需要在同一 Logstash 实例中连接多个管道（Pipeline）。此配置对于隔离这些管道的执行以及有助于打破复杂管道的逻辑很有用。管道 input/output 启用了本文档后面讨论的许多高级体系结构模式。如果需要在 Logstash 实例之间设置通信，请使用 Logstash 到 Logstash 的通信，或使用中间队列，例如 Kafka 或 Redis。配置总揽使用 pipeline input 和 pipeline output .

2021-03-30 17:07:05 848

原创 Logstash：使用 Metricbeat 监控 Logstash

在之前的文章 “Logstash: 启动监控及集中管理” ，我详细地描述了如果使用 Elasticsearch 自监控 Logstash。在今天的练习中，我们演习以前的文章： Elastic：监控 Elasticsearch 及 Kibana Elastic：监控 Beats 及 APM Server 我将使用 Metricbeat 来对 Logstash 进行监控。我将使用 “Logstash: 启动监控及集中管理” 文章中的例子来进行展示。在进行 Logstash 的监视之前，我们必

2021-03-29 15:34:14 603

原创 Beats：如何启动 Metricbeat 中的 MySQL 模块 - query Metricset

在我做之前的教程 “Observability：Elastic Metrics 应用介绍”，我发现当我尝试启动 MySQL 模块中的 query metricset 会出现错误。之后我发现官方文档也缺少相应的资料。在今天的文章中，我将介绍如上启动这个 metricset。在使用这个 metricset 时需要做相应的配置。在开始之前，如果你对 Beats 模块的启动还不是很清楚的话，请参阅我之前的文章：Beats：Beats 入门教程（一） Beats：Beats 入门教程（二）简单地说，我们需

2021-03-29 13:38:52 281 1

原创 Elastic：如何为机器学习异常发送通知

我们知道对于可观察性数据而言，有超过75%的数据其实是没有用的。对数据来说，我们光采集上来是不够的。面对大量的数据，我们希望从这些海量的数据中发现事件，也就是不同于平常的事件。我们光用人眼来观察是不够的。我们可以借助 Elastic Stack 所提供的机器学习来对数据进行分析，并生产事件。如果大家对于如何使用机器学习还不是很熟的话，请参阅我之前的文章 “Elastic：机器学习的原理及实践 - single metric job”。即便如此，通过机器学习的方法得到了异常的事件，但是如果不能及时反馈到监控.

2021-03-25 15:42:58 1242

转载 Elastic 7.12 版重磅发布：读时模式、冻结层技术预览版和自动扩展功能正式发布

我们非常高兴地宣布 Elastic 7.12 版正式发布。这一新版本为基于 Elastic Stack（包括 Elasticsearch 和 Kibana）构建的 Elastic 企业搜索、可观测性和安全解决方案带来了大量新功能。在这个版本中，客户能够通过读时模式，在无与伦比的灵活性和速度之间进行权衡选择，可使用新的冻结层实现对象存储的完全可搜索，从而获取新的价值，还能在 Elastic Cloud 上自动扩展部署。Elastic 企业搜索得益于大量架构的增强功能，这些增强可减少部署规模、加快导入索引的

2021-03-25 09:29:18 324

翻译 Elasticsearch：增加 Elasticsearch 写入吞吐量和速度的完整指南

你可以使用多种策略来增加批处理作业和/或在线交易的 Elasticsearch 写容量。在过去的几年中，在写入容量方面，我遇到了瓶颈，并在不同的 ES 群集上犯了许多错误。尤其是其中一项要求是写入具有严格 SLA 的实时索引以进行读取操作时。如果你在生产环境中使用 Elasticsearch，很可能你也已经遇到了这些问题，甚至可能犯了一些与过去相同的错误！我认为，对 ES 如何在幕后工作的总体概述有一个清晰的了解，当你试图从系统中获得最佳性能时，这将大有帮助，因此，让我们开始吧。简单来说，El

2021-03-24 09:57:48 488

原创 Elastic：监控 Beats 及 APM Server

在之前的文章 “Elastic：监控 Elasticsearch 及 Kibana” 中，我已经描述了如何监控 Elasticsearch 及 Kibana。在今天的文章中，我将来详述如何来监控 Beats, Logstash 以及 APM。它们的原理基本相同，都是使用 Metricbeat 来对它们进行监控。如果你对测试的环境和配置不是很熟悉的话，请阅读上一篇文章 “Elastic：监控 Elasticsearch 及 Kibana”。所有 Beats 默认都使用端口 5066 进行监视，因此，如果要

2021-03-23 16:20:36 904

原创 Elastic：监控 Elasticsearch 及 Kibana

一个稳定的 Elastic Stack 集群对于数据的实时采集，处理及查询非常重要。我们可以使用一个专有的 Elasticsearch 集群来监视一个生产环境的 Elasticsearch 集群。在之前的文章 “Beats：通过 Metricbeat 实现外部对 Elastic Stack 的监控”，我已经讲述了如何对 Elasticsearch 进行监控。在今天及以后的几篇文章中，我将详细讲述如何来对 Elastic Stack 的各个软件栈进行监控。尽管我们可以使用把 Elasticsearch 自己的

2021-03-22 17:27:48 2517 6

原创 Observability：Elastic Logs 应用介绍

在 Kibana 中有一个叫做 Logs 的应用。它为我们的日志的可观测性提供了良好的可操控性。在今天的文章中，我来介绍如何使用这个应用。在今天的展示中，我采用了如下的架构来收集不同机器的日志：在上面的不同机器中，我启动了不同的模块。比如在 liuxgu 上，我启动了 nginx 及 system 模块。如果你对 Filebeat 还不是很熟悉如何采集日志的话，那么请参阅我之前的文章：Beats：Beats 入门教程（一） Beats：Beats 入门教程（二） Beats：使用 El.

2021-03-18 16:27:28 2095 6

原创 Beats：如何测试 Beats processors

在之前的 “Beats：Beats processors” 文章中，我详细地描述了如何使用 Beat 的 processors 对数据进行清洗。在很多情况下它是非常有用的一种方法。Beats 的 processors 有很多在 ingest pipeline 的 processors 中以及 Logstash 的过滤器中都有相应的实现。针对 ingest pipeline，我们可以使用Simulate pipeline API 来进行测试，而对于 Logstash 它也有一个很好的方法就是直接输出到 ...

2021-03-17 17:17:00 877 1

原创 Observability：Elastic Metrics 应用介绍

在这篇文章中，我将介绍如何使用 Elastic 所提供的 Metrics 应用来展示可观测性。Metric 应用是在 Kibana 中集成的一个应用，也是一个开箱即用的工具。在今天的展示中，我将使用三台机器来收集指标。我的配置如下：在你们自己的练习中，你们可以根据自己的机器或者容器的多少来构建自己的配置。在这里必须指出来的是针对所有的指标，有且只有一个 Metrics 应用来展示所有的指标。在上面，我在 MacOS 中安装了 Elasticsearch， Kibana，以及 Metricb.

2021-03-15 19:19:10 980

转载 Elastic：许可协议变更澄清

作者Shay Banon关于最近对 Elasticsearch 和 Kibana 的许可变更，我们有几个问题需要澄清，虽然我们一直在更新常见问答，但我们还是想说明一下哪些用户会受到本次变更的影响：我们的本地部署客户或 Elastic Cloud 客户不会受到影响。我们绝大多数的用户不会受到影响。那些采用我们的产品并直接将产品作为一项服务（如 Amazon Elasticsearch Service）对外出售的用户将会受到影响。如果您正在使用这些产品或在 Elasticsearch 和 K.

2021-03-15 08:56:17 255

转载 Elastic：隆重推出授权更加简单且宽松的 Elastic 许可 v2；SSPL 仍可选择使用

作者：Shay Banon我们之前曾宣布对 Elasticsearch 和 Kibana 的许可协议进行变更，将把根据 Apache 2.0 许可授权的源代码变更为采用 Elastic 许可 + SSPL 的双重授权许可模式。当时，我们还提到将与社区密切合作，开发出一个让授权更加简单且宽松的 Elastic 许可版本。我很高兴与大家分享我们取得的成果。Elastic 许可已经被广泛使用。目前，超过 90% 的软件下载使用的都是 Elastic 许可，这些用户享受到了免费开源的基础级服务提供的巨大附加价

2021-03-15 08:53:48 353

翻译如何使用 Filebeat，ILM 和数据流跨多个索引管理 Elasticsearch 数据

索引是 Elasticsearch 的重要组成部分。每个索引使你的数据集保持分离和有条理，从而使你可以灵活地以不同方式对待每个数据集，并使其在整个生命周期中都易于管理。通过提供摄入方法和管理工具来简化流程，Elastic 可以轻松地充分利用索引。在本文中，我们将使用 Filebeat 将来自多个源的数据摄入到多个索引中，然后将使用索引生命周期管理（ILM）和数据流来进一步控制该数据。Filebeat 是什么？Filebeat 是一种轻量级的日志传送器，带有许多内置模块，用于从多个数据源.

2021-03-11 10:11:37 417 1

原创 Elasticsearch：同步 MongoDB 数据到 Elasticsearch

MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。MongoDB 是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。Elasticsearch 是一个高效强大的搜索引擎，通过 Elasticsearch 的高效搜索引擎，我们可以快速地搜索，我们也可以使用 Kibana 所提供的可视化为数据提供洞察。在今天的文章中，我将介绍如何把 MongoDB 里的数据同步到 Elasticsearch

2021-03-10 18:04:39 1214 3

原创 Elasticsearch：Elasticsearch-head - 用于浏览和与 Elasticsearch 集群进行交互的 Web 前端

Elasticsearch-head是 Web 前端，用于浏览和与 Elasticsearch 集群进行交互。它具有如下的一些功能：...

2021-03-09 10:15:23 315

原创 Elasticsearch：Elasticsearch 中索引映射的非规范化

在写这篇文章之前，我首先来讲一下 normlization （规范化）以及 denormalization (非规范化）两个概念的区别。Normalization （规范化）：规范化是数据库中用于减少表中数据冗余和数据不一致的方法。这是将非冗余和一致性数据存储在设置的架构中的技术。通过使用规范化，表的数量增加而不是减少。Denormalization（非规范化）:非规范化也是数据库中使用的方法。它用于添加冗余以快速执行查询。它是一种将数据组合起来以快速执行查询的技术。通过使用非规范化，减.

2021-03-08 11:39:29 556 4

原创 Logstash：解析 JSON 文件并导入到 Elasticsearch 中

在今天的文章中，我们将详述如何使用 Logstash 来解析 JSON 文件的日志，并把它导入到 Elasticsearch 中。在之前的文章 “Logstash：Data转换，分析，提取，丰富及核心操作” 也有提到过，但是没有具体的例子。总体说来解析 JSON 文件的日志有两种方法：在 file input 里使用 JSON codec 在 file input 里不使用 JSON code，但是在 filter 的部分使用 JSON filter我们把 JSON 格式的数据解析并导入到 Elas

2021-03-05 11:01:21 853 3

原创 Logstash：使用 Logstash 导入 CSV 文件示例

在今天的文章中，我将展示如何使用 file input 结合 multiline 来展示如何导入一个 CSV 文件。针对 multiline，我在之前的文章 “运用 Elastic Stack 分析 Spring boot 微服务日志 (一）” 有讲到过。另外我也有两篇关于使用 Logstash 导入 CSV 的例子Logstash：应用实践 - 装载 CSV 文档到 Elasticsearch Logstash：导入 zipcode CSV 文件和 Geo Search 体验针对 CSV

2021-03-04 19:41:39 569 2

原创 Elastic：使用 escli 命令行工具来管理 Elastic 集群

escli 是一个 npm 的开源工具。它可以用来管理 Elastic 集群。目前这个包还在开发之中。现有的一些功能如下：enable/;disable shard allocation several simple list of ES objects reallocate all shard from one node in the objective of kill it gracefully open/close indexes这个安装包的一些信息可以在地址https://www.np.

2021-03-04 13:26:55 350

原创 Logstash：如何处理 Logstash pipeline 错误信息

在我们使用 Logstash 的时候经常会出现一些错误。比如当我们使用 dissect 这样的 filter 时，会出现格式不匹配从而导致错误。那么我们该如何处理这类错误呢？当 dissect 遇到错误的格式不能进行解析时，会为文档添加一个叫做_dissectfailure 的标签，并继续处理该事件：那么我们该如何处理该类错误的信息呢？一种比较好的办法就是通过 elasticsearch output 把他存放于另外一个索引中。我们先用如下的例子来进行实验。dissect.confi.

2021-03-02 18:24:11 373

原创 Elasticsearch：定制分词器（analyzer）及相关性

在许多的情况下，我们使用现有的分词器已经足够满足我们许多的业务需求，但是也有许多的情况，我们需要定制一个特定的分词器来满足我们特定的需求。我们知道要实现全文搜索，在文档被导入到 Elasticsearch 后，每个字段都需要被分析。这里就涉及到分词。如果你对分词器还不是很了解的话，那么请参考我之前的文章 “Elasticsearch: analyzer”。一旦文档被导入到 Elasticsearch 之后，我们就可以对其中的字段进行搜索了。通常它会依据默认的 BM25 算法对每个文档的相关性进行打分。关

2021-03-02 12:07:13 839 2

原创 Elasticsearch：理解 mapping 中的 null_value

null 不能被索引或搜索。当字段设置为 null（或空数组或所有值为 null 值的数组）时，将其视为该字段没有值。使用 null_value 参数可以用指定的值替换显式的空值，以便可以对其进行索引和搜索。例子一PUT my-index-000001{ "mappings": { "properties": { "status_code": { "type": "keyword", "null_value": "N..

2021-03-01 17:36:32 536 2

images.tar.gz

Ubuntu Core知识分享

Ubuntu core introduction

Ubuntu上的HTML5开发

Ubuntu应用开发

Scope开发介绍

Ubuntu手机介绍

Scope技术开发

online account workshop

Elastic 中国社区官方博客的留言板

空空如也