- 博客(901)
- 资源 (9)
- 论坛 (1)
- 收藏
- 关注
RSS订阅
原创 Elastic：如何成为一名 Elastic 认证工程师，Elastic 认证分析师及 Elastic 认证可观测性工程师
Elasticsearch 无疑是是目前世界上最为流行的大数据搜索引擎。根据 DB - Engines 的统计，Elasticsearch 雄踞排行榜第一名，并且市场还在不断地扩大：能够成为一名 Elastic 认证工程师也是很多开发者的梦想。这个代表了 Elastic 的最高认证，在业界也得到了很高的认知度。得到认证的工程师，必须除了具有丰富的 Elastic Stack 知识，而且必须有丰富的操作及有效的解决问题的能力。拥有这个认证证书，也代表了个人及公司的荣誉。针对个人的好处是，你可以..
2020-10-28 11:54:13
11574
11
原创 阿里云ACE×Elastic 可观测性工作坊/Meetup 北京同城会站 - 7月9 14:00-17:00，7月10日 13:00-18:00
从零开始安装 Elastic Stack，使用 Logstash 导入日志文件到 Elasticsearch。Logstash是一个功能强大的工具，可与各种部署集成。 它提供了大量插件，可帮助您解析，丰富，转换和缓冲来自各种来源的数据里面。本次分享含有调试及如何使用 Logstash 的 inputs, filters，outputs 及如何启动监控及集中管理。详细链接请参阅https://www.bagevent.com/event/6696688...
2020-07-25 09:00:03
6015
5
原创 Elastic：菜鸟上手指南
您们好，我是Elastic的刘晓国。如果大家想开始学习Elastic的话，那么这里将是你理想的学习园地。在我的博客几乎涵盖了你想学习的许多方面。在这里，我来讲述一下作为一个菜鸟该如何阅读我的这些博客文章。我们可以按照如下的步骤来学习：1)Elasticsearch简介：对Elasticsearch做了一个简单的介绍2)Elasticsearch中的一些重要概念:cluster, n...
2020-02-25 20:01:55
53730
46
原创 Elastic：培训视频
在这篇文章中，我将会把我写的有些内容录制成视频，供大家参考。希望对大家有所帮助。优酷的视频频道地址在这里。Elastic 简介及Elastic Stack 安装：优酷，腾讯 Elastic Stack docker 部署：优酷，腾讯 Elasticsearch中的一些重要概念（Cluster/Shards/Replica/Document/Type/Index）：优酷，腾讯 开始使用El...
2020-01-06 15:31:54
9301
11
原创 开始使用 Elasticsearch （1）
在今天的这篇文章中，我们来主要介绍一下如何使用REST接口来对Elasticsearch进行操作。为了完成这项工作，我们必须完成如下的步骤：安装 Elasticsearch。请参阅文章“如何在Linux，MacOS及Windows上进行安装Elasticsearch”。把Elasticsearch运行起来。 安装Kiban。请参阅文章“如何在Linux，MacOS及Windows上安装Ela...
2019-08-14 09:40:43
12133
14
原创 Elasticsearch 简介
Elasticsearch是一个非常强大的搜索引擎。它目前被广泛地使用于各个IT公司。Elasticsearch是由Elastic公司创建并开源维护的。它的开源代码位于https://github.com/elastic/elasticsearch。同时，Elastic公司也拥有Logstash及Kibana开源项目。这个三个开源项目组合在一起，就形成了 ELK软件栈。他们三个共同形成了一个强大的...
2019-08-08 16:04:31
16142
19
原创 Beats：使用 Heartbeat 来检查 TLS 证书是否将要过期
在许多时候，我们需要监控一个网站的 TLS 证书。如果快要过期了，我们希望能发出警报。这个需求我们可以使用 Heartbeat 并在 Kibana 中的 Uptime 应用中来实现。首先，我们来安装好自己的 Heartbeat，并修改它的配资文件 heartbeat.yml 文件。在它的 heartbeat.monitors 下添加如下的配置：heartbeat.ymlheartbeat.monitors:# 一下是添加的部分- type: http id: elastic-offi
2021-07-31 15:44:55
61
1
转载 配置 SSL、TLS 以及 HTTPS 来确保 Elasticsearch、Kibana、Beats 和 Logstash 的安全
运行的是 Elastic Stack 6.7.x/7.0.x 或更早版本？然后查看博文“如何设置 TLS...”，以获得有关如何在您的版本中确保通信安全的帮助信息。如想使用本篇博文中所讲的免费安全功能，您需要使用 Elastic Stack 6.8/7.1 或更新版本。 从 Elastic Stack 6.8 和 7.1 开始，Elastic 在默认分发包（基础许可证）中发布了一些免费安全功能。新推出的功能包括：使用 SSL 对网络流量进行加密、创建和管理用户、定义角色来保护索引级和集群级访问权限，..
2021-07-30 16:01:50
90
2
原创 Beats：使用 Linux 系统上的 Rsyslog 收集日志并导入 Elasticsearch
在我之前的文章：Beats：Beats 入门教程 （一） Beats：Beats 入门教程 （二）我详述了如何使用 Filebeat 中的 system 模块来为 syslog 导入到 Elasticsearch。这是目前为止最为快捷的方法。在实际的使用中，我们也可以使用其它来导入 syslog。这里的方法是：使用 Filebeat 中的 syslog input使用 Logstash 导入在今天的文章中，我将详述如何配置 Rsyslog 把数据导入到 Elasticsearch .
2021-07-30 15:41:46
483
2
原创 Kibana：Kibana Query Language - KQL
Kibana Query Language (KQL) 是一种使用自由文本搜索或基于字段的搜索过滤 Elasticsearch 数据的简单语法。 KQL 仅用于过滤数据，并没有对数据进行排序或聚合的作用。KQL 能够在你键入时建议字段名称、值和运算符。 建议的性能由 Kibana 设置控制：在上面的搜索框的右边，我们可以看到 KQL 字样。它表明当前的模式是 KQL 查询。KQL 具有与 Lucene 查询语法不同的一组功能。 KQL 能够查询嵌套字段和脚本字段。 KQL 不支持正则表达式或
2021-07-28 17:26:34
63
原创 Observability：运用 Fleet 来轻松地导入 Nginx 日志
在我之前的文章： Observability：使用 Elastic Agent 和 Ingest Manager 简化数据导入 （一） Observability：使用 Elastic Agent 和 Ingest Manager 简化数据导入 （二） 我有讲到如何使用 Ingest Manager 简化数据输入。今天我重新看了一下界面确实变了很多，这就是为什么实验版本的功能一直在演化中。在今天的文章中，我将基于 7.13 的版本如何使用 Fleet 导入 Nginx 日志。..
2021-07-27 17:11:33
131
1
原创 Elasticsearch：运用 Elasticsearch 查找类似文档：more_like_this
More Like This Query 查找与给定文档集 “相似” 的文档。 为此，More Like This选择这些输入文档的一组代表性术语，使用这些术语形成查询，执行查询并返回结果。 用户控制输入文档、应如何选择术语以及如何形成查询。最简单的用例包括请求与提供的文本片段相似的文档。 在这里，我们要求所有在 “title” 和 “description” 字段中包含类似于 “Once upon a time” 的文本的所有电影，将所选术语的数量限制为 12。GET /_search{ .
2021-07-26 20:26:20
397
2
原创 Elasticsearch：Boosting query - 为不喜欢的查询减分
在我们实际的查询中，我们总希望能把满足我们查询的结果排在查询的前面。在在 Elasticsearch 中，通过相关性的调整可以完成这个目的。在返回的结果中，得分最高的结果总排在第一名，依次类推，得分最低的排在最后。我们可以参考文章 “Elasticsearch：使用布尔查询提高搜索的相关性” 如何使用 bool 查询来提高一些文档的相关性。当然，我们也可以通过 “Elasticsearch：使用 function_score 及 soft_score 定制搜索结果的分数” 来通过 script 的方法来调整
2021-07-26 10:17:26
40
原创 Beats：为 Heartbeat 监控添加 geo 信息
在我之前的文章 “使用 Heartbeat 进行 Uptime 监控” 中，我详细地讲述了如何使用 Heartbeat 来对一个服务或者网站进行监控。在实际的很多监控中，如果我们能对监控的服务或者网站添加一个位置的信息，那么我们可以针对这个服务使用 Maps 来进行显示是非常好的。我们可以在地图上清楚地看到哪些网站或者服务是运行良好的。在今天的文章中，我将展示如何为 Heartbeat 的监控提供一个 geo 的信息。启动 hello-app 服务首先，我们来启动一个简单的服务。我们下载如下的一
2021-07-22 14:07:36
81
3
原创 Elastic：索引备份及恢复
在我之前的文章 “Elasticsearch：Cluster 备份 Snapshot 及 Restore API”，我详细地描述如何使用 Elastic 官方所提供的 snapshot 及 resotore API 接口来对我们想要的索引或者集群状态进行备份和恢复。在今天的文章中，我们将使用另外一种方法来针对一个 Elasticsearch 集群中的一个索引来进行备份及恢复。首先，在我们的 Linux 机器上我们安装如下的包：apt-get updateapt-get install cur
2021-07-21 10:26:44
427
2
原创 Elasticsearch：找回密码 - Password Recovery
如果你对如何为 Elasticsearch 集群设置安全的话，那么请阅读我之前的文章 “Elasticsearch：设置 Elastic 账户安全”。安全对于一个 Elasticsearch 是非常重要的。否则我们的集群无异于在裸奔下运行。在进行下面的练习之前，建议参考文章 “Elasticsearch：设置 Elastic 账户安全” 为自己的集群设置安全。假如有一天，我们忘记了我们的 Elasticsearch 集群，那么我们有什么办法能找回我们的集群的密码呢？我们首先发现在 Elastics.
2021-07-20 16:24:38
144
1
原创 Elasticsearch：Dissect 和 Grok 处理器之间的区别
针对很多情况我们可以直接使用 Dissect 处理器来对非结构化化的日志进行结构化。在我之前的文章 “Elasticsearch：深入理解 Dissect ingest processor” 有做笔记深入的讲解。在很多的情况下，我们也可以使用 Grok 处理器来进行结构化。那么这两者之间有什么区别呢？在实际的使用中，我们到底首先哪一个呢？一般来说，我们需要首先 Dissect 处理器，这是因为它的速度比 Grok 要快很多。Grok 是基于正则匹配，执行速度比 Dissect 要蛮很多。当然 Grok.
2021-07-20 09:42:53
59
原创 Beats：为 Filebeat 配置 inputs
Filebeat 模块为常见日志格式提供最快的入门体验。如果你对如何使用 Filebeat 模块还不是挺了解的话，请参阅我之前的文章：Beats：Beats 入门教程 （一） Beats：Beats 入门教程 （二）为了能够手动配置 Filebeat 而不是使用模块，你可以在配置文件 filebeat.yml的 filebeat.inputs 部分定义一个列表的inputs。这些 inputs 定义了 Filebeat 如何定位及处理 input 数据。这个列表是一个 YAML 的数组。每个..
2021-07-19 16:21:12
91
2
原创 Beats：使用 Autodiscover 监控 Docker 容器
当你在容器上运行应用程序时，它们会成为监控系统的移动目标。在实际的容器部署中，我们通常并不知道到底部署多少个容器以及运行的接口是什么样的。这在实际的监控中是非常麻烦的。Autodiscover 允许你跟踪它们并在发生变化时调整设置。 通过定义配置模板，自动发现子系统可以在服务开始运行时对其进行监控。在今天的展示中，我将使用 Heartbeat 来进行展示。如果你想了解更多关于 Heartbeat 的配置，你可以阅读我之前的文章：Elastic：使用 Heartbeat 进行 Uptime 监视 .
2021-07-14 21:19:20
155
2
原创 Enterprise：如何使用 Python 客户端将数据提取到 App Search 中
在之前的有些文章中，我已经介绍了如何导入数据到 App Search 中。你可以参考文章 “Elastic：菜鸟上手指南” 中的 “解决方案” 章节。在今天的文章中，我将介绍如何使用 Python client 把 Postgres 数据库中的数据导入到 App Search 中。在今天的展示中，我们将使用 Elastic Stack 7.13 来进行展示。安装Postgres如果你在自己的电脑上还没有安装过 Postgres 数据库，你需要根据自己的操作系统进行安装。我们使用 Post
2021-07-13 18:45:51
135
5
原创 Logstash：配置例子
今天看了一下 Elastic 的官方例子。觉得还是很不错。在今天的文章中，我就常见的几种格式的日志来做一个说明，希望对大家有所帮助。关于 Logstash，我之前有做一个 meetup。里面还含有一个完整的例子。你可以在如下的地址进行查看：Logstash：Logstash 入门教程 （一） Logstash：Logstash 入门教程 （二）另外，我的另外一篇文章 “Logstash：Data转换，分析，提取，丰富及核心操作” 里面含有丰富的例子供大家阅读。以下示例说明了如何配置 Logst.
2021-07-12 16:26:58
219
2
原创 Observability：使用 APM 中的 Service Map 了解和调试应用程序
在 Kibana 中，有一个可观测性的应用叫做 APM，也就是应用性能监控（Application Performance Monitoring）。它是构建于 Elastic Stack 之上的。它可以很轻松地让我定位并且修正应用的性能问题。在本文章中，我将介绍分布式追踪到底是什么以及如何使用 Service Map 来快速地展示你一个系统的整个架构。如果你对 APM 还是不很熟悉的话，请参阅我之前的文章 “Elastic：菜鸟上手指南” 中的 “解决方案” 中的 APM 一节。你可以在文...
2021-07-12 10:50:15
201
原创 Kibana：Alerting - 警报介绍
在我之前的很多文章中，我都介绍了 Alerting。你可以在 “Elastic：菜鸟上手指南” 中的 “通知及警报” 一节找到。在今天的文章中，我将使用最新的 7.13 版本来展示如何使用 rules 来检测复制条件下的 alerts。警报（alerting）允许你定义规则以检测不同 Kibana 应用程序中的复杂条件并在满足这些条件时触发操作。 警报与可观察性、安全性、地图和机器学习集成，可以从管理 UI 集中管理，并提供一组内置连接器和规则（称为堆栈规则）供你使用。重要提示：要确保你可以访
2021-07-06 17:22:55
304
原创 Elasticsearch：开始使用 Watcher
我在之前的文章中已经创建了一些关于如何创建一个 Watcher。请参阅文章 “Elastic：菜鸟上手指南” 里的 “通知及警报” 部分。在其中的一篇文章 “Elastic：创建你的第一个Elastic watcher” 中，可能会涉及到两个机器的配置，不编译实验。在今天的文章中，我将使用一台机器来进行展示。在这里我必须指出的是：Watchers 和 Alerts 都可以发出警报，但是 Watchers 是在 Elasticsearch 中运行的，而 Alerts 是在 Kibana 里运行的。.
2021-07-05 18:08:01
290
5
原创 Observability：设置 Elastic APM Java 代理 - 自动设置
在我之前的文章：Solutions：应用程序性能监控/管理(APM)实践 Observability：如何为 Java 应用进行 APM 我详细地描述了如果使用手动的方式来部署 Elastic APM Java 代理来对 Java 应用进行应用性能监控。在今天的文章中，我们来介绍一下如何使用自动设置的方式来进行 APM。我将使用一个叫做 APM agent standalone JAR 来实现。在进行下面的实验之前，请先阅读我上面列举的两篇文章。我将以 “Observability：如何为 J
2021-07-05 10:39:23
109
2
原创 Observability：如何为 Java 应用进行 APM
在我之前的文章 “Solutions：应用程序性能监控/管理(APM)实践”，我已经详细介绍了 APM 以及如何针对 Java 应用进行 APM。在那篇文章中的 Baidu 天气服务由于一些原因现在不能正常工作。在今天的文章中，我将使用 Elastic 官方发布的 Java 例子来做详细的描述。我将一步一步地介绍如何进行设置。安装在今天的练习中，我们将使用 docker 来部署 Elastic Stack。首先，我们到如下的地址来下载 docker-compose.yml 文件：curl.
2021-07-01 15:04:53
277
2
翻译 Elastic：通过 Logstash 或 Kafka 使用 Metricbeat 监控 Elastic Stack
在之前的一篇博文中，我们介绍了一种使用 Metricbeat 监控 Elastic Stack 的新方法。 使用 Metricbeat 从外部收集有关 Elastic Stack 产品的监控信息，提高了监控这些产品的可靠性。 它还为如何将监控数据路由到 Elasticsearch 监控集群提供了灵活性。 在这篇博文中，我们通过展示用户如何将 Metricbeat 收集的监控数据通过 Logstash 或 Kafka 路由到监控集群来更深入地研究第二个方面。 因此，如果您已经在 Metricbeat 配置中将
2021-06-29 15:15:13
184
翻译 Elasticsearch：通过结合 Elasticsearch 词干分析器和同义词来提高搜索相关性
在之前的博客中，我们介绍了如何将同义词合并到由 Elasticsearch 驱动的应用程序中。 在这里，我以该博客为基础，展示了如何结合词干分析器（stemmer）和多词同义词（multi-word synonyms），将搜索结果的质量提升到一个新的水平。动机想象一下，你正在使用 Elasticsearch 为搜索应用程序提供搜索引擎以查找书籍，并且在此应用程序中你希望将以下单词视为同义词：brainstorm brainstorming brainstormed brain stor
2021-06-28 12:47:47
186
原创 Elasticsearch：Dot expander processor - 将带点的字段 foor.bar 扩展为 Object
在我之前的文章 “Elasticsearch：Ingest Pipeline 实践”，有一个开发者在评论区问道像 foo.bar 这样的字段如何变成 object 数据类型。在实际的使用中，我们可以使用 dot expander 处理器。它将带点的字段扩展为对象字段。 此处理器允许管道中的其他处理器访问名称中带有点的字段。 否则，任何处理器都无法访问这些字段。我将使用一个简单的例子来进行展示。实例我们首先来创建一个如下的 Ingest Pipeline：POST _ingest/pip
2021-06-26 12:22:46
160
原创 Kibana：如何让用户匿名访问 Kibana 中的 Dashboard
在我之前的文章 “如何让匿名的用户访问受限的资源” 中，我介绍了如何让开发者在不输入用户名和密码的情况下访问 Elasticsearch 集群中的索引（ES 集群配置有用户名及密码）。在很多的场合这个是非常有用的。针对 Kibana，我们可能也会遇到同样的情况。比如我们有一个很好的 Dashboard，我们想分析这个 Dashboard 给没有访问权限的人进行查看。当然这种也使用大屏幕 Canvas。我们可以让一个实时动态的 Canvas 给大众访问。在这种情况下，我们必须使用一种匿名的访问方式才能完成。在
2021-06-23 15:33:46
752
5
原创 Beats：运用 Filebeat 来对微服务 API 进行分析
在之前的文章 “Logstash：使用 ELK 堆栈进行 API 分析”，我展示了如何使用 Logstash 的 http_poller input plugin 来对微服务的 API 数据进行分析。如果我们只是为了对微服务的数据采集使用 Logstash，感觉有些 Logstash 有些大材小用了，比较 Logstash 的部署还是蛮耗资源的。相比较而言，我们可以使用 Filebeat 的 HTTP JSON input 来对微服务的数据进行采集。我们知道 Beats 的架构是属于一种轻量级的部署。可以直
2021-06-23 10:24:33
421
原创 Elasticsearch：Ingest Pipeline 实践
相比较 Logstash 而言，由于其丰富的 processors 而受到越来越多人的喜欢。最重要的一个优点就是它基于 Elasticsearch 极具可拓展性和维护性而受到开发者的喜欢。我在之前创建了很多关于 Ingest Pipeline 的文章。你可以参阅文章 “Elastic：菜鸟上手指南” 中的 Ingest pipeline 章节。在今天的文章中，我想同一个一个例子来展示两种创建 Ingest Pipeline 的方法尽管在我之前的文章中都有介绍：通过 API 的方法来创建 通过 Ki
2021-06-22 16:35:29
379
2
原创 Elastic：Sense chrome - 在 chrome 浏览器中操作 Elasticsearch 的插件
安装Mongodb我们按照链接安装 Mongodb。...
2021-06-22 09:39:32
263
原创 Kibana：创建 Canvas workpads
Canvas 是一种数据可视化和展示工具，可让你从 Elasticsearch 中提取实时数据，然后将数据与颜色、图像、文本和您的想象力结合起来，以创建动态、多页、像素完美的显示。 如果你有点创意，有点技术，并且非常好奇，那么 Canvas 适合您。使用 Canvas，你可以：使用背景、边框、颜色、字体等创建和个性化的工作空间。 使用你自己的可视化（例如图像和文本）自定义你的工作台。 直接从 Elasticsearch 中提取你的数据，然后通过图表、图形、进度监视器等展示它。 使用过滤器聚焦要
2021-06-21 18:25:25
248
原创 Elastic：在腾讯云上部署 Elasticsearch 集群
腾讯云（https://cloud.tencent.com/product/es）是基于开源搜索引擎 Elasticsearch 打造的高可用、可伸缩的云端全托管的 Elasticsearch 服务，包含 Kibana 及常用插件，并集成了安全、SQL、机器学习、告警、监控等高级特性（X-Pack）。使用腾讯云 ES，您可以快速部署、轻松管理、按需扩展您的集群，简化复杂运维操作，快速构建日志分析、异常监控、网站搜索、企业搜索、BI 分析等各类业务。在今天的文章中，我将展示如何使用腾讯云来部署 Elast
2021-06-21 13:38:51
314
2
原创 Elasticsearch：如何在导入时忽略格式错误的数据
有时，你对收到的数据没有太多控制权。 一个用户可以发送一个日期形式的 login 字段，另一个用户发送一个电子邮件地址形式的 login 字段。默认情况下，尝试将错误的数据类型索引到字段中会引发异常，并拒绝整个文档。 ignore_malformed 参数如果设置为 true，则允许忽略异常。 格式错误的字段没有被索引，但是文档中的其他字段被正常处理。让我们来用一个例子来进行展示。在 Kibana 中，打入如下的数据：PUT my-index-000001{ "mappings": {
2021-06-17 16:11:48
301
原创 Kibana：使用 Painless Lab 来测试代码
在我之前的文章 “Elasticsearch：Painless scripting 编程实践” 中，我对 Painless 的编程做了一个介绍。Painless 的编程很强大，但是调试来说确实不是很容易。在我之前的文章 “Elasticsearch：Painless 编程调试” 有一些介绍关于如何进行调试。尽管如此，调试 Painless 有时不是一件非常容易的事。在 Kibana 中，它集成了一个叫做 Painless Lab 的功能。Painless Lab 是一个交互式代码编辑器，可让你实时测试和
2021-06-17 10:00:58
323
原创 Elasticsearch：Elasticsearch 使得 Data Science 变得更简单了 - Eland
Eland 是一个全新的 Python 包，它在 Elasticsearch 和数据科学生态系统之间架起了一座桥梁。Elasticsearch 是一个功能丰富的开源搜索引擎，它构建在 Apache Lucene 之上，Apache Lucene 是市场上最重要的全文搜索引擎之一。Elasticsearch 以其提供的广泛而通用的 REST API 体验而闻名，包括用于全文搜索、排序和聚合任务的高效 wrapper，使得在现有后端中实现此类功能变得更加容易，而无需进行复杂的重新设计。自 2010 年推出以来，
2021-06-16 19:12:03
348
原创 Kibana：在 Kibana 中显示图片及 Binary 字段类型介绍
在今天的文章中，我将向大家展示如何在 Kibana 中进行图片显示。我的同事在他自己的博客中写了一篇文章 “用 Elasticsearch 存储图片并在 Kibana 中显示”。在今天的文章里，我的许多内容来自这篇文章，只是我想在动手时更加详细一点，以便我们自己能够按照这些步骤能看到想要的结果。在之前我还有一篇文章是关于在 Kibana 中进行展示多媒体的。你可以参考文章 “Kibana：如何在 Discover 中显示图片及播放音乐”。Binary 字段类型我们知道图片通常比较大，而且不便于.
2021-06-15 11:08:19
1291
4
原创 Logstash：导入 RSS feed 数据
在实际的使用过程中，我们有时希望正对 RSS 的数据来进行导入并进行搜索。在现实的许多微服务中，有很多的数据是根据 RSS feed 的形式来提供的，比如我们常见的点评网站等。那么我们有没有办法把这些数据导入到 Elasticsearch 并进行搜索呢？答案是使用 Logstash 所提供的 RSS input plugin。在今天的文章中，我将使用一个例子来进行展示。我们首先找到一个 RSS feed 源。在 Elastic 的官方网站中，我们可以看到这样的一个页面 elastic.co/blog。我
2021-06-15 09:05:48
405
Elastic 中国社区官方博客的留言板
发表于 2020-01-02 最后回复 2020-08-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人 TA的粉丝