原创 Elastic:如何成为一名 Elastic 认证工程师

Elasticsearch 无疑是是目前世界上最为流行的大数据搜索引擎。根据 DB - Engines 的统计,Elasticsearch 雄踞排行榜第一名,并且市场还在不断地扩大: 能够成为一名 Elastic 认证工程师也是很多开发者的梦想。这个代表了 Elastic 的最高认证,在...

2020-10-28 11:54:13 2373 3

原创 Elastic 可观测性实战工作坊 - 12月9日 13:30 PM - 17:30 PM

从零开始安装 Elastic Stack,使用 Logstash 导入日志文件到 Elasticsearch。Logstash是一个功能强大的工具,可与各种部署集成。 它提供了大量插件,可帮助您解析,丰富,转换和缓冲来自各种来源的数据里面。本次分享含有调试及如何使用 Logstash 的 inpu...

2020-07-25 09:00:03 1991 6

原创 Elastic:菜鸟上手指南

您们好,我是Elastic的刘晓国。如果大家想开始学习Elastic的话,那么这里将是你理想的学习园地。在我的博客几乎涵盖了你想学习的许多方面。在这里,我来讲述一下作为一个菜鸟该如何阅读我的这些博客文章。 我们可以按照如下的步骤来学习: 1)Elasticsearch简介:对Elasticse...

2020-02-25 20:01:55 27101 16

原创 Elastic:培训视频

在这篇文章中,我将会把我写的有些内容录制成视频,供大家参考。希望对大家有所帮助。优酷的视频频道地址在这里。 Elastic 简介及Elastic Stack 安装:优酷,腾讯 Elastic Stack docker 部署:优酷,腾讯 Elasticsearch中的一些重要概念(Cluste...

2020-01-06 15:31:54 5553 7

原创 如何在 Linux,MacOS 及 Windows 上进行安装 Elasticsearch

在今天的这篇文章中,我想介绍如何在Linux及MacOS上进行安装ElasticSearch。Elasticsearch的安装是非常直接的。在今天的这篇文章中,我们介绍如果直接从已经编译好的档案(.tar.gz)中来直接安装Elasticsearch。如果大家想对Elasticsearch有一个大...

2019-08-13 14:04:03 7160 9

原创 Elasticsearch 简介

Elasticsearch是一个非常强大的搜索引擎。它目前被广泛地使用于各个IT公司。Elasticsearch是由Elastic公司创建并开源维护的。它的开源代码位于https://github.com/elastic/elasticsearch。同时,Elastic公司也拥有Logstash及...

2019-08-08 16:04:31 7227 13

原创 Kibana:如何在 canvas 中实现 gauge 并动态设置颜色

在 canvas 中,我们可以使用 gauge 来实现像电池电量,油表,速度等指标的显示。在今天的例子中,我们来展示如何在 canvas 中实现 gauge 可视化,并依据不同的指标而设置不同的颜色。 准备数据 在今天的实验中,我们用一个很简单的数...

2020-11-25 17:10:26 60 0

原创 Kibana:如何在 canvas 中使用 timelion 绘图

在今天的文章中,我们来使用 timelion 在 canvas 中实时画图。我将以 Elastic Stack 7.10 来进行展示。 准备数据 我们将以 Kibana 自带的索引来进行展示。打开 Kibana: 这样,我们就把索引kibana_sample_data_log...

2020-11-24 17:14:30 41 0

原创 Kibana:如何在 Canvas 中动态地显示图片

在我之前的文章 “运用 Canvas 实时监控物联网设备状态并控制设备” ,我详细描述了如何实时地显示物联网设备的状态。在那篇文章中,我们也展示了如何使用 asset 来展示我们想要的图片,比如灯。在实际的使用中,我们有时可能希望能够动态地改变这些图片,比如我们正在播放的歌曲是不一样的,那么我们可...

2020-11-23 16:42:32 48 0

原创 Kibana:如何在 Canvas 中动态地显示时间

在使用 Canvas 的时候,我们有时希望去动态显示事件发生的时间。我们希望用我们想要的方式来显示这个时间。那么我们该如何实现呢? 准备数据 在今天的实验中,我们用一个很简单的数据来进行展示: PUT _ingest/pipeline/add-timestamp { "...

2020-11-19 10:55:44 78 0

原创 Elasticsearch:如何处理 ingest pipeline 中的异常

在我之前的文章 “如何在 Elasticsearch 中使用 pipeline API 来对事件进行处理” 中,我详细地介绍了如何创建并使用一个 ingest pipeline。简单地说 pipeline 是一系列处理器的定义,这些处理器将按照声明的顺序执行。 pipeline 包含两个主要字段:...

2020-11-17 21:01:35 627 0

原创 Elastic:运用 Canvas 实时监控物联网设备状态并控制设备

在我还在 Ubuntu 公司工作的时候,我曾经做过 ubuntu core 物联网操作系统。在未来,物联网是一张比互联网更大的网。在物联网世界中,经常会收集大量的数据,比如温度,湿度,天气等传感器的数据,汽车及电梯的运行状况等等。当大量的数据被收集,我们可以通过数据平台对数据进行分析,并进行实时控...

2020-11-17 13:00:50 367 0

原创 Kibana:如何在 Markdown 中创建一个 button

如果小伙伴对 Kibana 中的 Mardown 还不是很熟的话,请参阅我之前的文章 “Kibana:Markdown 可视化教程”。我们知道在 Markdown 中,我们可以创建一些图片以及一些 Link。那么问题来了,我们在 Markdown 是否可以把它做成一个按钮那样的 look and ...

2020-11-16 13:07:38 476 0

原创 Kibana:如何在 Kibana 中禁止查询中使用前置通配符查询

Kibana 搜索模块涵盖的一项搜索功能是可以在搜索中使用通配符。 但是通配符是要运行的极其昂贵的查询,尤其是前置通配符。 因此,你可能要考虑禁用前导通配符,以避免有人使用它们。在我之前的文章 “Elasticsearch:正确使用 regexp 搜索” 中,我已经详述了避免使用前置通配符查询。具...

2020-11-14 21:23:20 584 0

转载 Elastic 7.10 发布了可搜索快照的公测版和 Kibana Lens 的正式版

我们非常高兴地宣布 Elastic 7.10 版正式发布。这一新版本为基于 Elastic Stack(包括 Elasticsearch、Kibana、Beats 和 Logstash)构建而成的 Elastic 企业搜索、可观测性和安全性等诸多解决方案带来了一系列的新功能。同时,7.10 版也为...

2020-11-13 18:48:56 614 0

原创 Kibana:如何在可视化中显示正确的货币单位

在可视化中,我们经常会用到个性化的货币单位来表示金额的大小。如果我们只单纯地显示一个数字,看报表的人很难知道当前的金额是多少。在今天的教程中,我来教大家如何显示人民币单位在可视化中。 准备数据 我们来创建一个很简单的索引 shop: PUT shop/_doc/1 { "...

2020-11-13 15:11:58 272 0

原创 Elasticsearch:如何让匿名的用户访问受限的资源

我们都知道安全是一个非常重要的话题。没有安全,就像我们的家里没有锁一样,任何人可以随意进出。近一些年来,我们也看到很多 Elasticsearch 数据泄露的情况。如果你想给你的 Elasticsearch 配置上安全,那么请阅读我之前的文章 “Elasticsearch:设置 Elastic 账...

2020-11-11 16:44:38 187 0

原创 Kibana:Kibana 不仅仅是针对开发者的 - 它是为所有人开发的

当我第一次接触 Elastic Stack 时,坦率地说,我对 Kibana 强大的功能所折服,但同时也担心不会使用这个工具,因为它的功能确实太多。对于一个新手来说感觉还是觉得无从下手。对于很多人来说,他们可能都一直认为:Kibana 只为专业开发者所使用,你需要懂很多的 Elasticsearc...

2020-11-11 11:35:03 146 1

原创 Kibana:为不同的用户生成不同的 Kibana 界面

在我之前的文章 “Kibana:为不同的用户生成不同的 Space” 中,我已经介绍了如何创建 space,并为不同的用户定制不同的索引权限。在今天的文章中,我们来介绍如何为不同的用户定制不同的 Kibana 用户界面。这在实际的使用中,有很多的应用场景。我们可以让不同的人登录 Kibana 中呈...

2020-11-10 12:47:03 161 0

原创 Elasticsearch:如何在聚合时选择所需要的 bucket 并进行可视化

Elasticsearch 是一个针对大数据的强大搜索引擎,它也是一个强大的数据分析引擎。采集上来的数据如果不经过分析,并生产有意义的见解,就没有任何的价值。在之前的文章中,我们已经详细讲解了有关 Elasticsearch 的聚合(aggregation)。如果你对 Elasticsearch ...

2020-11-09 12:37:16 158 0

原创 Beats:如何使用 Filebeat 结合机器学习导入日志

我在很早的文章 “Beats:通过 Filebeat 把日志传入到 Elasticsearch” 已经写给了如何通过 Filebeat 把日志文件写入到 Elasticsearch 中。在那篇文章中,我们没有特别特别指出是如何设计一个 pipeline 来处理数据的。我在文章 “Beats: Fi...

2020-11-08 15:14:47 612 3

原创 Kibana:如何在 Dashboard 中针对部分的数据做可视化

在 Kibana 中,我们可以很方便地对整个数据做可视化。我们可使用 time picker 来调整时间的窗口,也可以在 Dashboard 里对数据进行搜索 (KQL 或 Lucene),或者在 Dashboard 里设置一下 filter 来对部分数据进行统计。但是有没有中可能在 Dashbo...

2020-11-06 13:06:16 138 0

原创 Kibana:如何在 Search Bar 中实现模糊查询及通配符查询

我们知道在 Kibana 中,我们可以实现三种搜索 DSL 搜索,你可以参照我之前的文章 “开始使用Elasticsearch (2)” 进行详细了解 KQL 搜索,你可以参照我之前的文章 “Kibana: 如何使用 Search Bar” Lucene 搜索,你可以参照我之前的文章 “Ki...

2020-11-04 19:04:42 293 1

原创 Observability:独立模式下的 Elastic Agent

在这种模式下,Elastic Agent 是一种手动模式的工作方式。它和我之前文章 “使用 Elastic Agent 和 Ingest Manager 简化数据导入 (二)” 中介绍的模式是不一样的。在那篇文章中,它是一种在Fleet 管理的模式下工作的。在这种模式下,它更像之前我们先前单独使用...

2020-11-04 08:53:26 118 0

原创 Kibana:运用 TSVB 中的 Metric 生成两个指标的可视化

在 Kibana 中,我们有两个地方可以做 metric 的可视化。一个地方是: 他能生产如下的这样的 metric: 从上面的图中,我们可以看出来。它只能表达一个指标。在上面它表示了在过去一年里有 2096 个文档。在有些情况下,我们是否可以在一个指标可视化中能同时表达两个指标呢? ...

2020-11-03 10:27:35 191 0

原创 Elasticsearch:自动生成报告并发送

在今天的文章中,我将来介绍如何生成报告,并通过电子邮件的方式来进行发送。如果你之前看了我的文章 “Kibana:如何周期性地为 Dashboard 生成 PDF Report”,你就知道如果通过 Watcher 来定时地生成报告,并存放于 Kibana 中的 Reporting 中。本文将介绍通过...

2020-11-02 17:39:02 201 0

原创 Elasticsearch:Moving average aggregation 介绍

给定一系列有序的数据,移动平均值聚合将在数据上滑动一个窗口,并发出该窗口的平均值。 例如,给定数据 [1、2、3、4、5、6、7、8、9、10],我们可以计算出窗口大小为 5 的简单移动平均值,如下所示: (1 + 2 + 3 + 4 + 5) / 5 = 3 (2 + 3 + 4 + 5 +...

2020-11-02 11:45:03 119 0

原创 Kibana:Heatmap 可视化介绍及 how-to

在 Kibana 中,你拥有完整的数据图形表示形式,大多数情况下,这可以通过简单的折线图或条形图来完成。 但是每隔一段时间,你就需要采取不同的观点,以充分利用数据。 热图是 Kibana 可视化武器库的重要组成部分,值得关注。 什么是 heatmap? heatmap 是一种可视化类型,它...

2020-10-30 20:40:17 123 0

原创 Kibana:使用 TSVB table 来定制表格

在 Kibana 的可视化中,有一个 table 的可视化。我们可以通过这个表格可视化来展示我们的数据,比如: 在上面的可视化中,我们可以看到尽管它能展示一些数据,但是在某些时候,我们希望展示的数据能给予我们一目了然的结果,比如当 average bytes 超过一个数据时,我们希望用一种颜...

2020-10-30 15:06:24 123 0

原创 Elasticsearch:使用 Elasticsearch 进行地理位置搜索

Elasticsearch 是一个功能强大的搜索引擎,支持地理查询,但并不是每个人都习惯于处理空间数据。 如果你对地理处理了解不多,或者想通过Elasticsearch了解地理处理,那么本文适合你。在我们的现实生活中,我们经常使用的滴滴打车,美团送餐,美国的 Uber, Lyft 打车,还有一些交...

2020-10-29 16:11:19 3100 12

原创 Beats:如何定制已经创建的 Beats template

在我之前的文章 “Beats:解密 Filebeat 中的 setup 命令” 中,我已经详述了当我们执行 setup 命令时,它会自动帮我们在 Elasticsearch 中创建一个 index template。这个 index template 的作用就是使得我们所有的索引都具有相同的字段属...

2020-10-28 21:12:54 297 0

原创 Kibana:在 Kibana 中使用 Maps 和 Timelion 分析地震数据

在之前的文章 “使用 Kibana Timelion 进行时间序列分析”,我已经介绍了 Kibana 中的 Timelion 可视化工具。在今天的文章中,我将使用 Timelion 工具来分析地震数据。这里的地图数据来源于 1994 Northrige earthquake。我们可以在地址 www...

2020-10-27 10:54:26 300 0

转载 Kibana:如何在 Kibana 可视化中以百分比形式显示数据

进行数据分析时,要想在数字间进行有效对比,使用百分数是一项不可或缺的重要方法,当所涉及数据在样本量或总值方面表现出巨大差异时,尤为如此。通过百分比,我们可以快速准确地了解在某个维度类型上(例如时间范围、地理区域、产品线等)数据总和发生了多大变化。 在本篇博文中,我们将会通过几个例子详细讲...

2020-10-25 19:58:08 345 0

原创 Kibana:使用 Kibana Timelion 进行时间序列分析

在 Kibana 的可视化工具里,有一个可视化的工具叫做 Timelion。Timelion 是Kibana 中时间序列的可视化工具。 时间序列可视化是按时间顺序分析数据的可视化。 Timelion 可用于绘制二维图,时间绘制在 x 轴上使用 Timelion,你可以在同一可视化文件中组合独立的数...

2020-10-24 15:19:45 893 1

原创 Elasticsearch:运用 Go 语言实现 Elasticsearch 搜索

在今天的文章中,我将介绍如何使用 Go 语言来对 Elasticsearch 进行搜索。首先,我假设你已经对 Elastic Stack 有一定的了解。Elasticsearch 获得了极大的欢迎。 在关系数据库中搜索始终会遇到有关可伸缩性和性能的问题。Elasticsearch 是 NoSQL ...

2020-10-21 17:11:34 965 0

原创 Beats:解密 Filebeat 中的 setup 命令

在我之前的教程: Beats:Beats 入门教程 (一) Beats:Beats 入门教程 (二) 我已经详述了如果启动 Filebeat 并监控系统日志。在启动 Filebeat 的过程中,有一个很重要的步骤就是: ./filebeat setup 这个步骤非常重要,但是描述的内容并...

2020-10-20 14:47:19 541 1

原创 Beats:使用 Elastic Stack 来记录 Java Apps 日志

在我先前的系列文章中,我们介绍了如何使用 Elastic Stack 来分析 Spring boot 的微服务日志。这些文章是: Elastic:运用 Elastic Stack 分析 Spring boot 微服务日志 (一) Elastic:运用 Elastic Stack 分析 Spri...

2020-10-19 13:04:40 388 0

原创 Elastic:使用 Python 方便地实现 Elasticsearch-To-CSV 导出

在我之前的文章 “Elasticsearch:如何把 Elasticsearch 中的数据导出为 CSV 格式的文件” ,我介绍了两种方法来把一个 Elasticsearch 索引导出到一个 CSV 格式的文档中。但是据 一些人的实践,在面临海量文档的情况下,会出现 timeout 错误 (使用 ...

2020-10-19 10:11:03 1586 4

原创 Beats:使用 Elastic Stack 记录 Golang 应用日志

当今可用的丰富编程语言为程序员提供了用于构建应用程序的大量工具。无论是像 Java 这样的老牌巨头,还是像 Go 这样的新兴公语言,应用程序都需要在部署后进行监视。在本文中,你将学习如何将Golang日志发送到ELK Stack和Logz.io。 通常可以通过查看其日志来了解应用程序的运行状况。...

2020-10-17 17:40:48 285 3

原创 Elasticsearch:通过 inference pipeline 聚合为你的数据科学增加灵活性

Elastic 7.6 引入了 inference processor,用于对通过 ingest pipeline 提取的文档进行推理。ingest pipeline 功能强大且灵活,但设计用于在 ingest 时工作。那么,如果你的数据已经被摄取会怎样? 引入了新的 Elasticsearch...

2020-10-15 14:55:13 334 0

提示
确定要删除当前文章?
取消 删除