• 博客(21)
  • 资源 (9)
  • 论坛 (1)
  • 收藏
  • 关注

原创 Elastic:如何成为一名 Elastic 认证工程师

Elasticsearch 无疑是是目前世界上最为流行的大数据搜索引擎。根据 DB - Engines 的统计,Elasticsearch 雄踞排行榜第一名,并且市场还在不断地扩大:能够成为一名 Elastic 认证工程师也是很多开发者的梦想。这个代表了 Elastic 的最高认证,在业界也得到了很高的认知度。得到认证的工程师,必须除了具有丰富的 Elastic Stack 知识,而且必须有丰富的操作及有效的解决问题的能力。拥有这个认证证书,也代表了个人及公司的荣誉。针对个人的好处是,你可以..

2020-10-28 11:54:13 5321 8

原创 Kibana:Heatmap 可视化介绍及 how-to

在 Kibana 中,你拥有完整的数据图形表示形式,大多数情况下,这可以通过简单的折线图或条形图来完成。 但是每隔一段时间,你就需要采取不同的观点,以充分利用数据。 热图是 Kibana 可视化武器库的重要组成部分,值得关注。什么是 heatmap?heatmap 是一种可视化类型,它使用颜色显示你要表示的数据的大小。 它们用于各种数据和几种不同的类型。 对于开发人员世界中的大多数人来说,我们遇到最多的人可能是GitHub Commit Graph。比如下面就是我的 github 的活动图:.

2020-10-30 20:40:17 289

原创 Kibana:使用 TSVB table 来定制表格

在 Kibana 的可视化中,有一个 table 的可视化。我们可以通过这个表格可视化来展示我们的数据,比如:在上面的可视化中,我们可以看到尽管它能展示一些数据,但是在某些时候,我们希望展示的数据能给予我们一目了然的结果,比如当 average bytes 超过一个数据时,我们希望用一种颜色来标识出来。这样可以让我们知道是不是有异常等等。显然正常的 table 可视化不能完成这种目的。那么我们怎么办呢?我们可以使用 TSVB 中的 table 来达到这个目的。在今天的教程中,我们来展示如何.

2020-10-30 15:06:24 289

原创 Elasticsearch:使用 Elasticsearch 进行地理位置搜索

Elasticsearch 是一个功能强大的搜索引擎,支持地理查询,但并不是每个人都习惯于处理空间数据。 如果你对地理处理了解不多,或者想通过Elasticsearch了解地理处理,那么本文适合你。在我们的现实生活中,我们经常使用的滴滴打车,美团送餐,美国的 Uber, Lyft 打车,还有一些交友 apps 等等,它们都是使用 Elasticsearch 进行位置搜索的例子。Geo distance query地理距离查询返回距离点最大距离的所有文档,例如:Dolores 想认识距离她约30.

2020-10-29 16:11:19 4790 15

原创 Beats:如何定制已经创建的 Beats template

在我之前的文章 “Beats:解密 Filebeat 中的 setup 命令” 中,我已经详述了当我们执行 setup 命令时,它会自动帮我们在 Elasticsearch 中创建一个 index template。这个 index template 的作用就是使得我们所有的索引都具有相同的字段属性,以便于我们分析数据。在实际的使用中,我们可以根据自己的使用来进行微调这个 index template。在今天的这篇文章中,我将使用一个具体的例子来详述如何进行定制。准备工作我们首先参阅之前的文章.

2020-10-28 21:12:54 457 1

原创 Kibana:在 Kibana 中使用 Maps 和 Timelion 分析地震数据

在之前的文章 “使用 Kibana Timelion 进行时间序列分析”,我已经介绍了 Kibana 中的 Timelion 可视化工具。在今天的文章中,我将使用 Timelion 工具来分析地震数据。这里的地图数据来源于 1994 Northrige earthquake。我们可以在地址 www.ncedc.org/anss/catalog-search.html 里下载到数据。准备数据数据来源于 ElasticON tour16 demo。我们可以使用如下的命令来进行下载:git c.

2020-10-27 10:54:26 476

转载 Kibana:如何在 Kibana 可视化中以百分比形式显示数据

进行数据分析时,要想在数字间进行有效对比,使用百分数是一项不可或缺的重要方法,当所涉及数据在样本量或总值方面表现出巨大差异时,尤为如此。通过百分比,我们可以快速准确地了解在某个维度类型上(例如时间范围、地理区域、产品线等)数据总和发生了多大变化。在本篇博文中,我们将会通过几个例子详细讲解如何在 Kibana 中使用 TSVB(时序数据可视化工具)借助常用的可视化(包括饼图、单值指标、表格或时序)计算百分比。在本篇博文中,我们将会使用 Kibana 中提供的flights和ecommer...

2020-10-25 19:58:08 686 1

原创 Kibana:使用 Kibana Timelion 进行时间序列分析

在 Kibana 的可视化工具里,有一个可视化的工具叫做 Timelion。Timelion 是Kibana 中时间序列的可视化工具。 时间序列可视化是按时间顺序分析数据的可视化。 Timelion 可用于绘制二维图,时间绘制在 x 轴上使用 Timelion,你可以在同一可视化文件中组合独立的数据源。 使用相对简单的语法,你可以执行高级数学计算,例如除以和减去指标,计算导数和移动平均值,当然还可以可视化这些计算的结果。总共大约有五十种不同的功能(有些还在试验中),可以用来对要分析的数据集进行切片和切块

2020-10-24 15:19:45 1241 2

原创 Elasticsearch:运用 Go 语言实现 Elasticsearch 搜索

在今天的文章中,我将介绍如何使用 Go 语言来对 Elasticsearch 进行搜索。首先,我假设你已经对 Elastic Stack 有一定的了解。Elasticsearch 获得了极大的欢迎。 在关系数据库中搜索始终会遇到有关可伸缩性和性能的问题。Elasticsearch 是 NoSQL 数据库,在解决这些问题方面非常成功。 它提供了出色的可拓展性和性能,而最突出的功能之一就是相关性分析,它使搜索结果具有很大的灵活性。Elastic Stack安装 Elasticsearch 及 K..

2020-10-21 17:11:34 1483 2

原创 Beats:解密 Filebeat 中的 setup 命令

在我之前的教程:Beats:Beats 入门教程 (一) Beats:Beats 入门教程 (二)我已经详述了如果启动 Filebeat 并监控系统日志。在启动 Filebeat 的过程中,有一个很重要的步骤就是:./filebeat setup这个步骤非常重要,但是描述的内容并不是很多。为什么需要这个步骤呢?它到底能够做什么呢?首先,我们在命令的输出中,我们可以看到如下的内容:$ ./filebeat setupOverwriting ILM policy is disabl

2020-10-20 14:47:19 795 1

原创 Beats:使用 Elastic Stack 来记录 Java Apps 日志

在我先前的系列文章中,我们介绍了如何使用 Elastic Stack 来分析 Spring boot 的微服务日志。这些文章是:Elastic:运用 Elastic Stack 分析 Spring boot 微服务日志 (一) Elastic:运用 Elastic Stack 分析 Spring boot 微服务日志 (二)细心的开发者可能已经看出来了,我们使用 Logstash 来分析我们的日志,把非结构化的日志转换为结构化化的日志。这在很多的场合中是非常有用的。但是这个方法有一个非常不好的地方,

2020-10-19 13:04:40 537

原创 Elastic:使用 Python 方便地实现 Elasticsearch-To-CSV 导出

在我之前的文章 “Elasticsearch:如何把 Elasticsearch 中的数据导出为 CSV 格式的文件” ,我介绍了两种方法来把一个 Elasticsearch 索引导出到一个 CSV 格式的文档中。但是据 一些人的实践,在面临海量文档的情况下,会出现 timeout 错误 (使用 CSV report),或者导出速度比较慢的情况(在使用 Logstash 的方案)。在本篇文章中,我将介绍一个使用 Python 的方法,很方便地把所需要的数据导出到一个 CSV 文件中。准备数据在.

2020-10-19 10:11:03 2005 4

原创 Beats:使用 Elastic Stack 记录 Golang 应用日志

当今可用的丰富编程语言为程序员提供了用于构建应用程序的大量工具。无论是像 Java 这样的老牌巨头,还是像 Go 这样的新兴公语言,应用程序都需要在部署后进行监视。在本文中,你将学习如何将Golang日志发送到ELK Stack和Logz.io。通常可以通过查看其日志来了解应用程序的运行状况。但是,日志数据具有随时间呈指数增长的趋势。当更多应用程序部署并分布在多台服务器上时,尤其如此。 Elastic Stack 具有存储大量数据并快速,轻松地进行搜索的功能,在这里很方便。在本文中,你将学习如何导入

2020-10-17 17:40:48 401 3

原创 Elasticsearch:通过 inference pipeline 聚合为你的数据科学增加灵活性

Elastic 7.6 引入了 inference processor,用于对通过 ingest pipeline 提取的文档进行推理。ingest pipeline 功能强大且灵活,但设计用于在 ingest 时工作。那么,如果你的数据已经被摄取会怎样?引入了新的 Elasticsearch inferencepipeline 聚合,可让你将新的推理模型应用于已建立索引的数据。使用这种新的聚合类型,你可以在聚合中搜索时使用机器学习推断,并即时获取结果-实时获取最新数据。现在,你始终可以期待新的模型,.

2020-10-15 14:55:13 429

翻译 Elasticsearch:聚合所有内容:Elasticsearch 7 中的新聚合

自 1.0 版以来,聚合框架一直是 Elasticsearch 重要的一部分,多年来,它进行了优化,修复,甚至进行了一些大修。自Elasticsearch 7.0 版本以来,Elasticsearch 中已添加了许多新的聚合,例如 rare_terms,top_metrics 或 auto_date_histogram 聚合。在此博客文章中,我们将探索其中的一些,并仔细研究它们可以为你做什么。为了测试这些新的aggs,我们将在 Elasticsearch 7.9 部署中设置样本数据集。以下文档可能代表电

2020-10-14 09:48:52 679

原创 Elasticsearch:Serial Differencing aggregation 介绍

在之前的教程 “Elasticsearch:pipeline aggregation 介绍” 中,我介绍了一种 pipeline aggregation。里面有介绍一种叫做 derivative aggregation 的。先前的 derivative 可视化将存储桶与相邻存储桶进行了比较,这是日常有用的观察。 但是这些存储桶仅将一天与第二个存储桶进行比较,理想情况下,我们可能希望比较一周中某一天的存储桶,例如比较一个星期一与下一个星期一。 为此,我们将需要使用 Serial Diff 管道聚合。在实际的应

2020-10-13 11:53:20 234

原创 Kibana:treemap 可视化介绍

treemap 提供了数据的层次结构视图,非常适合可视化部分与整体关系。在 treemap 之前,我们可以通过 Pie 可视化来表达这种关系,但是不是非常直接,明了。treemap 是 Elastic 7.8 发行版的一个新的功能,只在 Lens 里提供。在今天的文章中,我们来展示如果创建一个 treemap 的可视化。准备数据在今天的教程中,我们将使用 Kibana 自带的索引来进行展示。打开 Kibana 界面:点击 Add data:这样我们的样本数据就导入进..

2020-10-11 21:35:19 263

原创 Elasticsearch:通过 shrink API 减少 shard 数量来缩小 Elasticsearch 索引

通过使用 Shrink API 使用更少的主碎片来调整 Elasticsearch 索引的大小。在 Elasticsearch 中,每个索引都包含多个分片,而 Elasticsearch 集群中的每个分片都有助于使用cpu,内存,文件描述符等。这无疑有助于并行处理的性能。 以时间序列数据为例,你将对带有当前日期的索引进行大量读写。如果该索引下降了请求,并且仅时不时地从该索引中读取数据,那么我们不再需要那么多分片,并且如果我们有多个索引,它们可能会建立并占用大量的计算能力。对于要减少索引大小的情况,可

2020-10-10 21:55:33 601

原创 Elasticsearch:如何调试集群状态 - 定位错误信息

针对 Elasticsearch 集群时,我们可以通过如下的 _cluster/health 命令来查询集群的状态:GET _cluster/health在正常的情况下,它会显示健康的状态,也就是绿色。关于监控的颜色的描述,我们可以参考我之前的文章 “Elasticsearch中的一些重要概念:cluster, node, index, document, shards及replica”。但是当我们的集群有没有被分配的 shard,或者数据有缺失,那么它的状态就会显示为黄色或者红色。上面的命令返回

2020-10-09 10:31:37 1280 1

原创 Elasticsearch:Split index API - 把一个大的索引分拆成更多分片

在我们实际使用 Elasticsearch 时,随着时间的推移,我们会发现有扩容的必要。这个可能由于我们在刚开始创建项目认识不足。我们需要更多的 primary shards,这样可以提高 ingest 的速度。那么我们有什么办法来把之前的一个大的索引变成更多的小的索引呢?这个答案就是 split index API。它的基本用法如下:POST /my-index-000001/_split/split-my-index-000001{ "settings": { "index.numb

2020-10-08 11:41:21 692 5

原创 Elasticsearch:使用 alias 数据类型来遵循 ECS (Elastic Common Schema)

在很多的设计中,我们所采集的数据来自不同的数据源,从而导致数据字段名称的不一致。如果,我们在一开始就遵循 Elastic Common Schema,那么我们就不会有任何的问题。但是在实际的生产环境中,有可能在一开始我们就没有这么做,那我们该如何解决这个问题呢?比如我们有如下的两个数据:POST logs_server1/_doc/{ "level": "info"}POST logs_server2/_doc/{ "log_level": "info"}在上面的两个数据是来自

2020-10-04 11:16:04 269

images.tar.gz

Pictures for tutorials

2014-09-10

Ubuntu Core知识分享

介绍Ubuntu及其开发流程

2016-12-26

Ubuntu core introduction

介绍Ubuntu Core, snapcraft,Ubuntu Core安全,商店

2016-08-31

Scope开发介绍

在文档中介绍最新的在Ubuntu手机平台上的Scope开发知识

2015-06-29

Ubuntu上的HTML5开发

本文档介绍了如何在Ubuntu平台上开发HTML5的应用

2015-03-18

online account workshop

Ubuntu平台上的online account介绍

2015-02-03

Ubuntu手机介绍

介绍Canonical公司,Ubuntu手机平台,SDK。重点介绍Ubuntu手机平台上的Scope技术。

2015-01-16

Ubuntu应用开发

在这个文档中介绍如何在Ubuntu平台上开发应用

2015-01-04

Scope技术开发

这篇文章介绍了如何在Ubuntu平台上开发Scope。

2015-01-04

Elastic 中国社区官方博客的留言板

发表于 2020-01-02 最后回复 2020-08-03

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除