• 博客(25)
  • 资源 (9)
  • 论坛 (1)
  • 收藏
  • 关注

原创 Beats:为 Beats => Logstash => Elasticsearch 架构创建 template 及 Dashboard

前一段时间有一个开发者私信我说自己的 Beats 连接到 Logstash,然后连接到 Elasticsearch。等数据在 Elasticsearch 中收集完后,发现 Kibana 中的 Dashboard 不能被使用。数据类型不匹配。这个到底是什么原因呢?Beats 为我们的数据导入带来了极大的方便。目前在 Elastic Stack 的架构中:我们可以通过如下的三种路径吧数据导入到 Elasticsearch 中:Beats ==> Elasticsearch Beats

2021-03-31 09:43:46 3576 5

原创 Logstash:Pipeline-to-Pipeline 通信 - 一个实例处理多种日志

使用 Logstash 的多管道功能时,你可能需要在同一 Logstash 实例中连接多个管道(Pipeline)。 此配置对于隔离这些管道的执行以及有助于打破复杂管道的逻辑很有用。 管道 input/output 启用了本文档后面讨论的许多高级体系结构模式。如果需要在 Logstash 实例之间设置通信,请使用 Logstash 到 Logstash 的通信,或使用中间队列,例如 Kafka 或 Redis。配置总揽使用 pipeline input 和 pipeline output .

2021-03-30 17:07:05 848

原创 Logstash:使用 Metricbeat 监控 Logstash

在之前的文章 “Logstash: 启动监控及集中管理” ,我详细地描述了如果使用 Elasticsearch 自监控 Logstash。在今天的练习中,我们演习以前的文章: Elastic:监控 Elasticsearch 及 Kibana Elastic:监控 Beats 及 APM Server 我将使用 Metricbeat 来对 Logstash 进行监控。我将使用 “Logstash: 启动监控及集中管理” 文章中的例子来进行展示。在进行 Logstash 的监视之前,我们必

2021-03-29 15:34:14 603

原创 Beats:如何启动 Metricbeat 中的 MySQL 模块 - query Metricset

在我做之前的教程 “Observability:Elastic Metrics 应用介绍”,我发现当我尝试启动 MySQL 模块中的 query metricset 会出现错误。之后我发现官方文档也缺少相应的资料。在今天的文章中,我将介绍如上启动这个 metricset。在使用这个 metricset 时需要做相应的配置。在开始之前,如果你对 Beats 模块的启动还不是很清楚的话,请参阅我之前的文章:Beats:Beats 入门教程 (一) Beats:Beats 入门教程 (二)简单地说,我们需

2021-03-29 13:38:52 281 1

原创 Elastic:如何为机器学习异常发送通知

我们知道对于可观察性数据而言,有超过75%的数据其实是没有用的。对数据来说,我们光采集上来是不够的。面对大量的数据,我们希望从这些海量的数据中发现事件,也就是不同于平常的事件。我们光用人眼来观察是不够的。我们可以借助 Elastic Stack 所提供的机器学习来对数据进行分析,并生产事件。如果大家对于如何使用机器学习还不是很熟的话,请参阅我之前的文章 “Elastic:机器学习的原理及实践 - single metric job”。即便如此,通过机器学习的方法得到了异常的事件,但是如果不能及时反馈到监控.

2021-03-25 15:42:58 1242

转载 Elastic 7.12 版重磅发布:读时模式、冻结层技术预览版和自动扩展功能正式发布

我们非常高兴地宣布 Elastic 7.12 版正式发布。这一新版本为基于 Elastic Stack(包括 Elasticsearch 和 Kibana)构建的 Elastic 企业搜索、可观测性和安全解决方案带来了大量新功能。在这个版本中,客户能够通过读时模式,在无与伦比的灵活性和速度之间进行权衡选择,可使用新的冻结层实现对象存储的完全可搜索,从而获取新的价值,还能在 Elastic Cloud 上自动扩展部署。Elastic 企业搜索得益于大量架构的增强功能,这些增强可减少部署规模、加快导入索引的

2021-03-25 09:29:18 325

翻译 Elasticsearch:增加 Elasticsearch 写入吞吐量和速度的完整指南

你可以使用多种策略来增加批处理作业和/或在线交易的 Elasticsearch 写容量。在过去的几年中,在写入容量方面,我遇到了瓶颈,并在不同的 ES 群集上犯了许多错误。 尤其是其中一项要求是写入具有严格 SLA 的实时索引以进行读取操作时。如果你在生产环境中使用 Elasticsearch,很可能你也已经遇到了这些问题,甚至可能犯了一些与过去相同的错误!我认为,对 ES 如何在幕后工作的总体概述有一个清晰的了解,当你试图从系统中获得最佳性能时,这将大有帮助,因此,让我们开始吧。简单来说,El

2021-03-24 09:57:48 489

原创 Elastic:监控 Beats 及 APM Server

在之前的文章 “Elastic:监控 Elasticsearch 及 Kibana” 中,我已经描述了如何监控 Elasticsearch 及 Kibana。在今天的文章中,我将来详述如何来监控 Beats, Logstash 以及 APM。它们的原理基本相同,都是使用 Metricbeat 来对它们进行监控。如果你对测试的环境和配置不是很熟悉的话,请阅读上一篇文章 “Elastic:监控 Elasticsearch 及 Kibana”。所有 Beats 默认都使用端口 5066 进行监视,因此,如果要

2021-03-23 16:20:36 904

原创 Elastic:监控 Elasticsearch 及 Kibana

一个稳定的 Elastic Stack 集群对于数据的实时采集,处理及查询非常重要。我们可以使用一个专有的 Elasticsearch 集群来监视一个生产环境的 Elasticsearch 集群。在之前的文章 “Beats:通过 Metricbeat 实现外部对 Elastic Stack 的监控”,我已经讲述了如何对 Elasticsearch 进行监控。在今天及以后的几篇文章中,我将详细讲述如何来对 Elastic Stack 的各个软件栈进行监控。尽管我们可以使用把 Elasticsearch 自己的

2021-03-22 17:27:48 2518 6

原创 Observability:Elastic Logs 应用介绍

在 Kibana 中有一个叫做 Logs 的应用。它为我们的日志的可观测性提供了良好的可操控性。在今天的文章中,我来介绍如何使用这个应用。在今天的展示中,我采用了如下的架构来收集不同机器的日志:在上面的不同机器中,我启动了不同的模块。比如在 liuxgu 上,我启动了 nginx 及 system 模块。如果你对 Filebeat 还不是很熟悉如何采集日志的话,那么请参阅我之前的文章:Beats:Beats 入门教程 (一) Beats:Beats 入门教程 (二) Beats:使用 El.

2021-03-18 16:27:28 2095 6

原创 Beats:如何测试 Beats processors

在之前的 “Beats:Beats processors” 文章中,我详细地描述了如何使用 Beat 的 processors 对数据进行清洗。在很多情况下它是非常有用的一种方法。Beats 的 processors 有很多在 ingest pipeline 的 processors 中以及 Logstash 的过滤器中都有相应的实现。针对 ingest pipeline,我们可以使用Simulate pipeline API 来进行测试,而对于 Logstash 它也有一个很好的方法就是直接输出到 ...

2021-03-17 17:17:00 877 1

原创 Observability:Elastic Metrics 应用介绍

在这篇文章中,我将介绍如何使用 Elastic 所提供的 Metrics 应用来展示可观测性。Metric 应用是在 Kibana 中集成的一个应用,也是一个开箱即用的工具。在今天的展示中,我将使用三台机器来收集指标。我的配置如下:在你们自己的练习中,你们可以根据自己的机器或者容器的多少来构建自己的配置。在这里必须指出来的是针对所有的指标,有且只有一个 Metrics 应用来展示所有的指标。在上面,我在 MacOS 中安装了 Elasticsearch, Kibana,以及 Metricb.

2021-03-15 19:19:10 981

转载 Elastic:许可协议变更澄清

作者Shay Banon关于最近对 Elasticsearch 和 Kibana 的许可变更,我们有几个问题需要澄清,虽然我们一直在更新常见问答,但我们还是想说明一下哪些用户会受到本次变更的影响:我们的本地部署客户或 Elastic Cloud 客户不会受到影响。 我们绝大多数的用户不会受到影响。 那些采用我们的产品并直接将产品作为一项服务(如 Amazon Elasticsearch Service)对外出售的用户将会受到影响。如果您正在使用这些产品或在 Elasticsearch 和 K.

2021-03-15 08:56:17 255

转载 Elastic:隆重推出授权更加简单且宽松的 Elastic 许可 v2;SSPL 仍可选择使用

作者:Shay Banon我们之前曾宣布对 Elasticsearch 和 Kibana 的许可协议进行变更,将把根据 Apache 2.0 许可授权的源代码变更为采用 Elastic 许可 + SSPL 的双重授权许可模式。当时,我们还提到将与社区密切合作,开发出一个让授权更加简单且宽松的 Elastic 许可版本。我很高兴与大家分享我们取得的成果。Elastic 许可已经被广泛使用。目前,超过 90% 的软件下载使用的都是 Elastic 许可,这些用户享受到了免费开源的基础级服务提供的巨大附加价

2021-03-15 08:53:48 353

翻译 如何使用 Filebeat,ILM 和数据流跨多个索引管理 Elasticsearch 数据

索引是 Elasticsearch 的重要组成部分。 每个索引使你的数据集保持分离和有条理,从而使你可以灵活地以不同方式对待每个数据集,并使其在整个生命周期中都易于管理。 通过提供摄入方法和管理工具来简化流程,Elastic 可以轻松地充分利用索引。在本文中,我们将使用 Filebeat 将来自多个源的数据摄入到多个索引中,然后将使用索引生命周期管理(ILM)和数据流来进一步控制该数据。Filebeat 是什么?Filebeat 是一种轻量级的日志传送器,带有许多内置模块,用于从多个数据源.

2021-03-11 10:11:37 417 1

原创 Elasticsearch:同步 MongoDB 数据到 Elasticsearch

MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。MongoDB 是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。Elasticsearch 是一个高效强大的搜索引擎,通过 Elasticsearch 的高效搜索引擎,我们可以快速地搜索,我们也可以使用 Kibana 所提供的可视化为数据提供洞察。在今天的文章中,我将介绍如何把 MongoDB 里的数据同步到 Elasticsearch

2021-03-10 18:04:39 1214 3

原创 Elasticsearch:Elasticsearch-head - 用于浏览和与 Elasticsearch 集群进行交互的 Web 前端

Elasticsearch-head是 Web 前端,用于浏览和与 Elasticsearch 集群进行交互。它具有如下的一些功能:...

2021-03-09 10:15:23 315

原创 Elasticsearch:Elasticsearch 中索引映射的非规范化

在写这篇文章之前,我首先来讲一下 normlization (规范化)以及 denormalization (非规范化)两个概念的区别。Normalization (规范化):规范化是数据库中用于减少表中数据冗余和数据不一致的方法。 这是将非冗余和一致性数据存储在设置的架构中的技术。 通过使用规范化,表的数量增加而不是减少。Denormalization(非规范化):非规范化也是数据库中使用的方法。 它用于添加冗余以快速执行查询。 它是一种将数据组合起来以快速执行查询的技术。 通过使用非规范化,减.

2021-03-08 11:39:29 556 4

原创 Logstash:解析 JSON 文件并导入到 Elasticsearch 中

在今天的文章中,我们将详述如何使用 Logstash 来解析 JSON 文件的日志,并把它导入到 Elasticsearch 中。在之前的文章 “Logstash:Data转换,分析,提取,丰富及核心操作” 也有提到过,但是没有具体的例子。总体说来解析 JSON 文件的日志有两种方法:在 file input 里使用 JSON codec 在 file input 里不使用 JSON code,但是在 filter 的部分使用 JSON filter我们把 JSON 格式的数据解析并导入到 Elas

2021-03-05 11:01:21 853 3

原创 Logstash:使用 Logstash 导入 CSV 文件示例

在今天的文章中,我将展示如何使用 file input 结合 multiline 来展示如何导入一个 CSV 文件。针对 multiline,我在之前的文章 “运用 Elastic Stack 分析 Spring boot 微服务日志 (一)” 有讲到过。另外我也有两篇关于使用 Logstash 导入 CSV 的例子Logstash:应用实践 - 装载 CSV 文档到 Elasticsearch Logstash:导入 zipcode CSV 文件和 Geo Search 体验 针对 CSV

2021-03-04 19:41:39 569 2

原创 Elastic:使用 escli 命令行工具来管理 Elastic 集群

escli 是一个 npm 的开源工具。它可以用来管理 Elastic 集群。目前这个包还在开发之中。现有的一些功能如下:enable/;disable shard allocation several simple list of ES objects reallocate all shard from one node in the objective of kill it gracefully open/close indexes这个安装包的一些信息可以在地址https://www.np.

2021-03-04 13:26:55 350

原创 Logstash:如何处理 Logstash pipeline 错误信息

在我们使用 Logstash 的时候经常会出现一些错误。比如当我们使用 dissect 这样的 filter 时,会出现格式不匹配从而导致错误。那么我们该如何处理这类错误呢?当 dissect 遇到错误的格式不能进行解析时,会为文档添加一个叫做_dissectfailure 的标签,并继续处理该事件:那么我们该如何处理该类错误的信息呢?一种比较好的办法就是通过 elasticsearch output 把他存放于另外一个索引中。我们先用如下的例子来进行实验。dissect.confi.

2021-03-02 18:24:11 373

原创 Elasticsearch:定制分词器(analyzer)及相关性

在许多的情况下,我们使用现有的分词器已经足够满足我们许多的业务需求,但是也有许多的情况,我们需要定制一个特定的分词器来满足我们特定的需求。我们知道要实现全文搜索,在文档被导入到 Elasticsearch 后,每个字段都需要被分析。这里就涉及到分词。如果你对分词器还不是很了解的话,那么请参考我之前的文章 “Elasticsearch: analyzer”。一旦文档被导入到 Elasticsearch 之后,我们就可以对其中的字段进行搜索了。通常它会依据默认的 BM25 算法对每个文档的相关性进行打分。关

2021-03-02 12:07:13 839 2

原创 Elasticsearch:理解 mapping 中的 null_value

null 不能被索引或搜索。 当字段设置为 null(或空数组或 所有值为 null 值的数组)时,将其视为该字段没有值。使用 null_value 参数可以用指定的值替换显式的空值,以便可以对其进行索引和搜索。例子一PUT my-index-000001{ "mappings": { "properties": { "status_code": { "type": "keyword", "null_value": "N..

2021-03-01 17:36:32 536 2

原创 Elasticsearch:如何实现对 emoji 表情符号进行搜索

Elasticsearch 是一个应用非常广泛的搜索引擎。它可以对文字进行分词,从而实现全文搜索。在实际的使用中,我们会发现有一些文字中包含一些表情符号,比如笑脸,动物等等,那么我们该如何对这些表情符号来进行搜索呢????? => ????, light skin tone, skin tone, type 1–2???? => ????, medium-light skin tone, skin tone, type 3???? => ????, medium skin ton

2021-03-01 14:50:26 1430 10

images.tar.gz

Pictures for tutorials

2014-09-10

Ubuntu Core知识分享

介绍Ubuntu及其开发流程

2016-12-26

Ubuntu core introduction

介绍Ubuntu Core, snapcraft,Ubuntu Core安全,商店

2016-08-31

Ubuntu上的HTML5开发

本文档介绍了如何在Ubuntu平台上开发HTML5的应用

2015-03-18

Ubuntu应用开发

在这个文档中介绍如何在Ubuntu平台上开发应用

2015-01-04

Scope开发介绍

在文档中介绍最新的在Ubuntu手机平台上的Scope开发知识

2015-06-29

Ubuntu手机介绍

介绍Canonical公司,Ubuntu手机平台,SDK。重点介绍Ubuntu手机平台上的Scope技术。

2015-01-16

Scope技术开发

这篇文章介绍了如何在Ubuntu平台上开发Scope。

2015-01-04

online account workshop

Ubuntu平台上的online account介绍

2015-02-03

Elastic 中国社区官方博客的留言板

发表于 2020-01-02 最后回复 2020-08-03

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除