• 博客(26)
  • 资源 (9)
  • 论坛 (1)
  • 收藏
  • 关注

原创 Logstash:把 MySQL 数据导入到 Elasticsearch 中

在今天的这篇文章中,我们来讲述一下如何把一个MySQL的数据库导入到 Elasticsearch中并对数据进行分析。安装在今天的这个练习中,我们需要使用到MySQL数据。在做这个练习之前,我假设我们已经安装好自己的Elasticsearch及Kibana。如果没有安装,请参照我如下的文章进行安装:安装 Elasticsearch。请参阅文章“如何在Linux,MacOS及Wind...

2019-09-29 18:33:35 2361 9

原创 Beats:运用 Filebeat module 分析 nginx 日志

在之前的文章中,我介绍了如何使用Filebeat把一个日志文件直接写入到Elasticsearch中,或通过Logstash的方法写到Elasticsearch中。在今天的文章中,我们来介绍如何运用Filebeat模块来把nginx日志导入到Elasticsearch中,并进行分析。Filebeat模块为您提供了一种快速处理常见日志格式的快速方法。 它们包含默认配置,Elasticsearch...

2019-09-28 12:53:19 4165

原创 Elasticsearch:fuzzy 搜索 (模糊搜索)

在实际的搜索中,我们有时候会打错字,从而导致搜索不到。在Elasticsearch中,我们可以使用fuzziness属性来进行模糊查询,从而达到搜索有错别字的情形。match查询具有“fuziness”属性。它可以被设置为“0”, “1”, “2”或“auto”。“auto”是推荐的选项,它会根据查询词的长度定义距离。Fuzzy query返回包含与搜索词相似的词的文档,以Levens...

2019-09-24 15:55:00 3710

原创 Beats:Elastic Beats 介绍

ElasticStack传统上由三个主要组件(Elasticsearch,Logstash和Kibana)组成,早已脱离了这种组合,现在也可以与名为“ Beats”的第四个元素结合使用--一个针对不同用例的日志运送者系列。 现在网上有一种说法叫做ELKB,这里的B就是指的beats.本教程为刚刚熟悉堆栈的用户提供了指南,并提供了开始使用不同节奏的信息-Filebeat,Packetbeat,M...

2019-09-23 17:35:08 2215

原创 Elasticsearch:运用 search_after 来进行深度分页

在上一篇文章 “Elasticsearch:运用scroll接口对大量数据实现更好的分页”,我们讲述了如何运用scroll接口来对大量数据来进行有效地分页。在那篇文章中,我们讲述了两种方法:from加上size的方法来进行分页 运用scroll接口来进行分页对于大量的数据而言,我们尽量避免使用from+size这种方法。这里的原因是index.max_result_window的默认值是1...

2019-09-19 21:58:39 4697 31

原创 Elasticsearch:运用 scroll 接口对大量数据实现更好的分页

在Elasticsearch中,我们可以通过size和from来对我们的结果来进行分页。但是对于数据量很大的索引,这是有效的吗?Scroll API可用于从单个搜索请求中检索大量结果(甚至所有结果),这与在传统数据库上使用cursor的方式非常相似。Scroll不是用于实时用户请求,而是用于处理大量数据,例如,用于处理大量数据。 为了将一个索引的内容重新索引到具有不同配置的新索引中。为了说明问...

2019-09-19 17:11:08 1779 8

原创 Logstash:多个配置文件(conf)

在前面的一篇文章“Logstash:处理多个input”中,我们介绍了如何使用在同一个配置文件中处理两个input的情况。在今天这篇文章中,我们来介绍如何来处理多个配置文件的问题。对于多个配置的处理方法,有多个处理方法:多个pipeline 一个pipleline处理多个配置文件一个pipeline含有一个逻辑的数据流,它从input接收数据,并把它们传入到队列里,经过worker...

2019-09-18 20:47:31 4921 2

原创 Logstash:处理多个 input

我们知道Logstash的架构如下:它的整个pipleline分为三个部分:input插件:提取数据。 这可以来自日志文件,TCP或UDP侦听器,若干协议特定插件(如syslog或IRC)之一,甚至是排队系统(如Redis,AQMP或Kafka)。 此阶段使用围绕事件来源的元数据标记传入事件。 filter 插件:插件转换并丰富数据 output插件: 将已处理的事件加载到其...

2019-09-18 16:39:51 2740 2

原创 Elastic:用 Docker 部署 Elastic Stack

在之前的文章“如何在Linux,MacOS及Windows上进行安装Elasticsearch”,我介绍了如何通过安装包或者下载的压缩文件来进行安装Elasticsearch。在今天的文章里,我们来详细介绍如何使用docker来进行安装Elastic栈。安装因为我们需要使用docker来进行安装,我们必须安装:docker:根据不同的操作系统,请按照要求安装docker。可...

2019-09-17 14:20:02 3657 8

原创 Logstash:Data转换,分析,提取,丰富及核心操作

在今天的这篇文章中,着重介绍Logstash在数据转换,分析,提取及核心操作方便的内容。首先,希望大家已经按照我之前的文章 “如何安装Elastic栈中的Logstash”把Logstash安装好。Logstash数据源我们知道Logstash可以在很多的应用场景中使用。它有各种各样的数据源,比如:这些数据丰富多彩。为了能够让这些数据最终能进入到Elastic...

2019-09-15 21:26:19 2919 4

原创 Beats:通过 Filebeat 把日志传入到 Elasticsearch

我们知道Elastic Stack被称之为ELK (Elasticsearch,Logstash and Kibana)。由于beats的加入,现在很多人把ELK说成为ELKB。这里的B就是代表Beats。Beats在Elasticsearch中扮演很重要的角色。从上面的图上,我们可以看出来,Beats可以帮我们采集数据,并把它传入到Elasticsearch或Logstash之中。Bea...

2019-09-12 08:55:35 10727 26

原创 Logstash:把 Apache 日志导入到 Elasticsearch

在之前的文章“Logstash: 应用实践 - 装载CSV文档到Elasticsearch”中,我们已经讲述了如果把一个CSV格式的文件的数据传入到Elasticsearch之中,今天我们来讲述一下如何把一个Apache log的内容传入到Elasticsearch之中。在进行这个练习之前,大家已经按照我之前的文章“如何安装Elastic栈中的Logstash”把Logstash安装好了。并且...

2019-09-11 16:24:37 2016 12

原创 Elasticsearch:Pinyin 分词器

Elastic的Medcl提供了一种搜索Pinyin搜索的方法。拼音搜索在很多的应用场景中都有被用到。比如在百度搜索中,我们使用拼音就=可以出现汉字:对于我们中国人来说,拼音搜索也是非常直接的。那么在Elasticsearch中我们该如何使用pinyin来进行搜索呢?答案是我们采用Medcl所创建的elasticsearch-analysis-pinyin分析器。下面我们简单介绍一下如何进...

2019-09-10 14:56:24 1829

原创 Logstash:用 Filebeat 把数据传入到 Logstash

在今天的讲座里,我们来讲述一下如何把Filebeat里的数据传入到Logstash之中。在做这个练习之前,我想信大家已经安装我之前的文章“如何安装Elastic栈中的Logstash”把Logstash安装好。之前,我们介绍了一这样的一幅图:如上图所示,我们可以直接把beats里的数据直接传入到Elasticsearch,也可以直接接入到Logstash之中。数据采集流程:...

2019-09-10 09:30:41 4446

原创 Logstash: 应用实践 - 装载 CSV 文档到 Elasticsearch

在进行我们这个实践之前,相信大家已经安装好自己的Logstash环境。如果大家还没安装好Logstash,可以参照我之前的文章“如何安装Elastic栈中的Logstash”。Logstash到底是做什么的?我们先看一下如下的图:简单地说,Logstash就是位于Data和Elasticsearch之间的一个中间件。Logstash是一个功能强大的工具,可与各种部署集成...

2019-09-09 11:48:42 1050

原创 Elasticsearch: Painless script 编程

我们之前看见了在Elasticsearch里的ingest node里,我们可以通过以下processor的处理帮我们处理我们的一些数据。它们的功能是非常具体而明确的。那么在Elasticsearch里,有没有一种更加灵活的方式可供我们来进行编程处理呢?如果有,它使用的语言是什么呢?在Elasticsearc中,它使用了一个叫做Painless的语言。它是专门为Elasticsearch而建立...

2019-09-06 18:43:33 3717 1

原创 Elasticsearch:Dynamic mapping

Elasticsearch最重要的功能之一是它试图摆脱你的方式,让你尽快开始探索你的数据。 要索引文档,您不必首先创建索引,定义映射类型和定义字段 - 您只需索引文档,那么index,type和field将自动生效。比如:PUT data/_doc/1 { "count": 5 }上面的命令将自动帮我们生成一个叫做data的index,并同时生成一个叫做_doc的type及一个叫做co...

2019-09-05 16:25:22 1006 6

原创 Elasticsearch:search template

我们发现一些用户经常编写了一些非常冗长和复杂的查询 - 在很多情况下,相同的查询会一遍又一遍地执行,但是会有一些不同的值作为参数来查询。在这种情况下,我们觉得使用一个search template(搜索模板)来做这样的工作非常合适。搜索模板允许您使用可在执行时定义的参数定义查询。Search template的好处是:避免在多个地方重复代码 更容易测试和执行您的查询 在应用程序间共享查...

2019-09-05 14:10:13 1275 2

原创 Elasticsearch: Index template

Index template定义在创建新index时可以自动应用的settings和mappings。 Elasticsearch根据与index名称匹配的index模式将模板应用于新索引。这个对于我们想创建的一系列的Index具有同样的settings及mappings。比如我们希望每一天/月的日志的index都具有同样的设置。Index template仅在index创建期间应用。 对...

2019-09-05 11:50:58 1777 2

原创 Elasticsearch:设置 Elastic 账户安全

我们知道Elastic安全是非常重要的。没有这个我们的数据可以被任何的人进行访问,串改,删除。Elastic Stack的安全是由x-pack所提供的。在Elastic Stack 7.0版本之前,这个是商用的版本,需要进行安装,并购买。从Elastic Stack 7.0之后,x-pack都已经在发布版中,所以不需要进行安装。我们只需要进行配置就可以了。在今天的这篇文章中,我们来详细介绍如何...

2019-09-04 23:23:50 4754 1

原创 Elasticsearch: Reindex 接口

在我们开发的过程中,我们有很多时候需要用到Reindex接口。它可以帮我们把数据从一个index到另外一个index进行重新reindex。这个对于特别适用于我们在修改我们数据的mapping后,需要重新把数据从现有的index转到新的index建立新的索引,这是因为我们不能修改现有的index的mapping一旦已经定下来了。在接下来的介绍中,我们将学习如何使用reindex接口。为了...

2019-09-04 09:36:29 1059 17

原创 Elasticsearch: Ngrams, edge ngrams, and shingles

Ngrams和edge ngrams是在Elasticsearch中标记文本的两种更独特的方式。 Ngrams是一种将一个标记分成一个单词的每个部分的多个子字符的方法。 ngram和edge ngram过滤器都允许您指定min_gram以及max_gram设置。 这些设置控制单词被分割成的标记的大小。 这可能令人困惑,让我们看一个例子。 假设你想用ngram分析仪分析“spaghetti”这个词,...

2019-09-03 22:53:25 916 5

原创 Elasticsearch: analyzer

如果大家之前看过我写的文章“开始使用Elasticsearch (3)”,在文章的最后部分写了有关于analyzer的有关介绍。在今天的文章中,我们来进一步了解analyzer。 analyzer执行将输入字符流分解为token的过程,它一般发生在两个场合:在indexing的时候,也即在建立索引的时候 在searching的时候,也即在搜索时,分析需要搜索的词语什么是analysis...

2019-09-03 11:08:09 2777 4

原创 Elasticsearch:Index alias

现在让我们来谈谈Elasticsearch最简单和最有用的功能之一:别名 (alias)。为了区分这里alias和文章“Elasticsearch : alias数据类型”,这里的别名(alias)指的是index的别名。别名正是他们听起来的样子; 它们是您可以使用的指针或名称,对应于一个或多个具体索引。 事实证明这非常有用,因为它在扩展集群和管理数据在索引中的布局方式时提供了灵活性。 即使使用...

2019-09-02 15:27:40 1147 6

原创 Elasticsearch : alias 数据类型

就像其他的很多语言一样,我们可以给已有的变量取一个别名(alias)。即便是对高级语言一样,比如我们定义不同的指针变量,指向同一个内存空间。这个有些类似别名的概念。在Elasticsearch中,我们也可以为index中的一个字段(field)取一个另外的名字:它可以用来代替搜索请求中的目标(target)字段 以及其它的被选定的API中通常alias可以用来帮助我们重新命名一个字段,...

2019-09-02 12:52:42 2907

原创 Elasticsearch: Join 数据类型

在Elasticsearch中,Join可以让我们创建parent/child关系。Elasticsearch不是一个RDMS。通常join数据类型尽量不要使用,除非不得已。那么Elasticsearch为什么需要Join数据类型呢?在Elasticsearch中,更新一个object需要root object一个完整的reindex:即使是一个field的一个字符的改变 即便是nest...

2019-09-01 01:13:09 1309

Ubuntu Core知识分享

介绍Ubuntu及其开发流程

2016-12-26

images.tar.gz

Pictures for tutorials

2014-09-10

Ubuntu core introduction

介绍Ubuntu Core, snapcraft,Ubuntu Core安全,商店

2016-08-31

Ubuntu上的HTML5开发

本文档介绍了如何在Ubuntu平台上开发HTML5的应用

2015-03-18

Ubuntu应用开发

在这个文档中介绍如何在Ubuntu平台上开发应用

2015-01-04

Scope开发介绍

在文档中介绍最新的在Ubuntu手机平台上的Scope开发知识

2015-06-29

Ubuntu手机介绍

介绍Canonical公司,Ubuntu手机平台,SDK。重点介绍Ubuntu手机平台上的Scope技术。

2015-01-16

Scope技术开发

这篇文章介绍了如何在Ubuntu平台上开发Scope。

2015-01-04

online account workshop

Ubuntu平台上的online account介绍

2015-02-03

Elastic 中国社区官方博客的留言板

发表于 2020-01-02 最后回复 2020-08-03

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除