原创 Elastic:菜鸟上手指南

您们好,我是Elastic的刘晓国。如果大家想开始学习Elastic的话,那么这里将是你理想的学习园地。在我的博客几乎涵盖了你想学习的许多方面。在这里,我来讲述一下作为一个菜鸟该如何阅读我的这些博客文章。 我们可以按照如下的步骤来学习: 1)Elasticsearch简介:对Elasticse...

2020-02-25 20:01:55 20480 12

原创 Logstash: 如何创建可维护和可重用的 Logstash 管道

Logstash是一种开源数据处理管道,它从一个或多个输入中提取事件,对其进行转换,然后将每个事件发送至一个或多个输出。 一些Logstash实现可能具有多行代码,并且可能处理来自多个输入源的事件。 为了使此类实现更具可维护性,我将展示如何通过从模块化组件创建管道来提高代码的可重用性。 写这...

2020-02-29 10:54:12 515 0

转载 Elastic 安全 7.6.0 重磅发布

Elastic 安全 7.6 基于 Elastic Endpoint Security 和 Elastic SIEM 的优势构建而成,能通过统一界面实现卓越的可见性和威胁检测性能。此版本能在 SIEM 应用中自动完成集中型威胁检测,并提升 Windows 主机上的端点检测能力。通过 Elastic...

2020-02-29 09:46:41 607 0

原创 Beats:使用Elastic Stack监控RabbitMQ

RabbitMQ是一个开放源消息代理,创建于2007年以实现AMQP,并且在过去的十二年中,通过不断增加的插件列表,它已包括HTTP,STOMP,SMTP和其他协议。它也是Kafka的一个强劲的竞争者。在今天的文章中,我们将详述如何使用Elastic Stack来监控RabbitMQ。 Ra...

2020-02-27 20:23:58 853 0

原创 Beats:使用Elastic Stack对Nginx Web服务器监控

Nginx是一种非常流行的开源Web服务器,为全球数百万个应用程序提供服务。 Nginx仅次于Apache,这得益于它作为Web服务器的流行(它还可以充当反向代理,HTTP缓存和负载平衡器),以其有效地提供静态内容和整体性能的方式。 从操作和安全性的角度来看,Nginx处于应用程序体系结构的关键...

2020-02-27 11:46:24 1208 0

原创 Beats:Beats 入门教程 (二)

这篇文章是 “Beats 入门教程 (一)”的续篇。在上一篇文章张,我们主要讲述了Beats的一些理论方面的知识。在这篇文章中,我们将具体展示如何使用Filebeat及Metriceat把数据导入到我们的Elasticsearch并对他们进行分析。 安装Elastic Stack 对于我们...

2020-02-24 17:23:55 1932 4

原创 Beats:Beats 入门教程 (一)

在今天的这个教程里,我们来针对初学者如何快速地

2020-02-23 12:30:03 2357 0

原创 Beats:使用Elastic Stack对Redis监控

在今天的这篇文章中,我们将介绍如何使用Elastic来进行对Redis log的记录。 Redis是一个非常快速的NoSQL数据存储。 尽管它主要用作缓存,但它可以应用于各种形式,例如图形表示和搜索。 客户端库可使用所有主要的编程语言提供,并且所有顶级云服务提供商均将其作为托管服务提供。 在过去...

2020-02-21 13:35:47 1152 0

原创 Elastic:如何在AWS上一步一步地安装Elastic Stack

Elastic Stack是用于日志聚合和分析的出色开源堆栈。它代表Elasticsearch(NoSQL数据库和搜索服务器),Logstash(日志传送和解析服务)和Kibana(将用户与Elasticsearch数据库连接并为系统操作用户启用可视化和搜索选项的Web界面)。随着庞大的开源社区,...

2020-02-20 11:17:31 952 0

原创 Elastic:使用Kafka部署Elastic Stack

在今天的文章中,我来讲述如何使用Kafka来部署Elastic Stack。下面是我们最常用的一个Elastic Stack的部署方案图。 在上面我们可以看出来Beats的数据可以直接传入到Elasticsearch中,但是我们也可以看到另外一条路径,也就是Beats的数据也可以传入到Kaf...

2020-02-18 14:55:40 792 0

转载 Elastic:Elastic Stack 7.6.0 重磅发布

我们非常兴奋地宣布 Elastic Stack 7.6 正式发布了。此版本借助新推出的 SIEM 检测引擎和与MITRE ATT&CK™ 知识库相相匹配的精选检测规则集,简化了自动威胁检测过程;提升了 Elasticsearch 的性能;通过“采集时推理”功能让用户更轻松地一站式完成监督型...

2020-02-18 08:42:52 1028 0

原创 Logstash:使用ELK堆栈进行API分析

通过API提取数据并不是ELK Stack用户最常见的用例之一,但这种情况对于有些案例非常有用。 例如,使用REST API包装其数据库服务的开发人员可能对出于商业智能目的而分析此数据感兴趣。在今天的文章中,我们来讲述如何使用ELK堆栈来对一个Service API来进行分析。 无论出于何种原因...

2020-02-17 17:51:46 838 0

转载 Elasticsearch:如何使用 Elasticsearch 6.2 搜索中文、日语和韩语文本 - 第 3 部分:语言检测工具

这是我有关中文、日语和韩语文本搜索的系列文章的第 3 部分。如果您还没有阅读有关分析工具的第 1 部分,您可能希望先阅读这一部分。如果您已阅读完第 1 部分,如何使用 Elasticsearch 6.2 搜索中文、日语和韩语文本 - 第 2 部分:多字段介绍了通过多字段对以多种语言编写的文档进行索...

2020-02-15 13:04:51 573 0

转载 Elasticsearch:如何使用 Elasticsearch 6.2 搜索中文、日文和韩文文本 - 第 2 部分: 多字段

如何使用 Elasticsearch 6.2 搜索中文、日文和韩文文本 - 第 1 部分: 分析工具谈到了搜索以多种语言编写的文档的相关问题以及有关语言分析工具的问题。 现在我们看一下使用单字段对多语言文档进行索引时的相关问题,以及如何使用多字段解决这一问题。 文本节选自https://www.p...

2020-02-15 13:02:04 573 0

转载 Elasticsearch:如何使用 Elasticsearch 6.2 搜索中文、日文和韩文文本 - 第 1 部分: 分析工具

共有 92 个国家和地区的代表队参加了去年的平昌冬奥会。 共有 49 个国家和地区的代表队参加了去年的平昌冬季残奥会。 Elastic 的员工遍布全球 34 个国家/地区。 在很多国家/地区内,很多人都会使用自己的母语撰写邮件。 现在,您希望通过韩语关键字“올림픽대회”来搜索一封邮件。 http...

2020-02-15 12:12:25 636 0

原创 Elastic:Elasticsearch 的分片管理策略

在本教程中,我们介绍了一些与Elasticsearch中的分片管理相关的常见问题,其解决方案以及一些最佳实践。 在某些用例中,我们结合了特殊的技巧来完成任务。 将Shard从一个节点移动到另一个节点 当处理任何大小的集群时,这是最常见的用例之一。 一个典型的场景是,如果在一个节点上共存了太...

2020-02-13 17:27:38 902 0

原创 Elastic:使用Grafana监视 Elasticsearch

在本教程中,我们将通过导入现有社区仪表板以及其他自定义项,使用Grafana监视Elasticsearch集群。 安装Grafana 在Mac OS上安装 我们可以按照链接https://grafana.com/docs/grafana/latest/installation/mac...

2020-02-13 12:10:38 1299 0

原创 Logstash:input plugin 介绍

Logstash附带了许多input,codec,filter和output插件,可用于从各种应用程序,服务器和网络通道中检索,转换,过滤和发送日志和事件。如果大家对Logstash还没有初步的了解,请参阅我之前的文章: 如何安装Elastic栈中的Logstash Logstash:Data...

2020-02-11 19:08:18 980 0

原创 Elasticsearch:language ingest processor

当我们把我们的文档导入到Elasticsearch中,有时我们希望知道所输入的语言是什么?我们甚至可以针对不同的语言来做不同的处理。那么我们有什么方法呢? Elastic的Alexander Reelsen,也就是我的同事,写了一个叫做Langdetect Ingest Plugin。这个plu...

2020-02-10 19:58:40 731 0

原创 Elasticsearch:在Elasticsearch中的join数据类型父子关系

在关系数据库中,子表使用外键引用父表,这种关系称为join。 设计通常涉及规范化数据。 ElasticSearch不是关系数据库,它全与搜索效率而不是存储效率有关。 存储的数据已被去规范化并且几乎是平坦的。 这意味着join不能跨索引,Elasticsearch的重点在于速度,而传统join的运行...

2020-02-09 17:26:23 1327 0

原创 Elasticsearch:Painless scripting 高级编程

在之前的文章中,我介绍了Painless 脚本编程,并提供了有关其语法和用法的详细信息。 它还涵盖了一些最佳实践,例如,为什么使用参数,何时访问文档字段时何时使用“doc”值而不是“ _source”以及如何动态创建字段等。 之前的文章: Elasticsearch:Painless scri...

2020-02-08 14:05:52 1161 0

原创 Elasticsearch:Painless scripting

Painless使用类似于Groovy的Java样式语法。实际上,大多数Painless脚本也是有效的Groovy,而简单的Groovy脚本通常是有效的Painless脚本。 (本规范假定您至少对Java和相关语言有一定的了解。) Painless本质上是Java的子集,具有一些其他脚本语言功能...

2020-02-07 13:49:55 962 0

原创 Logstash:使用Logstash将电子邮件导入到Elasticsearch

有没有一种简单的方法可以将电子邮件索引到Elasticsearch? Logstash是答案。 Logstash是一个开放源代码的服务器端数据处理管道,它同时从多个源中提取数据,进行转换,然后将其发送到您喜欢的“存储(stash)”中。 在这里,“存储(stash)”是指诸如Elasticsear...

2020-02-06 21:09:19 971 0

原创 Elasticsearch:Elasticsearch HQ 介绍

ElasticSearch HQ(http://www.elastichq.org)是一个监视和管理应用程序,它同时管理实例和集群。 这是一个开源解决方案,对于私人和商业用途都是免费的。它的官方文档网址为http://docs.elastichq.org/。 这个应用是一个python的项目。按...

2020-02-05 19:34:01 1048 0

原创 Elasticsearch: Cerebro 用户界面介绍

Cerebro是以前的Elasticsearch插件Elasticsearch Kopf的演变(https://github.com/lmenezes/elasticsearch- kopf)–这不适用于 Elasticsearch版本5.x或更高版本,这是由于删除了site plugins。 ...

2020-02-05 15:23:10 1218 0

原创 Elasticsearch:如何对PDF文件进行搜索

Elasticsearch通常用于为字符串,数字,日期等类型的数据建立索引。但是,如果要直接为.pdf或.doc等文件建立索引并使其可搜索该怎么办?在HCM,ERP和电子商务等应用程序中有这种实时用例的需求。 在今天的这篇文章中我们来讲一下如何实现对.pdf或.doc文件的搜索。本解决方案使用于...

2020-02-04 17:11:25 1715 0

转载 Elastic Cloud on Kubernetes (ECK) 1.0 现已正式发布

今天,我们非常自豪地宣布,Elastic Cloud on Kubernetes (ECK) 公测版的测试工作已经结束,现在正式发布!使用 ECK,用户现在可以在 Kubernetes 上无缝部署、管理和操作 Elastic Stack。请访问我们的 ECK 产品页了解详情,或下载 ECK 开始使...

2020-02-03 09:33:28 867 0

原创 Elasticsearch:运用 shard_size 来提高term aggregation的精度

请求的大小(size)越大,结果将越准确,但计算最终结果的成本也将越高(这两者都是由于在分片级别上管理的优先级队列更大,并且节点和客户端之间的数据传输也更大)。 shard_size参数可用于最大程度地减少请求的大小带来的额外工作。 定义后,它将确定协调节点将从每个分片请求多少个术语。 一旦所有...

2020-02-02 09:32:05 1331 0

原创 Elasticsearch:正确使用regexp搜索

Regular Expressions搜索也即正则搜索是非常耗时的。正则表达式是一种使用placeholder(称为运算符)匹配数据中的模式的方法。 有关regexp查询支持的运算符的列表,请参阅Regular expression syntax。 在今天的文章中,我们来简单介绍如何正确使用re...

2020-02-01 17:54:33 978 0

原创 Elasticsearch:分布式计分

Elasticsearch提供了一个最重要的功能就是相关性。它可以帮我们按照我们搜索的条件进行相关性计算。每个文档有一个叫做_score的分数。在默认没有sort的情况下,返回的文档时按照分数的大小从大到小进行排列的。这个分数的计算是按照如下的三个条件来进行计算的: 1) Term Freque...

2020-02-01 14:37:18 971 0

提示
确定要删除当前文章?
取消 删除