原创 Solutions:应用程序性能监控/管理(APM)实践

在今天的文章里,我们将介绍Elastic的一个重要的应用:应用程序性能管理(Application Performance Monitoring/Management),简称APM。那么到底什么是APM呢? 随着时代的发展,我们的IT架构越来越复杂,比如: 我们系统的服务器越来越多,而且更...

2019-10-31 22:04:51 1848 6

转载 Logstash:如何将数据采集到 Elasticsearch 服务

对于数据搜索和分析来说,Elasticsearch 无处不在。开发人员和社区可利用 Elasticsearch 寻找寻找各种各样的用例,从应用程序搜索和网站搜索,到日志、基础架构监测、APM和安全分析,不一而足。虽然现在有针对这些用例的免费解决方案,但是开发人员首先需要将其数据提供给 Elasti...

2019-10-30 10:02:58 458 0

原创 Elasticsearch:用户安全设置

Elastic Stack的组件是不安全的,因为它没有内置的固有安全性。 这意味着任何人都可以访问它。 在生产环境中运行Elastic Stack时,这会带来安全风险。 为了防止生产中未经授权的访问,采用了不同的机制来施加安全性,例如在防火墙后运行Elastic Stack并通过反向代理(例如ng...

2019-10-29 21:59:14 1170 0

原创 Elasticsearch:significant terms aggregation

在本文中,我们将重点关注significant terms和significant text聚合。这些聚合旨在搜索数据集中有趣和/或不寻常的术语,这些术语可以告诉您有关数据的隐藏属性的更多信息。此功能对于以下用例特别有用: 为用户查询标识包含同义词,首字母缩略词等的相关文档。例如,当用户搜索H1...

2019-10-29 15:03:09 433 0

原创 Elastic:机器学习的实践 - single metric job

在Elasticsearch中,可以将机器学习视为搜索和分析的自然扩展。它是对时间序列数据的分析。 Elasticsearch支持的机器学习功能可以通过运行metric任务来自动分析时间序列数据,该metric任务包含一个或多个定义了将要分析的字段的检测器。 它可以帮助我们识别单变量时间序列数据中...

2019-10-29 11:44:51 2485 1

原创 Elasticsearch:IK中文分词器

Elasticsearch内置的分词器对中文不友好,只会一个字一个字的分,无法形成词语,比如: POST /_analyze { "text": "我爱北京天安门", "analyzer": "standard&qu...

2019-10-28 09:21:09 1302 0

原创 Elasticsearch:Index 生命周期管理入门

如果您要处理时间序列数据,则不想将所有内容连续转储到单个索引中。 取而代之的是,您可以定期将数据滚动到新索引,以防止数据过大而又缓慢又昂贵。 随着索引的老化和查询频率的降低,您可能会将其转移到价格较低的硬件上,并减少分片和副本的数量。 要在索引的生命周期内自动移动索引,可以创建策略来定义随着索引...

2019-10-24 21:35:39 2536 0

原创 Elasticsearch: rollover API

rollover使您可以根据索引大小,文档数或使用期限自动过渡到新索引。 当rollover触发后,将创建新索引,写别名(write alias)将更新为指向新索引,所有后续更新都将写入新索引。 对于基于时间的rollover来说,基于大小,文档数或使用期限过渡至新索引是比较适合的。 在任意时间...

2019-10-21 21:55:59 972 7

原创 Elasticsearch:inverted index,doc_values及source

当我们学习Elasticsearch时,经常会遇到如下的几个概念: Reverted index doc_values source? 这个几个概念分别指的是什么?有什么用处?如何配置它们?只有我们熟练地掌握了这些概念,我们才可以正确地使用它们。 Inverted index i...

2019-10-19 22:03:51 814 0

原创 Elastic:如何在一个机器上同时模拟多个node

在我之前的文章“Elastic:用Docker部署Elastic栈”中,我介绍了如何使用Docker部署的方法在一个电脑中启动多个Docker来实现多个node的部署。在今天的文章中,我将用另外一种方法来模拟多个node的部署。在这种情况下,我们不使用docker。不过过千万要记住:尽管此配置对于...

2019-10-15 13:34:57 480 4

原创 Logstash:运用jdbc_streaming来丰富我们的数据

在IoT物联网时代,我们经常会遇到从传感器采集数据的情况。这些传感器,可以上传物联网数据,比如温度,湿度。通常这些传感器带有自己的ID,但是它并不具有像地理位置等这样的信息。当物联网数据传到我们的数据平台时,我们希望对采集上来的数据进行数据的丰富,比如我们对物联网的数据加上它所在的位置等信息,这将...

2019-10-10 12:40:22 631 2

原创 Elastic:Elastic部署架构介绍

Elastic Stack是一套完整的从数据采集,解析,分析,丰富,到搜索,检索,数据程序等一套完整的软件栈。在具体的实践中,我们应该如何搭建我们的系统呢? 下图描述了常用的Elastic Stack的部署架构: 该图描述了三种可能的体系结构: 将操作指标直接发送到Elasticsear...

2019-10-07 14:24:10 558 2

原创 Elasticsearch:Smart Chinese Analysis plugin

Smart Chinese Analysis插件将Lucene的Smart Chinese分析模块集成到Elasticsearch中,用于分析中文或中英文混合文本。 支持的分析器在大型训练语料库上使用基于隐马尔可夫(Markov)模型的概率知识来查找简体中文文本的最佳分词。 它使用的策略是首先将输...

2019-10-06 16:57:30 757 1

原创 Elasticsearch:ICU分词器介绍

ICU Analysis插件是一组将Lucene ICU模块集成到Elasticsearch中的库。 本质上,ICU的目的是增加对Unicode和全球化的支持,以提供对亚洲语言更好的文本分割分析。 从Elasticsearch的角度来看,此插件提供了文本分析中的新组件,如下表所示: ...

2019-10-04 23:45:56 1120 2

提示
确定要删除当前文章?
取消 删除