Elastic

排序：
按最后发布时间
按访问量
RSS订阅

原创 Elastic 7.9 有什么新功能？ - 10月22日 15:00 PM

从零开始安装 Elastic Stack，使用 Logstash 导入日志文件到 Elasticsearch。Logstash是一个功能强大的工具，可与各种部署集成。 它提供了大量插件，可帮助您解析，丰富，转换和缓冲来自各种来源的数据里面。本次分享含有调试及如何使用 Logstash 的 inpu...

2020-07-25 09:00:03 1592 0

原创 Elastic：菜鸟上手指南

您们好，我是Elastic的刘晓国。如果大家想开始学习Elastic的话，那么这里将是你理想的学习园地。在我的博客几乎涵盖了你想学习的许多方面。在这里，我来讲述一下作为一个菜鸟该如何阅读我的这些博客文章。 我们可以按照如下的步骤来学习： 1)Elasticsearch简介：对Elasticse...

2020-02-25 20:01:55 25404 15

原创 Elastic：培训视频

在这篇文章中，我将会把我写的有些内容录制成视频，供大家参考。希望对大家有所帮助。优酷的视频频道地址在这里。 Elastic 简介及Elastic Stack 安装：优酷，腾讯 Elastic Stack docker 部署：优酷，腾讯 Elasticsearch中的一些重要概念（Cluste...

2020-01-06 15:31:54 5255 7

原创 如何在 Linux，MacOS 及 Windows 上进行安装 Elasticsearch

在今天的这篇文章中，我想介绍如何在Linux及MacOS上进行安装ElasticSearch。Elasticsearch的安装是非常直接的。在今天的这篇文章中，我们介绍如果直接从已经编译好的档案（.tar.gz）中来直接安装Elasticsearch。如果大家想对Elasticsearch有一个大...

2019-08-13 14:04:03 6771 9

原创 Elasticsearch 简介

Elasticsearch是一个非常强大的搜索引擎。它目前被广泛地使用于各个IT公司。Elasticsearch是由Elastic公司创建并开源维护的。它的开源代码位于https://github.com/elastic/elasticsearch。同时，Elastic公司也拥有Logstash及...

2019-08-08 16:04:31 6685 13

转载 Kibana：如何在 Kibana 可视化中以百分比形式显示数据

进行数据分析时，要想在数字间进行有效对比，使用百分数是一项不可或缺的重要方法，当所涉及数据在样本量或总值方面表现出巨大差异时，尤为如此。通过百分比，我们可以快速准确地了解在某个维度类型上（例如时间范围、地理区域、产品线等）数据总和发生了多大变化。 在本篇博文中，我们将会通过几个例子详细讲...

2020-10-25 19:58:08 104 0

原创 Kibana：使用 Kibana Timelion 进行时间序列分析

在 Kibana 的可视化工具里，有一个可视化的工具叫做 Timelion。Timelion 是Kibana 中时间序列的可视化工具。 时间序列可视化是按时间顺序分析数据的可视化。 Timelion 可用于绘制二维图，时间绘制在 x 轴上使用 Timelion，你可以在同一可视化文件中组合独立的数...

2020-10-24 15:19:45 57 0

原创 Elasticsearch：运用 Go 语言实现 Elasticsearch 搜索

在今天的文章中，我将介绍如何使用 Go 语言来对 Elasticsearch 进行搜索。首先，我假设你已经对 Elastic Stack 有一定的了解。Elasticsearch 获得了极大的欢迎。 在关系数据库中搜索始终会遇到有关可伸缩性和性能的问题。Elasticsearch 是 NoSQL ...

2020-10-21 17:11:34 767 0

原创 Beats：解密 Filebeat 中的 setup 命令

在我之前的教程： Beats：Beats 入门教程 （一） Beats：Beats 入门教程 （二） 我已经详述了如果启动 Filebeat 并监控系统日志。在启动 Filebeat 的过程中，有一个很重要的步骤就是： ./filebeat setup 这个步骤非常重要，但是描述的内容并...

2020-10-20 14:47:19 338 1

原创 Beats：使用 Elastic Stack 来记录 Java Apps 日志

在我先前的系列文章中，我们介绍了如何使用 Elastic Stack 来分析 Spring boot 的微服务日志。这些文章是： Elastic：运用 Elastic Stack 分析 Spring boot 微服务日志 (一） Elastic：运用 Elastic Stack 分析 Spri...

2020-10-19 13:04:40 304 0

原创 Elastic：使用 Python 方便地实现 Elasticsearch-To-CSV 导出

在我之前的文章 “Elasticsearch：如何把 Elasticsearch 中的数据导出为 CSV 格式的文件” ，我介绍了两种方法来把一个 Elasticsearch 索引导出到一个 CSV 格式的文档中。但是据 一些人的实践，在面临海量文档的情况下，会出现 timeout 错误 （使用 ...

2020-10-19 10:11:03 289 0

原创 Beats：使用 Elastic Stack 记录 Golang 应用日志

当今可用的丰富编程语言为程序员提供了用于构建应用程序的大量工具。无论是像 Java 这样的老牌巨头，还是像 Go 这样的新兴公语言，应用程序都需要在部署后进行监视。在本文中，你将学习如何将Golang日志发送到ELK Stack和Logz.io。 通常可以通过查看其日志来了解应用程序的运行状况。...

2020-10-17 17:40:48 142 2

原创 Elasticsearch：通过 inference pipeline 聚合为你的数据科学增加灵活性

Elastic 7.6 引入了 inference processor，用于对通过 ingest pipeline 提取的文档进行推理。ingest pipeline 功能强大且灵活，但设计用于在 ingest 时工作。那么，如果你的数据已经被摄取会怎样？ 引入了新的 Elasticsearch...

2020-10-15 14:55:13 226 0

翻译 Elasticsearch：聚合所有内容：Elasticsearch 7 中的新聚合

自 1.0 版以来，聚合框架一直是 Elasticsearch 重要的一部分，多年来，它进行了优化，修复，甚至进行了一些大修。自Elasticsearch 7.0 版本以来，Elasticsearch 中已添加了许多新的聚合，例如 rare_terms，top_metrics 或 auto_dat...

2020-10-14 09:48:52 205 0

原创 Elasticsearch：Serial Differencing aggregation 介绍

在之前的教程 “Elasticsearch：pipeline aggregation 介绍” 中，我介绍了一种 pipeline aggregation。里面有介绍一种叫做 derivative aggregation 的。先前的 derivative 可视化将存储桶与相邻存储桶进行了比较，这是日...

2020-10-13 11:53:20 81 0

原创 Kibana：treemap 可视化介绍

treemap 提供了数据的层次结构视图，非常适合可视化部分与整体关系。在 treemap 之前，我们可以通过 Pie 可视化来表达这种关系，但是不是非常直接，明了。treemap 是 Elastic 7.8 发行版的一个新的功能，只在 Lens 里提供。在今天的文章中，我们来展示如果创建一个 t...

2020-10-11 21:35:19 103 0

原创 Elasticsearch：通过 shrink API 减少 shard 数量来缩小 Elasticsearch 索引

通过使用 Shrink API 使用更少的主碎片来调整 Elasticsearch 索引的大小。在 Elasticsearch 中，每个索引都包含多个分片，而 Elasticsearch 集群中的每个分片都有助于使用cpu，内存，文件描述符等。这无疑有助于并行处理的性能。 以时间序列数据为例，你将...

2020-10-10 21:55:33 334 0

原创 Elasticsearch：如何调试集群状态 - 定位错误信息

针对 Elasticsearch 集群时，我们可以通过如下的 _cluster/health 命令来查询集群的状态： GET _cluster/health 在正常的情况下，它会显示健康的状态，也就是绿色。关于监控的颜色的描述，我们可以参考我之前的文章 “Elasticsearch中的一些重...

2020-10-09 10:31:37 477 1

原创 Elasticsearch：Split index API - 把一个大的索引分拆成更多分片

在我们实际使用 Elasticsearch 时，随着时间的推移，我们会发现有扩容的必要。这个可能由于我们在刚开始创建项目认识不足。我们需要更多的 primary shards，这样可以提高 ingest 的速度。那么我们有什么办法来把之前的一个大的索引变成更多的小的索引呢？这个答案就是 split...

2020-10-08 11:41:21 369 5

原创 Elasticsearch：使用 alias 数据类型来遵循 ECS (Elastic Common Schema)

在很多的设计中，我们所采集的数据来自不同的数据源，从而导致数据字段名称的不一致。如果，我们在一开始就遵循 Elastic Common Schema，那么我们就不会有任何的问题。但是在实际的生产环境中，有可能在一开始我们就没有这么做，那我们该如何解决这个问题呢？比如我们有如下的两个数据： PO...

2020-10-04 11:16:04 95 0

原创 Elasticsearch：cat API 介绍及其使用

在 Elasticsearch 中，cat API 仅适用于使用 Kibana 控制台或命令行供人类使用。 它们不适合应用程序使用。 对于应用程序消耗，我们建议使用相应的 JSON API。所有的 cat 命令都接受查询字符串参数 help，以查看它们提供的所有 header 和信息，并且 /_c...

2020-09-27 11:38:50 441 0

原创 Elasticsearch：深刻理解文档中的 verision 及 乐观并发控制

Elasticsearch 版本支持 Elasticsearch 背后的关键原则之一是让你充分利用数据。 从历史上看，搜索引擎加载了来自单一来源的数，一般来说，它的数据是只读的。 随着使用量的增加以及 Elasticsearch 在你的应用程序中越来越重要，碰巧需要由多个组件来更新数据。 多个组...

2020-09-26 17:10:51 167 0

原创 Elasticsearch：Script aggregation （2）

在本教程中，我们将继续进行更高级的操作：重新定义 extended_stats 聚合的结果以及实现 scripted_metric 聚合。 准备数据 本文中的示例使用下面提供的文档，其中包含不同公司出售的单个产品类型的详细信息。 数据包括公司名称，产品名称，产品价格，产品销售市场，可销售的...

2020-09-23 17:00:31 135 0

原创 Elasticsearch：Script aggregation （1）

使用默认聚合时，开发人员通常无法获得预期的结果。 基本聚合功能也有局限性。 例如，如果要更改直方图的偏移值，就是这种情况。 由于 Elasticsearch 不提供此本机功能，因此我们使用脚本来获取所需的结果。 我们还将介绍其他使用脚本的聚合任务。在我之前的文章 “开始使用Elasticsearc...

2020-09-23 15:14:10 122 0

原创 Kibana：在可视化中选择合适的 scale type 更好地洞察数据

在 Kibana 中我们做可视化时，特别是在用 terms 聚会时，有的 term 的数据数量比较多，有的 term 数据数量比较少。在这种情况下，如果我们在 Y 轴的显示上，如果选择 linear， 也就是线性显示，那么显示的图像比较难看，比如： 在上面最左边的数据比较大，相反，最右边的数...

2020-09-22 18:20:07 107 0

原创  Elasticsearch：理解搜索中的 precision 及 recall

当你负责搜索引擎时，不用多说，你应该充分了解有关搜索相关性的尽可能多的详细信息。 虽然大多数人不需要学习每条信息，但需要了解搜索。 你至少应该对 recall （查全率）和 precision （精度）有基本的了解。 本文将重点介绍与搜索相关性的 precision 和 recall。 什么是相...

2020-09-21 17:49:09 124 0

原创 Kibana：通过 Elastic Maps 中的全局行政区层为 IP 分析带来新见解

我们喜欢 Elastic 的地图。在 Elastic Stack 中，我们使用地图可视化的所有数据都有一个核心组成部分：位置。位置可以表示报告机队车辆的实时位置，使用地理围栏限制搜索结果，从某个地理区域衡量应用程序性能指标或通过将地理坐标附加到 IP 地址来识别安全威胁。 最近，我们在 Elas...

2020-09-21 12:28:01 237 0

原创 Kibana：为可视化图添加一个 static 线

当我们做可视化图时，有时我们想为自己的图添加一条静态线。这条线的作用是用来表示在什么位置的统计数据是高于这个值的或低于这个值的。我们知道在通常的情况下，我们一般的可视化图是不可以做到这一点的。我们需要使用 TSVB 来说实现这个。比如，使用下图的红线，它清楚地表明了在什么时候统计数据是大于20的。...

2020-09-21 10:51:53 597 6

原创 Elasticsearch：Snapshot 生命周期管理

在今天的文章中，我们来讲述一下 Data safety 及 security。safety 及 security 是两个不同的概念，尽管在中文很多时翻译都为安全的意思。前者的意思是指我的数据在硬件或者人为操作发生错误时，我可以通过数据的备份（比如 snapshot）以及冗余数据存储（比如多个 re...

2020-09-17 16:22:30 217 0

原创 Elasticsearch：foreach 摄入处理器介绍

foreach processor用于处理未知长度数组中的元素。这个有点和我们在编程中使用的循环是一样的。 所有处理器都可以对数组内的元素进行操作，但是如果需要以相同的方式处理数组中的所有元素，则为每个元素定义处理器将变得既麻烦又棘手，因为数组中元素的数量可能未知。因此，存在 foreach 处...

2020-09-16 15:03:52 320 0

翻译 Elasticsearch：使用 GeoIP 丰富来自内部专用 IP 地址

对于公共 IP，可以创建表来指定 IP 属于哪个城市的特定范围。但是，互联网的很大一部分是不同的。在世界上每个国家都有公司专用网络，其 IP 地址的格式为 10.0.0.0/8、172.16.0.0/12 或 192.168.0.0/16。这些 IP 地址往往没有有关地理位置的真实信息。因此，El...

2020-09-16 09:25:40 242 0

原创 Enterprise: 如何在 Chrome 中设置 Elastic Workplace Search 为搜索引擎

Elastic Workplace Search通过将所有内容平台（Google云端硬盘，github, gira, confluence, Salesforce等）统一到个性化的搜索体验中，提高团队的生产力。 凭借其轻松和灵活的部署（在Elastic Cloud上或作为免费的自助管理下载），预先...

2020-09-15 11:10:16 486 0

原创 Elasticsearch：通过 sampler 聚合来改善繁重的 Elasticsearch 聚合

结合两个 Elasticsearch 功能：sampler 聚合可以帮助创建有效的估计 facet 和见解，同时显着降低繁重和缓慢聚合的成本。Sampler aggregation 是一种筛选聚合，用于将任何子聚合的处理限制为得分最高的文档样本。 典型用例： 将分析重点放在高相关性匹配上，而不...

2020-09-14 18:50:55 702 0

原创 Elasticsearch：IP 数据类型及其搜索

在使用 Elasticsearch 搜索 IP 地址时，我们可以把数据类型定义为 IP 数据类型。这样我们可以针对 IP 地址进行搜索。这种 IP 地址可以是 IPv4 或者是 IPv6 的形式。 现在假设我们导入一个如下的数据到 Elasticsearch 中： PUT my-index/...

2020-09-10 16:56:36 943 0

原创 Elasticsearch：使用 _validate API 在不执行查询的情况下验证查询

我们知道有的 Elasticsearch 的查询是非常耗时的。我们可以使用 _validate API 来对我们的 DSL 搜索进行一些验证。在很多的情况下，我们甚至可以使用这个 API 来验证不同的查询方法之间的区别或相同的地方。Elasticsearch 的 DSL 最终会转换为 Apache...

2020-09-10 12:25:53 606 0

原创 Beats：使用 Filebeat 导入 JSON 格式的日志文件

在我们之前的文章 “Beats: 使用 Filebeat 进行日志结构化”，我使用了一种方法来解析一个 JSON 格式的文件，并导入到 Elasticsearch 中。在今天的文章中，我来用另外的一种方式来展示如何导入一个 JSON 格式的文件。 准备数据 我们还是以之前的那篇文章中的数据...

2020-09-09 22:49:41 775 2

翻译 Elastic：在 Elasticsearch ingest 处理器中调试损坏的 grok 表达式

在之前的文章： Elastic：在摄入时使用 grok 构建 Elasticsearch 数据以加快分析速度 Logstash：如何逐步构建自定义 grok 模式 但是如果我们的模式不能正常工作，那该如何处理呢？ 在本文中，我们将使用 Kibana 的 Grok Debugg...

2020-09-08 22:45:16 415 0

原创 Kibana：如何周期性地为 Dashboard 生成 PDF Report

Kibana 中的 Dashboard 给我们直观的数据展示。在实际的工作中，可以用于汇报。在 Kibana 中，我们可以来生成我们想要的 PDF report。我们可以手动来生产这样的 report，但是它可能变得非常麻烦，那么我们有什么办法可以使得这个过程变得自动化呢？在今天的教程中，我们来讲...

2020-09-07 17:17:43 787 0

原创 Elasticsearch：创建 Ingest pipeline

在 Elasticsearch 针对数据进行分析之前，我们必须针对数据进行摄入。在摄入的过程中，我们需要对数据进行加工，这其中包括非结构化数据转换为结构化数据，数据的转换，丰富，删除，添加新的字段等等一系列的工作。针对目前 Elastic 公司所提供的工具来看，我们有两种方法来针对数据进行加工：L...

2020-09-03 10:53:35 1348 0

原创 Elasticsearch：反向代理及负载均衡在 Elasticsearch 中的应用

在我们配置 Elasticsearh 安全的时候，我们可以考虑三个方面的东西： firewalls 反向代理 （reverse proxies) Elastic Security 我们可以利用 firewall 已经 IP filtering来限制或允许特定的 IP 地址来访问我们的 Ela...

2020-09-02 18:45:55 1868 0

提示
确定要删除当前文章？
取消 删除