Elastic

排序：
默认
按更新时间
按访问量
RSS订阅

原创 Elastic：菜鸟上手指南

您们好，我是Elastic的刘晓国。如果大家想开始学习Elastic的话，那么这里将是你理想的学习园地。在我的博客几乎涵盖了你想学习的许多方面。在这里，我来讲述一下作为一个菜鸟该如何阅读我的这些博客文章。 我们可以按照如下的步骤来学习： 1)Elasticsearch简介：对Elasticse...

2020-02-25 20:01:55 19140 11

原创 Elastic：培训视频

在这篇文章中，我将会把我写的有些内容录制成视频，供大家参考。希望对大家有所帮助。优酷的视频频道地址在这里。 Elastic 简介及Elastic Stack 安装：优酷，腾讯 Elastic Stack docker 部署：优酷，腾讯 Elasticsearch中的一些重要概念（Cluste...

2020-01-06 15:31:54 2852 7

原创 如何在Linux，MacOS及Windows上进行安装Elasticsearch

在今天的这篇文章中，我想介绍如何在Linux及MacOS上进行安装ElasticSearch。Elasticsearch的安装是非常直接的。在今天的这篇文章中，我们介绍如果直接从已经编译好的档案（.tar.gz）中来直接安装Elasticsearch。如果大家想对Elasticsearch有一个大...

2019-08-13 14:04:03 3869 5

原创 Elasticsearch简介

Elasticsearch是一个非常强大的搜索引擎。它目前被广泛地使用于各个IT公司。Elasticsearch是由Elastic公司创建并开源维护的。它的开源代码位于https://github.com/elastic/elasticsearch。同时，Elastic公司也拥有Logstash及...

2019-08-08 16:04:31 4651 7

原创 Elasticsearch： NLP （Natural Language Processing）在 Elasticsearch 中的应用
原力计划

通过 NLP，我们可以把我们导入的文档进行丰富，从而有更多内容供我们进行搜索，为我们更为精准的搜索打下基础。在今天的文章里，我来介绍一下 NLP 在 Elasticsearch 中的实际应用。我们可以看一下如下的一个例子。比如有一下的两个文档： I personally like a swee...

2020-07-09 10:49:39 43 0

翻译 Elasticsearch：sniffing 的最佳实践：What, when, why, how

Elasticsearch 为当今使用的众多工具和应用程序提供强大的搜索体验，从运营分析仪表板到显示带有露台的最近餐馆的地图，你都可以出门在外。 在所有这些实现中，应用程序和集群之间的连接都是通过 Elasticsearch 客户端建立的。 优化客户端和 Elasticsearch 集群之间的连...

2020-07-08 11:19:06 97 0

原创 Elasticsearch：创建 API key 接口访问 Elasticsearch
原力计划

在之前我的文章 “Elastic：使用Postman来访问Elastic Stack” 中我介绍了如何在应用中访问 Elasticsearch。在那里，我们使用了最基本的 Basic authentication 的方法来访问 Elasticsearch。这种方法不好的地方就是每个用户所有的请求的...

2020-07-07 15:22:47 142 2

原创 Elasticsearch：使用 IP 过滤器限制连接
原力计划

你还可以将 IP过滤应用于应用程序客户端，节点客户端或传输客户端来限制或允许一些 IP 对于 Elasticsearch 的访问。如果节点的IP地址在黑名单中，则 Elasticsearch 安全功能允许连接到 Elasticsearch，但该连接将立即被丢弃，并且不处理任何请求。Elastics...

2020-07-06 16:10:54 133 0

原创 Elasticsearch：运用 API 创建 roles 及 users
原力计划

在我之前的文章： Elasticsearch：设置Elastic账户安全 Elasticsearch：用户安全设置 我介绍了如何使用 Kibana 来创建安全的 Elasticsearch 访问，已经如何创建 roles 及 users。在那里的介绍我们使用了 Kibana 的...

2020-07-06 10:48:44 131 0

原创 Beats：在 Beats 中实现动态 pipeline

在我之前的文章 “Beats: Filebeat和pipleline processors”中，我描述了如何使用 pipeline 和 Beats 一起共同来实现对数据的处理。在那篇文章中，我们可以看到的是我们只能使用一个固定的 pipleline 来处理数据。但是在实际的使用中，我们可能面临需要...

2020-07-04 18:27:27 122 0

原创 Elastic：在Kibana 中定制 time picker 及 指标可视化显示格式

如何定制 Kibana 的 time picker 对于经常使用 Kibana 的用户来说，经常会使用到 time picker。这是因为我们要展示的数据完全是依赖于 time picker 的选择。 如果这个时间的范围设置不对，就没有可以供分析的数据。在上面，默认的情况下，是显示 Las...

2020-07-01 17:19:33 251 0

原创 Enterprise：如何将自定义数据导入 Elastic Workplace Search - 一个简单的CSV示例
原力计划

Elastic Workplace Search 可以立即从各种内容源（例如 Google Drive，GitHub 和 Salesforce）中提取数据。 但是您可能需要额外的灵活性来满足您自己独特的组织数据需求。 Workplace Search 自定义源 API 提供了一种轻量级的，由 A...

2020-06-30 14:50:22 152 0

原创 Elastic：使用机器学习 API 创建一个任务
原力计划

针对机器学习的API，我们可以在地址：https://www.elastic.co/guide/en/elasticsearch/reference/7.8/ml-apis.html找到。这次，我们就其中的一些 API 来做一个简单的介绍。 我们可以通过如下如下的 API 来查询 dataf...

2020-06-29 16:51:19 164 0

原创 Elastic：机器学习 Demo
原力计划

在之前的几篇文章中，我已经介绍了关于机器学习的一些文章。在今天的文章中，我准备了一个新的数据集来进一步地做一个练习。希望大家能对这个有一个更深入的了解。如果你还想了解更多关于机器学习的练习，可以参阅之前的文章： -Elastic：机器学习的实践 - single metric job ...

2020-06-29 13:08:33 171 0

原创 Elastic：在 ARM 上运行 Elasticsearch

Elastic 的指导原则之一就是要要和我们的用户在一起。我们以多种格式为多个平台发布了我们的产品，以便你可以尽快上线运行。 随着基于 ARM 的体系结构的日益普及，我们希望确保我们的用户可以在 ARM 以及 x86-64 上运行Elasticsearch。从版本 7.8.0 开始，你可以下载用...

2020-06-28 13:07:32 189 0

原创 Elastic：机器学习的实践 - categorization
原力计划

如果你有基于消息的日志条目，但是这些日志条目是机器生成的，则在将它们用于异常检测之前，首先需要将它们组织成类似的消息类型。 该过程称为分类 （cateogrization)，Elastic ML 可以帮助完成该过程。Categorization 将结构引入半结构化数据，以便对其进行分析。这样做的好...

2020-06-27 17:51:22 161 0

原创 Elastic：机器学习异常的可视化呈现
原力计划

在我之前的文章中： -Elastic：机器学习的实践 - single metric job -Elastic：机器学习的实践 - multi metric job -Elastic：机器学习的实践 - population job 我展示了如何使用 Elas...

2020-06-26 19:21:07 118 0

原创 Elastic：机器学习的实践 - population job
原力计划

在以下情况下，数据中的实体或事件可以被认为是异常的： 他们的行为会随着时间而变化，相对于他们以前的行为，还是 它们的行为不同于指定群体中的其他实体。 在之前的文章： Elastic：机器学习的实践 - single metric job Elastic：机器学习的实践 - mu...

2020-06-24 20:32:25 158 0

原创 Elastic：机器学习的实践 - multi metric job
原力计划

这篇文章是之前文章 “机器学习的实践 - single metric job” 的续篇。如果你对 Elastic 的机器学习还是不太了解的话，请参阅之前的文章，并配置好自己的 Elasticsearch 机器。机器学习需要白金版许可。在今天的文章中，我将详细介绍如何使用机器学习创建一个 multi...

2020-06-24 15:00:13 163 0

原创 Logstash：运用 memcache 过滤器进行大规模的数据丰富
原力计划

在之前的文章 “Logstash translate 过滤器简介”，我详细地介绍了如何使用 translate 过滤器来丰富我们的数据。在文章 “运用 Elasticsearch 过滤器来丰富数据”，我也介绍了如何使用 Elasticsearch 过滤器来对数据进行丰富。尽管 Elasticsea...

2020-06-23 14:54:21 919 0

原创 使用 Visual Studio Code 运行 Elasticsearch queries

今天我发现我们实际上可以使用 VSCode 运行 Elasticsearch DSL queries。如下是我采用的步骤： 创建一个 .es 文件 sample.es GET _cat/indices 使用 VScode 打开这个文件 code sample.es 我们选择 e...

2020-06-23 13:53:31 330 0

原创 Logstash：Logstash translate 过滤器简介
原力计划

Logstash具有一个有趣的功能，称为翻译过滤器 （translate filter）。 翻译过滤器用于根据字典或查找文件过滤传入数据中的特定字段。 然后，如果输入字段与字典查找文件中的条目匹配，则它将执行操作，例如，将字段添加到数据或发送电子邮件。这个和我们之前介绍的数据丰富是一样的。 ...

2020-06-21 18:38:16 228 0

原创 Elasticsearch：理解 Elasticsearch 中的 Percolator 数据类型及 Percolate 查询
原力计划

Elasticsearch 是功能强大的功能丰富的工具。在今天的文章中，我来介绍一下 Percolator 数据类型。同时也介绍一下 Percolate query。您需要基本了解 Elasticsearch，尤其是映射和搜索。 概念 lasticsearch 的正常工作流程是将文档（作为...

2020-06-21 17:00:23 143 0

原创 Elastic：在 Elasticsearch 中计算摄取延迟并存储摄取时间以提高可观察性

使用 Elasticsearch 查看和分析数据时，通常会看到可视化效果以及监视和警报解决方案，这些解决方案利用了在远程/受监视系统上生成的时间戳。但是，使用远程生成的时间戳可能会有风险。 如果远程事件的发生与到达 Elasticsearch 的事件之间存在延迟，或者如果远程系统上的时间设置不正...

2020-06-19 16:42:14 153 0

转载 Elastic Stack 7.8.0 重磅发布

我们非常高兴地宣布 Elastic Stack 7.8 版正式发布了。与大部分 Elastic 发布版本一样，7.8 为 Elasticsearch、Kibana、Logstash 和 Beats 引入了大量新功能，同时也为基于 Elastic Stack 构建的下列解决方案推出了各种新功能：El...

2020-06-19 09:47:34 597 3

原创 Elastic：负载均衡在 Elastic Stack 中的应用

在 Elastic Stack 的使用中，我们会经常使用到复杂均衡。如果我们不考虑到这点，那么当我们的一个环节出现问题的话，那么就可能造成Single point of failure，也就是整个数据的采集就不能工作。还有在多个实例部署的情况下，如何做到负载均衡更好地利用现有的资源。在今天的文章中...

2020-06-18 08:07:33 229 0

原创 Logstash：运用 Elasticsearch 过滤器来丰富数据

针对 Logstash 的数据丰富，除了我们之前介绍的 GeoIP 过滤器外，我之前也介绍了 “运用jdbc_streaming来丰富我们的数据”。在今天的文章中，我们介绍如何使用 Elastcsearch 过滤器来丰富我们的数据。 在Elasticsearch中搜索上一个日志事件，并将其中的某...

2020-06-16 21:55:52 308 0

原创 Elastic：在 Grok 中运用 custom pattern 来定义 pattern
原力计划

在我之前的文章 “Elastic可观测性 - 数据结构化及处理”，讲述了如果把一个非结构化的数据变为一个结构化的数据结构。其中Grokprocessor 是非常重要的一个。在今天的文章中，我们来更加深入地对它进行描述。今天的这个 Grok 的实践也适用于 Logstash 的 Grok filer...

2020-06-15 16:40:16 165 0

原创 Logstash：运用 Elastic Stack 分析 CSDN 阅读量
原力计划

在今天的文章中，我将来介绍一下如何使用 Elastic Stack 来分析 CSDN 的阅读量。在这个教程中，我们将会学到： 如何使用http_poller 从 github 下载一个CSV，并把该数据导入到 Elasticsearch 中 如何使用 fingerprint 过滤器保证没有重复...

2020-06-12 22:57:32 327 0

原创 Beats: 使用 Filebeat 进行日志结构化
原力计划

结构化日志背后的想法很简单：让应用程序直接编写 JSON 对象，而不是让应用程序将需要通过正则表达式解析的日志写入到你索引到 Elasticsearch 的 JSON 对象中。 举例来说，假设你正在编写 Python Web 应用程序，并且正在使用标准库进行记录。 用户登录后，你可能会使用如下所...

2020-06-11 17:18:07 594 0

原创 Kibana：Vega 可视化入门 - 定制自己的可视化图
原力计划

Kibana 提供了很多开箱即用的可视化工具。它们可以让我们很方便地创建我们想要的那种分析图表。如果我们想定制一个我们自己的可视化图，那该怎么办呢？传统的方法是创建自己的插件来扩充我们自己的需求，但是这种开发的成本及周期都比较长。很幸运的是，Kibana 提供了一种很方便的可视化工具 : Vega...

2020-06-10 19:24:39 1309 3

原创 Logstash：运用 makelogs 创建测试日志

我们在使用 Elasticsearch 时，经常想找一些数据来进行测试，比如我们想试一下 Kibana 的可视化工具。我们有时想有很多的数据，但是有时就是找不到合适的数据。那么我们该怎么办呢？当然，我们有一种简单的办法就是使用 Kibana 给我们提供的测试数据，但是它可能也有很多的局限性： ...

2020-06-09 21:30:23 170 2

翻译 Logstash：如何在Elasticsearch中查找和删除重复文档

许多将数据驱动到 Elasticsearch 中的系统将利用 Elasticsearch 为新插入的文档自动生成的 id 值。 但是，如果数据源意外地将同一文档多次发送到Elasticsearch，并且如果将这种自动生成的_id值用于Elasticsearch插入的每个文档，则该同一文档将使用不同...

2020-06-09 15:55:24 190 0

原创 Logstash：运用 fingerprint 过滤器处理重复的文档
原力计划

这篇文章介绍了使用 Logstash 在 Elasticsearch中 对数据进行重复数据删除的方法。 根据你的用例，Elasticsearch中 的重复内容可能不被接受。 例如，如果你要处理指标，则 Elasticsearch中 的重复数据可能会导致错误的聚合和不必要的警报。 即使对于某些搜索用...

2020-06-09 15:17:19 261 0

原创 Observability：使用 Elastic Stack 分析地理空间数据 （二）
原力计划

在之前的文章 “Observability：使用 Elastic Stack 分析地理空间数据 （一）”，我详述了如何从 OpenSky Network API 接口把数据导入到 Elasticsearch，并对这些数据进行可视化分析。也许针对很对的情况这个已经很满足了，因为它确实可以帮我们从很多...

2020-06-04 21:34:06 245 2

原创 Observability：使用 Elastic Stack 分析地理空间数据 （一）
原力计划

随着人类在不断地探索空间，地理空间数据越来越多。 收集信息的速度以及提供位置信息的来源正在迅速增长。政府和商业卫星继续扩散。与GPS一起，它们提供了一系列不同的空间丰富的数据源，包括天气和温度模式，土地使用，土壤化学，减灾和响应，电信等。 移动设备和底层网络...

2020-06-03 22:14:30 974 0

原创 Observability：如何在 Docker 之上使用 Elastic Stack 和 Kafka 可视化公共交通
原力计划

你是否考虑分析和可视化地理数据？ 为什么不尝试Elasticsearch？ 也就是所谓的ELK（Elasticsearch + Logstash + Kibana）或Elatic Stack 不仅是NoSQL数据库。 它是一个整体系统，可以实时存储，搜索，分析和可视化来自任何来源的数据。 在这种情...

2020-06-02 22:32:44 389 0

原创 Logstash：使用 mutate 过滤器
原力计划

如果你对 Logstash 还没有了解的话，请参阅我之前的文章 “Logstash：Data转换，分析，提取，丰富及核心操作”。在今天的文章中，我们将介绍 Logstash 中的 mutate 过滤器插件。 在数据管道中使用 Logstash 的好处之一是能够根据系统和组织的需求将数据转换为所需...

2020-06-01 12:32:04 212 0

原创 Enterprise：创建 meta 引擎来扩展你的 App search 体验
原力计划

在之前的文章 “Elastic App Search 入门”，我详细地介绍了 Elastic Enterprise Search 里的 App Search。如果你对 Elastic App Search 还不太了解的话，那么请先阅读那篇文章。在这里我假设你已经熟悉了那里的介绍的内容。 在今天的...

2020-05-28 21:20:11 229 0

原创 Elasticsearch：shard 分配感知

您可以将自定义节点属性用作感知属性，以使Elasticsearch在分配分片时考虑物理硬件配置。 如果Elasticsearch知道哪些节点在同一台物理服务器上，在同一机架中或在同一区域中，则它可以分发主分片及其副本分片，以最大程度地减少发生故障时丢失所有分片副本的风险。 通过cluster.r...

2020-05-28 08:02:11 2591 0

提示
确定要删除当前文章？
取消 删除