DevSecOps实战演练：Elastic Security Workshop - 3月31日 13:00-16:30

置顶 2020-07-25 09:00:03 4732 收藏 1
文章标签： 大数据 elasticsearch centos 安全
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/UbuntuTouch/article/details/107573683
版权
已标记关键词 清除标记
表情包
插入表情
还能输入1000个字符
相关推荐
Elasticsearch：如何制作 GeoJSON 文件并进行地理位置搜索
04-15 197
我发现我之前的文章 “Elasticsearch：使用 Elasticsearch 进行地理位置搜索” 还是蛮手欢迎的。我觉得大家喜欢是因为里面还有一些图片把复制的问题简单化，一目了然。在使用 Geo search 进行讲解时，如果能在地图上清楚地展示各个文档，边界，那么一切问题就变得非常简单了。在今天的文章中，我来讲述如何使用 GeoJSON 来创建一些边界。这对于展示一些搜索非常有用。GeoJSON 文件格式我们首先来看一下一个简单的 GeoJSON 文件格式：sample.json.
Elastic：如何成为一名 Elastic 认证工程师（ECE），Elastic 认证分析师（ECA) 及 ECOE
10-28 8279
Elasticsearch 无疑是是目前世界上最为流行的大数据搜索引擎。根据 DB - Engines 的统计，Elasticsearch 雄踞排行榜第一名，并且市场还在不断地扩大：能够成为一名 Elastic 认证工程师也是很多开发者的梦想。这个代表了 Elastic 的最高认证，在业界也得到了很高的认知度。得到认证的工程师，必须除了具有丰富的 Elastic Stack 知识，而且必须有丰富的操作及有效的解决问题的能力。拥有这个认证证书，也代表了个人及公司的荣誉。针对个人的好处是，你可以..
Elastic：菜鸟上手指南
02-25 4万+
您们好，我是Elastic的刘晓国。如果大家想开始学习Elastic的话，那么这里将是你理想的学习园地。在我的博客几乎涵盖了你想学习的许多方面。在这里，我来讲述一下作为一个菜鸟该如何阅读我的这些博客文章。我们可以按照如下的步骤来学习：1)Elasticsearch简介：对Elasticsearch做了一个简单的介绍2)Elasticsearch中的一些重要概念:cluster, n...
Elastic：培训视频 - 最新更新 2020-12-04
01-06 8152
在这篇文章中，我将会把我写的有些内容录制成视频，供大家参考。希望对大家有所帮助。优酷的视频频道地址在这里。Elastic 简介及Elastic Stack 安装：优酷，腾讯 Elastic Stack docker 部署：优酷，腾讯 Elasticsearch中的一些重要概念（Cluster/Shards/Replica/Document/Type/Index）：优酷，腾讯 开始使用El...
Elasticsearch 简介
08-08 1万+
Elasticsearch是一个非常强大的搜索引擎。它目前被广泛地使用于各个IT公司。Elasticsearch是由Elastic公司创建并开源维护的。它的开源代码位于https://github.com/elastic/elasticsearch。同时，Elastic公司也拥有Logstash及Kibana开源项目。这个三个开源项目组合在一起，就形成了 ELK软件栈。他们三个共同形成了一个强大的...
Kibana：运用 script fields 对数据进行清洗
04-15 199
在我的上一篇文章中，我详细地描述了如何使用 script fields 对搜索匹配的结果创建新的字段。这些字段的值基于 _source 或者 doc values 的值进行运算而形成的。在 Kibana 中，我们同样可以运用 scripted fields 来形成新的字段。我们甚至可以针对这些字段做数据分析。你可以详细地阅读我以前写过的文章： Kibana: 如何在 Kibana 中生成 Scripted fields Kibana：使用 Scripted fields 来提高数据的可观测性在
Elasticsearch：Script fields 及其调试
04-14 300
在之前的文章 “Elasticsearch：从搜索中获取选定的字段”，我有讲到过一些关于 script fields 的话题。在今天的文章中，我想就这个话题更进一步地详述。在搜索时，每个 _search 请求的匹配（hit）可以使用 script_fields（基于不同的字段）定制一些属性。这些定制的属性（script fields）通常是：针对原有值的修改（比如，价钱的转换，不同的排序方法等） 一个崭新的及算出来的属性（比如，总和，加权，指数运算，距离测量等）一个 _search 请求能定义多于.
Elasticsearch：Search-as-you-type 字段类型
04-13 448
search_as_you_type 字段类型是一个类似 text 的字段，经过优化，可以为提供按需输入完成情况的查询提供开箱即用的支持。 它创建了一系列子字段，这些子字段被分析以索引可被部分与整个索引文本值匹配的查询有效匹配的术语。 支持前缀完成（即，匹配项从输入的开头开始）和中缀完成（即，匹配项在输入中的任意位置）。将这种类型的字段添加到 mapping 时PUT my-index-000001{ "mappings": { "properties": { "my_f
Elasticsearch：Match phrase prefix query
04-13 133
在之前的练习 “开始使用Elasticsearch （2）”，我们描述了如何使用 match_phrase 来搜索结果，并保证每个词的顺序是一样的。在今天的文章中，我们来讲一下 match_phrase_prefix。这个在一些自动补全的搜索中还是蛮有用的。使用它进行搜索，它返回的结果包含所提供文字的顺序，并严格按照所给的顺序。 提供的文本的最后一个词被视为 prefix，与该词开头的任何单词匹配。比如，我们在 google 网站进行搜索：如上图所示，我们首先匹配的单词是 michael, j.
Elasticsearch：如何使用 Elasticsearch 和 Python 构建面部识别系统
04-12 548
你是否曾经尝试在图像中搜索对象？ Elasticsearch 可以帮助你存储，分析和搜索图像或视频中的对象。在本快速教程中，我们将向你展示如何构建一个使用 Python 进行面部识别的系统。 了解有关如何检测和编码面部信息的更多信息-并在搜索中找到匹配项。在今天的练习中，我们将参照代码：https://github.com/liu-xiao-guo/face_detection_elasticsearch。你可以把这个代码下载到本地的电脑：$ pwd/Users/liuxg/python
Elasticsearch：一个关于 aggregation 的例子
04-12 302
今天的文章来自我一个国外同事的分享。通过这个例子，我们可以了解如何选择我们想要的聚合，排序，以及从 source 中提取字段。这个例子来源于一个需求，比如在 Elastic 有一个叫做 Contributor 的项目。鼓励大家来参加我们的社区分享。每次分享都会得到一个积分。在每个季度或者年度，我们会根据每个 Contributor 的积分进行排名，并得出最终的贡献奖。这里有一个问题就是。参加这个活动的每个 Contributor 都会对应于一个独一无二的邮件地址，但是每次分享他的名字可能会有不同。在
Elasticsearch：一些有趣的数据类型
04-10 2872
Elasticsearch 中的每个字段都有一个字段数据类型或字段类型。 此类型指示字段包含的数据类型（例如字符串或布尔值）及其预期用途。 例如，你可以将字符串索引到文本字段（text）和关键字（keyword）字段。 这样做的目的是，将分析文本字段值以进行全文搜索，而将关键字字符串保持原样以进行过滤和排序。字段类型按 family 分组。 同一 family 中的类型支持相同的搜索功能，但可能具有不同的空间使用或性能特征。当前，关键字（keyword）family ，它由 keyword，cons
Elasticsearch：消除 Elasticsearch 中的重复数据
04-07 3033
重复数据在数据分析和搜索中会造成错误。在我们的实际使用中，我们应该避免重复导入的数据。重复数据有各种原因会造成。比如我们重复导入同样的数据。当我们写入文档时使用自动生成的 ID，那么同样的文档被导入两次，这样会造成同样的两个一样的文档会保存于 Elasticsearch 中尽管它们的 ID 会有不同。在我之前的文章 “Beats：如何避免重复的导入数据”，我详细描述了如果使用 Beats 导入数据时，避免重复数据。避免在 Elasticsearch 索引中重复始终是一件好事。 但是，通过消除重复项，你可
Elastic：导入 Word 及 PDF 文件到 Elasticsearch 中
04-06 563
在很多实际的应用中，我们希望导入 Word 及 PDF 文件到 Elasticsearch 中。在我之前的文章 “Elasticsearch：如何对 PDF 文件进行搜索”, 我讲述了如何使用 ingest pipeline 来把 PDF 文件导入到 Elasticsearch 中。在今天的文章中，我将介绍另外一种方法来导入 PDF 及 Word 文件到 Elasticsearch 中。我们将采用一个开源的项目https://github.com/dadoonet/fscrawler来实现这个。...
Elasticsearch：从搜索中获取选定的字段
04-06 501
在实际的搜索返回数据中，我们经常会用选择地返回所需要的字段或部分的 source。这在某些情况下非常有用，因为对于大规模的数据来说，返回的数据大下直接影响网路带宽的使用以及内存的使用。默认情况下，搜索响应中的每个匹配都包含文档 _source，这是在为文档建立索引时提供的整个 JSON 对象。 要检索搜索响应中的特定字段，可以使用 fields 参数：POST my-index-000001/_search{ "query": { "match": { "message":
Beats：为 Beats =＞ Logstash =＞ Elasticsearch 架构创建 template 及 Dashboard
03-31 3573
前一段时间有一个开发者私信我说自己的 Beats 连接到 Logstash，然后连接到 Elasticsearch。等数据在 Elasticsearch 中收集完后，发现 Kibana 中的 Dashboard 不能被使用。数据类型不匹配。这个到底是什么原因呢？Beats 为我们的数据导入带来了极大的方便。目前在 Elastic Stack 的架构中：我们可以通过如下的三种路径吧数据导入到 Elasticsearch 中：Beats ==> Elasticsearch Beats
Logstash：Pipeline-to-Pipeline 通信 - 一个实例处理多种日志
03-30 847
使用 Logstash 的多管道功能时，你可能需要在同一 Logstash 实例中连接多个管道（Pipeline）。 此配置对于隔离这些管道的执行以及有助于打破复杂管道的逻辑很有用。 管道 input/output 启用了本文档后面讨论的许多高级体系结构模式。如果需要在 Logstash 实例之间设置通信，请使用 Logstash 到 Logstash 的通信，或使用中间队列，例如 Kafka 或 Redis。配置总揽使用 pipeline input 和 pipeline output .
Logstash：使用 Metricbeat 监控 Logstash
03-29 603
在之前的文章 “Logstash: 启动监控及集中管理” ，我详细地描述了如果使用 Elasticsearch 自监控 Logstash。在今天的练习中，我们演习以前的文章： Elastic：监控 Elasticsearch 及 Kibana Elastic：监控 Beats 及 APM Server 我将使用 Metricbeat 来对 Logstash 进行监控。我将使用 “Logstash: 启动监控及集中管理” 文章中的例子来进行展示。在进行 Logstash 的监视之前，我们必
Beats：如何启动 Metricbeat 中的 MySQL 模块 - query Metricset
03-29 280
在我做之前的教程 “Observability：Elastic Metrics 应用介绍”，我发现当我尝试启动 MySQL 模块中的 query metricset 会出现错误。之后我发现官方文档也缺少相应的资料。在今天的文章中，我将介绍如上启动这个 metricset。在使用这个 metricset 时需要做相应的配置。在开始之前，如果你对 Beats 模块的启动还不是很清楚的话，请参阅我之前的文章：Beats：Beats 入门教程 （一） Beats：Beats 入门教程 （二）简单地说，我们需
Elastic：如何为机器学习异常发送通知
03-25 1241
我们知道对于可观察性数据而言，有超过75%的数据其实是没有用的。对数据来说，我们光采集上来是不够的。面对大量的数据，我们希望从这些海量的数据中发现事件，也就是不同于平常的事件。我们光用人眼来观察是不够的。我们可以借助 Elastic Stack 所提供的机器学习来对数据进行分析，并生产事件。如果大家对于如何使用机器学习还不是很熟的话，请参阅我之前的文章 “Elastic：机器学习的原理及实践 - single metric job”。即便如此，通过机器学习的方法得到了异常的事件，但是如果不能及时反馈到监控.