• 博客(20)
  • 资源 (9)
  • 论坛 (1)
  • 收藏
  • 关注

原创 Elasticsearch:Searchable snapshot 在索引生命周期管理中的应用

这是继上一篇文章 “Elasticsearch:Searchable snapshot - 可搜索的快照” 的第二篇关于 searchable snapshot 文章。在上一篇文章中,我提到使用 search snapshot 的两个应用场景:通过mount snapshotAPI 来实现 通过 ILM 自动完成。当可搜索快照操作达到冷或冻结阶段时,它将自动将常规索引转换为可搜索快照索引第一种方式,我已经在上述文章中已经展示了。 在今天的文章中,我将展示如何在索引生命周期中使用 searcha...

2021-04-27 13:49:10 2668

原创 Elasticsearch:Searchable snapshot - 可搜索的快照

可搜索快照使你可以使用快照(snapshot)以极具成本效益的方式搜索不经常访​​问的只读数据。 冷的(cold)和冻结的(frozen)数据层使用可搜索的快照来减少存储和运营成本。可搜索的快照消除了对副本分片 (replica shards)的需求,从而有可能使搜索数据所需的本地存储减半。 可搜索快照依赖于已经用于备份的快照机制,并且对快照存储库存储成本的影响最小。如上所示,针对一个时序数据来说,如果每天采集 3TB 的数据,那么一周将导致 21TB 的数据,而一个月将是 90TB 的数据,一

2021-04-25 19:19:38 1045

原创 Kibana:下载适用于你的 Elasticsearch 部署的预构建 Kibana 仪表板

我们知道一个好的 Dashboard 可以让我们充分地了解大数据的洞察,并对我们的数据有效地搜索。好的 Dashboard 很方便地帮我们分析数据,比如威胁捕捉,异常分析等等。针对各种已经预建的模块,Elastic 已经提供了开箱即用的 Dashboard。你可以在我之前的教程可以进行查看:Beats:Beats 入门教程 (一) Beats:Beats 入门教程 (二)由于 ECS 的引用,我们很方便地创建一些标准化的 Dashboard 供我们使用只有我们严格按照 ECS 的标准导入我们的数据.

2021-04-22 18:02:09 1399 1

翻译 Elasticsearch:免费和开放的 Elastic 可观测性入门

在单个的平台上统一日志,指标,应用程序跟踪数据和可用性数据并对其进行上下文处理。Elastic 可观测性提供了整个数字生态系统的运行状况和性能的统一视图。通过预置的收集器来轻松获取数百种数据源的多种数据,Elastic Observability 可实现可观测性各个面之间的无缝集成。内置的警报功能使你可以查看何时接近 SLA (Service Level Agreement),而专用的应用程序可以使你按照合理的方式解释数据,包括详细的用户体验得分。诸如 Audi,Etsy,Societe Generale,

2021-04-22 11:50:36 451

原创 Elasticsearch:汇总数据表

在进行大数据分析时,我们会经常使用数据表格来展示数据。数据表格可以用来展示原始的数据。这是数据可以来自于 source。在很多的时候,我们更希望这些数据是一些聚合的数据表格,比如如下的数据表格:在 Kibana 中,我们很容易通过可视化工具生成我们所需要的表格。我们可以参考我之前的文章 “在 Kibana 中的四种表格制作方式”。在今天的文章中,我将介绍如何使用 Elasticsearch API 通过搜索的方法生成我们想要的数据,并可以在自己的应用中进行可视化。简单的表格在我之前的文.

2021-04-21 10:17:50 1004

原创 Elasticsearch:distance feature 查询 - 对靠近位置或时间点的文档提高相关性

提高文档的相关性分数,使其更接近提供的 orgin 日期或地理位置。 例如,你可以使用此查询为更接近某个日期或位置的文档赋予更大的权重。你可以使用 distance_feature 查询来找到某个位置最近的邻居。 你还可以在 bool query 的 “should” 过滤器中使用此查询,以将增强的相关性得分添加到 bool query 的得分中。为什么使用地理距离或时间作为排名?考虑搜索一家餐馆。通常使用一种标准,包括类型,价格范围,等级以及地理位置。在所有其他条件保持不变的情况下,你最好选.

2021-04-20 12:55:51 583

原创 Logstash:Logstash 编辑器

不知道你又没有体会,在我们编写 Logstash 的配置文件时,有时感觉不是很方便。相对于目前流行的强大的带有自动补全的编辑器来说,我们编辑 logstash.conf 这样的文件确实感觉不是很方便。很幸运的是:针对 VS Code,有一个叫做 Logstash Editor 的插件它很方便地让我们编辑 Logstash 的配置文件以及 Filebeat 的配置文件。在今天的文章中,我们来简单地介绍一下。有关这个插件的具体信息,可以在地址找到。安装我们首先安装好 vs code。它要球的最低版.

2021-04-19 16:24:47 1409 4

翻译 Kibana:更有效地构建 Kibana 仪表板 - 7.12 发布

借助新的简化的导航体验(现在可在 Kibana 7.12 中使用),比以前更快,更轻松地创建仪表板。 这种仪表板优先方法使你可以轻松创建和添加可视化文件,而无需离开仪表板构建流程。只需几个简单的步骤即可直接从 Kibana 仪表板开始使用:选择 “创建面板(Create Panel)”,然后选择要构建的可视化类型。 (在下图中,我们选择了 Kibana Lens。)然后,完成分析后,只需选择 “保存并返回(Save and Return)”。如果你是从可视化编辑器(例如 Kibana Lens

2021-04-19 10:18:49 515

原创 Elasticsearch:如何针对一个区域的搜索结果进行加权

在我们实际的很多位置搜索中,我们有许多案例需要针对某个区域的搜索结果进行加权,从而使得这个区域的搜索结果的得分较高而排在返回结果的前面。比如有一下的一些使用场景:针对地理位置搜索,对于某个区域的搜索结果进行加权,从而提高对这个区域人口的警觉。在 Elasticsearch 中,我们可以使用行政区域来进行检索。你可以在文章中看到这个是如何实现的。关于 EMS (Elastic Maps Service) 的更多可以在链接找到。 在实际的应用中,我们可能遇到很少的情况是按照行政区域进行划分的。针对一些特殊

2021-04-18 12:41:01 752 1

原创 Elasticsearch:如何制作 GeoJSON 文件并进行地理位置搜索

我发现我之前的文章 “Elasticsearch:使用 Elasticsearch 进行地理位置搜索” 还是蛮手欢迎的。我觉得大家喜欢是因为里面还有一些图片把复制的问题简单化,一目了然。在使用 Geo search 进行讲解时,如果能在地图上清楚地展示各个文档,边界,那么一切问题就变得非常简单了。在今天的文章中,我来讲述如何使用 GeoJSON 来创建一些边界。这对于展示一些搜索非常有用。GeoJSON 文件格式我们首先来看一下一个简单的 GeoJSON 文件格式:sample.json.

2021-04-15 17:29:39 1341 7

原创 Kibana:运用 script fields 对数据进行清洗

在我的上一篇文章中,我详细地描述了如何使用 script fields 对搜索匹配的结果创建新的字段。这些字段的值基于 _source 或者 doc values 的值进行运算而形成的。在 Kibana 中,我们同样可以运用 scripted fields 来形成新的字段。我们甚至可以针对这些字段做数据分析。你可以详细地阅读我以前写过的文章: Kibana: 如何在 Kibana 中生成 Scripted fields Kibana:使用 Scripted fields 来提高数据的可观测性在

2021-04-15 09:25:39 735 1

原创 Elasticsearch:Script fields 及其调试

在之前的文章 “Elasticsearch:从搜索中获取选定的字段”,我有讲到过一些关于 script fields 的话题。在今天的文章中,我想就这个话题更进一步地详述。在搜索时,每个 _search 请求的匹配(hit)可以使用 script_fields(基于不同的字段)定制一些属性。这些定制的属性(script fields)通常是:针对原有值的修改(比如,价钱的转换,不同的排序方法等) 一个崭新的及算出来的属性(比如,总和,加权,指数运算,距离测量等)一个 _search 请求能定义多于.

2021-04-14 16:21:07 752

原创 Elasticsearch:Search-as-you-type 字段类型

search_as_you_type 字段类型是一个类似 text 的字段,经过优化,可以为提供按需输入完成情况的查询提供开箱即用的支持。 它创建了一系列子字段,这些子字段被分析以索引可被部分与整个索引文本值匹配的查询有效匹配的术语。 支持前缀完成(即,匹配项从输入的开头开始)和中缀完成(即,匹配项在输入中的任意位置)。将这种类型的字段添加到 mapping 时PUT my-index-000001{ "mappings": { "properties": { "my_f

2021-04-13 10:53:20 775

原创 Elasticsearch:Match phrase prefix query

在之前的练习 “开始使用Elasticsearch (2)”,我们描述了如何使用 match_phrase 来搜索结果,并保证每个词的顺序是一样的。在今天的文章中,我们来讲一下 match_phrase_prefix。这个在一些自动补全的搜索中还是蛮有用的。使用它进行搜索,它返回的结果包含所提供文字的顺序,并严格按照所给的顺序。 提供的文本的最后一个词被视为 prefix,与该词开头的任何单词匹配。比如,我们在 google 网站进行搜索:如上图所示,我们首先匹配的单词是 michael, j.

2021-04-13 08:50:27 332

原创 Elasticsearch:如何使用 Elasticsearch 和 Python 构建面部识别系统

你是否曾经尝试在图像中搜索对象? Elasticsearch 可以帮助你存储,分析和搜索图像或视频中的对象。在本快速教程中,我们将向你展示如何构建一个使用 Python 进行面部识别的系统。 了解有关如何检测和编码面部信息的更多信息-并在搜索中找到匹配项。在今天的练习中,我们将参照代码:https://github.com/liu-xiao-guo/face_detection_elasticsearch。你可以把这个代码下载到本地的电脑:$ pwd/Users/liuxg/python

2021-04-12 17:26:09 955

原创 Elasticsearch:一个关于 aggregation 的例子

今天的文章来自我一个国外同事的分享。通过这个例子,我们可以了解如何选择我们想要的聚合,排序,以及从 source 中提取字段。这个例子来源于一个需求,比如在 Elastic 有一个叫做 Contributor 的项目。鼓励大家来参加我们的社区分享。每次分享都会得到一个积分。在每个季度或者年度,我们会根据每个 Contributor 的积分进行排名,并得出最终的贡献奖。这里有一个问题就是。参加这个活动的每个 Contributor 都会对应于一个独一无二的邮件地址,但是每次分享他的名字可能会有不同。在

2021-04-12 09:26:57 615

原创 Elasticsearch:一些有趣的数据类型

Elasticsearch 中的每个字段都有一个字段数据类型或字段类型。 此类型指示字段包含的数据类型(例如字符串或布尔值)及其预期用途。 例如,你可以将字符串索引到文本字段(text)和关键字(keyword)字段。 这样做的目的是,将分析文本字段值以进行全文搜索,而将关键字字符串保持原样以进行过滤和排序。字段类型按 family 分组。 同一 family 中的类型支持相同的搜索功能,但可能具有不同的空间使用或性能特征。当前,关键字(keyword)family ,它由 keyword,cons

2021-04-10 19:39:53 4059 2

原创 Elasticsearch:消除 Elasticsearch 中的重复数据

重复数据在数据分析和搜索中会造成错误。在我们的实际使用中,我们应该避免重复导入的数据。重复数据有各种原因会造成。比如我们重复导入同样的数据。当我们写入文档时使用自动生成的 ID,那么同样的文档被导入两次,这样会造成同样的两个一样的文档会保存于 Elasticsearch 中尽管它们的 ID 会有不同。在我之前的文章 “Beats:如何避免重复的导入数据”,我详细描述了如果使用 Beats 导入数据时,避免重复数据。避免在 Elasticsearch 索引中重复始终是一件好事。 但是,通过消除重复项,你可

2021-04-07 12:21:02 3640 4

原创 Elastic:导入 Word 及 PDF 文件到 Elasticsearch 中

在很多实际的应用中,我们希望导入 Word 及 PDF 文件到 Elasticsearch 中。在我之前的文章 “Elasticsearch:如何对 PDF 文件进行搜索”, 我讲述了如何使用 ingest pipeline 来把 PDF 文件导入到 Elasticsearch 中。在今天的文章中,我将介绍另外一种方法来导入 PDF 及 Word 文件到 Elasticsearch 中。我们将采用一个开源的项目https://github.com/dadoonet/fscrawler来实现这个。...

2021-04-06 20:35:19 1172

原创 Elasticsearch:从搜索中获取选定的字段

在实际的搜索返回数据中,我们经常会用选择地返回所需要的字段或部分的 source。这在某些情况下非常有用,因为对于大规模的数据来说,返回的数据大下直接影响网路带宽的使用以及内存的使用。默认情况下,搜索响应中的每个匹配都包含文档 _source,这是在为文档建立索引时提供的整个 JSON 对象。 要检索搜索响应中的特定字段,可以使用 fields 参数:POST my-index-000001/_search{ "query": { "match": { "message":

2021-04-06 13:19:01 981 8

Ubuntu Core知识分享

介绍Ubuntu及其开发流程

2016-12-26

images.tar.gz

Pictures for tutorials

2014-09-10

Ubuntu core introduction

介绍Ubuntu Core, snapcraft,Ubuntu Core安全,商店

2016-08-31

Ubuntu上的HTML5开发

本文档介绍了如何在Ubuntu平台上开发HTML5的应用

2015-03-18

Ubuntu应用开发

在这个文档中介绍如何在Ubuntu平台上开发应用

2015-01-04

Scope开发介绍

在文档中介绍最新的在Ubuntu手机平台上的Scope开发知识

2015-06-29

Ubuntu手机介绍

介绍Canonical公司,Ubuntu手机平台,SDK。重点介绍Ubuntu手机平台上的Scope技术。

2015-01-16

Scope技术开发

这篇文章介绍了如何在Ubuntu平台上开发Scope。

2015-01-04

online account workshop

Ubuntu平台上的online account介绍

2015-02-03

Elastic 中国社区官方博客的留言板

发表于 2020-01-02 最后回复 2020-08-03

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除