Elasticsearch:如何对 PDF 文件进行搜索

Elasticsearch 通常用于为字符串,数字,日期等类型的数据建立索引。但是,如果要直接为 .pdf.doc 等文件建立索引并使其可搜索该怎么办?在 HCM,ERP 和电子商务等应用程序中有这种实时用例的需求。

在今天的这篇文章中我们来讲一下如何实现对 .pdf 或 .doc 文件的搜索。本解决方案使用于 Elasticsearch 5.0 以后的版本。

 

实现原理

我们采用如下的方法来实现把一个 .pdf 文件导入到 Elasticsearch 的数据 node 中:

如上图所示,我们首先把我们的.pdf文件进行Base64的处理,然后上传到 Elasticsearch 中的 ingest node 中进行处理。我们可以通过 Ingest attachment plugin 来使得 Elasticsearch 提取通用格式的文件附件比如  PPT, XLS 及 PDF。最终,数据进行倒Elasticsearch 的 data node 中以便让我们进行搜索。

在下面的章节中,我们来逐步介绍如何实现。

 

导入 pdf 文件到 Elasticsearch 中

 

准备 pdf 文件

我们可以使用我们的 word 或其它编辑软件来生产一个 pdf 的文件。暂且我们叫这个文件的名字为 sample.pdf 文件。而它的内容非简单:

在我们的 sample.pdf 文件中,我们只有一句话 “I like this useful tool”。

 

安装 ingest attachment plugin

ingest attachment plugin 允许 Elasticsearch 通过使用 Apache 文本提取库Tika提取通用格式(例如 PPT,XLS 和 PDF)的文件附件。 Apache Tika 工具包可从一千多种不同的文件类型(例如 PPT,XLS 和 PDF)中检测并提取元数据和文本。 所有这些文件类型都可以通过一个界面进行解析,从而使 Tika 对搜索引擎索引,内容分析,翻译等有用。

源字段必须是 base64 编码的二进制。 如果不想增加在 base64 之间来回转换的开销,则可以使用 CBOR 格式而不是 JSON,并将字段指定为字节数组而不是字符串表示形式。 然后,处理器将跳过base64解码。

可以使用插件管理器安装此插件:

sudo bin/elasticsearch-plugin install ingest-attachment

该插件必须安装在集群中的每个节点上,并且每个节点必须在安装后重新启动

等我们安装好这个插件后,我们可以通过如下的命令来查看该插件是否已经被成功安装好了。

./bin/elasticsearch-plugin list

如果安装正确,我们则可以看到如下的输出:

 

创建 attachment pipeline

我们可以在我们的 Ingest node 上创建一个叫做 pdfattachment 的 pipleline:

PUT _ingest/pipeline/pdfattachment
{
  "description": "Extract attachment information encoded in Base64 with UTF-8 charset",
  "processors": [
    {
      "attachment": {
        "field": "file"
      }
    }
  ]
}

转换 pdf 文件并上传 pdf 文件的内容到 Elasticsearch中

对于 ingest attachment plugin来说,它的数据必须是 Base64 的。我们可以在网站 Base64 encoder 来进行转换。针对我们的情况,我们直接通过脚本的方法来进行操作:

indexPdf.sh

#!/bin/bash
encodedPdf=`cat sample.pdf | base64`
json="{\"file\":\"${encodedPdf}\"}"
echo "$json" > json.file
curl -XPOST 'http://localhost:9200/pdf-test1/_doc?pipeline=pdfattachment&pretty' -H 'Content-Type: application/json' -d @json.file

在上面的脚本中,我们针对 sample.pdf 进行 base64 的转换,并生成一个叫做j son.file 的文件。在最后,我们把这个 json.file 文件的内容通过 curl 指令上传到 Elasticsearch 中。我们可以在 Elasticsearch 中查看一个叫做 pdf-test1 的索引。

我们可以在 terminal 中直接运行上面的脚本:

./indexPdf.sh

至此我们已经把pdf文件导入到 Elasticsearch 中了。

 

查看索引并搜索

我们可以通过如下的命令来查询我们的 pdf-test1 索引:

GET pdf-test1/_search

显示结果为:

在上面我们可以看出来,我们的索引中有一个叫做 content 的字段,它包含了我们的 pdf 文件的内容。这个字段可以同我们进行搜索。在上面我们也看到了一个很大的一个字段 file。它含有我们转换过的 base64 格式的内容。如果我们不想要这个字段,我们可以通过添加另外一个 remove processor 来除去这个字段:

PUT _ingest/pipeline/pdfattachment
{
  "description": "Extract attachment information encoded in Base64 with UTF-8 charset",
  "processors": [
    {
      "attachment": {
        "field": "file"
      }
    },
    {
      "remove": {
        "field": "file"
      }
    }
  ]
}

这样我们除去了那个叫做 file 的字段,那么修正后的索引内容为:

 

参考:

【1】https://qbox.io/blog/how-to-index-attachments-and-files-to-elasticsearch-5-0-using-ingest-api?utm_source=qbox.io&utm_medium=article&utm_campaign=powerful-pdf-search-elasticsearch-mapper-attachment

【2】https://www.elastic.co/guide/en/elasticsearch/plugins/current/ingest-attachment.html