Elasticsearch:同步 MongoDB 数据到 Elasticsearch

MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。MongoDB 是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。Elasticsearch 是一个高效强大的大数据搜索引擎。它的 Speed, Scale 及 Relevance 是很多数据库不具有的。通过 Elasticsearch 的高效搜索引擎,我们可以快速地搜索相关的内容,我们也可以使用 Kibana 所提供的可视化为数据提供洞察。在今天的文章中,我将介绍如何把 MongoDB 里的数据同步到 Elasticsearch。如果你对 JDBC 的数据同步到 Elasticsearch,请参阅我之前的文章 “Logstash:如何使用 Logstash 和 JDBC 确保 Elasticsearch 与关系型数据库保持同步”。

在今天的练习中,我将使用如下的系统结构:

在上面的系统中,我有三个机器:两个运行 Ubuntu OS 20.04 及一个运行 MacOS 的电脑。在两个 Ubuntu OS 上分别运行 MongoDB,而在 MacOS 上运行有 Elasticsearch 及 Kibana,同时我们还在它上面运行了一个 docker。在 docker 里运行 Monstache。Monstache 是一个 Go 语言写的应用,用来实时同步 MongoDB 里的数据到 Elasticsearch。在这里必须说明的一点是:为了能够使得 MongoDB  和 Elasticsearch 同步,我们必须针对 MongoDB 部署一个 replica set。Monstache 使用 MongoDB 的 oplog 作为事件源。 你将需要确保通过部署副本集将 MongoDB 配置为生成操作日志。

 

安装

Elasticsearch

我们可以阅读文章 “如何在 Linux,MacOS 及 Windows 上进行安装 Elasticsearch” 安装到 MacOS 上或者你自己喜欢的系统上。因为为了让 Elasticsearch 能够正常被  Docker 所访问,所以,我们需要对它的配置做一些小的改动:

config/elasticsearch.yml

network.host: 0.0.0.0
discovery.type: single-node

通过这样的配置,我们的 Elasticsearch 可以同时以  http://localhost:9200 及 http://privateIP:9200 访问。配置完后,启动 Elasticsearch。

Kibana

我们可以通过参阅文章 “Kibana:如何在 Linux,MacOS 及 Windows 上安装 Elastic 栈中的 Kibana” 来按照 Kibana。

MongoDB

我们可以参考链接来安装 MongoDB。简单地说:

在 Terminal 中打入如下的命令:

wget -qO - https://www.mongodb.org/static/pgp/server-4.4.asc | sudo apt-key add -

然后执行如下的命令:

echo "deb [ arch=amd64,arm64 ] https://repo.mongodb.org/apt/ubuntu focal/mongodb-org/4.4 multiverse" | sudo tee /etc/apt/sources.list.d/mongodb-org-4.4.list

针对不同的 Ubuntu 版本,有不同的命令。

接着执行如下的命令:

sudo apt-get update
sudo apt-get install -y mongodb-org

我们安装上面的步骤针对两个 Ubuntu 的机器分别部署。接下来,我们需要针对这两个 Ubuntu 机器上的 MongoDB 进行配置。首先使用你喜欢的编辑器打开文件 /etc/mongod.conf

/etc/mongod.conf

我们针对两个机器分别进行配置。请注意上面的 bindIp,针对不同的机器,它们的私有 IP 地址是不同的。另外一个集群的配置是这样的:

经过上面的配置后,我们在两个 Ubuntu 机器上分别启动 MongoDB 的服务:

sudo service mongod start

我们可以通过如下的命令来查看 MongoDB 服务的运行状态:

service mongod status

如果能看到上面的 active 状态,则表示我们的 MongoDB 运行正常。我们接着在 terminal 中打入如下的命:

mongo 192.168.0.4

请注意上面的 IP 地址是当前机器的 private IP 地址。我们接着打入如下的命令:

rs.initiate()

我们可以打入 rs.status() 命令来查看 replica 的状态。当前的 MongoDB 为 primary。

这样我们就配置好了 MongoDB 的 replica set。我们可以在 Primary 的 MongoDb 里创建一个数据库:

在上面我们在 PRIMARY 的机器里创建了一个叫做 mydatabase 的数据库。我们回到 SECONDARY 的机器里来查看:

在 SECONDARY 里,我们看不到任何的东西。我们可以使用如下命令:

rs.slaveOk()

在上面,我们可以看到 mydatabase 已经被复制过来了。在 SECONDARY  MongoDB 里,我们不可以创建任何的数据库:

 

Monstache

正对 Monstache 有两种安装方法,一种是直接从地址 https://github.com/rwynn/monstache 下载源码,并使用 Go 的环境进行编译。在今天的练习中,我将使用 Docker 来部署。我们在自己的电脑中创建如下的一个文件结构:

$ pwd
/Users/liuxg/demos/monstache
$ tree -L 3
.
├── docker-compose.yml
└── monstache
    ├── config.toml
    ├── logs
    │   └── error.log
    └── scripts
        └── collection_name.js

3 directories, 4 files

为了配置容器,我们定义 docker-compose.yml 文件如下:

docker-compose.yml

version: '3'
services:
    monstache_container_name:        
        image: rwynn/monstache:latest        
        container_name: container_name       
        working_dir: /monstache        
        command: -f ./config.toml        
        volumes:          
            - ./monstache:/monstache/        
        ports:          
            - "8080:8080"        
        restart: always        
networks:  
    app-network:    
        driver: bridge

为了配置 monstache 的管道,我们配置 config.toml 如下:

config.toml

mongo-url = "mongodb://192.168.0.4:27017" 
elasticsearch-urls = ["http://192.168.0.3:9200"]
elasticsearch-user = "elastic"
elasticsearch-password = "password"
direct-read-namespaces = ["test.mycol"]
change-stream-namespaces = ["test.mycol"] 
[logs]
error = "./logs/error.log" 
[[mapping]]
namespace = "test.mycol" 
index = "mongodb"
 
[[script]]
namespace = "test.mycol"
path = "./scripts/collection_name.js"
routing = true

在上面:

  • mongodb-url:这个是你的 mongodb 的地址
  • elasticsearch-url:这个是你的 Elasticsearch 的地址
  • elasticsearch-user:访问 Elasticsearch 所需要的账号
  • elasticsearch-password:访问 Elasticsearch 所需要的密码
  • direct-read-namespaces:此选项允许你直接将集合从 MongoDB 复制到 Elasticsearch。 Monstache 允许过滤实际索引到 Elasticsearch 的数据,因此你不一定需要复制整个集合。 在上面,我们同步数据库 test 中的 mycol 集合。
  • change-stream-namspace:实时通知以告知 Elasticsearch 所有写入文档,包括指定集合中的删除和更新。

[logs]: 记录错误信息

[mapping]: 改写默认的索引名称。在上面我们的索引名称为 mongodb

[[script]]:是一种中间件,能够转换,删除文档或定义索引元数据。 可以使用 Javascript 或 Golang 作为插件编写该中间件。

用于转换文档的脚本示例。

module.exports = function (doc) {
    delete doc._id;
    //TODO
    return doc;
}

我们把上面的内容复制到 collection_name.js 文件中去。

好了到此为止,我们的配置已经完成。我们可以使用如下的命令来启动 Monstache:

docker-compose up -d

 

测试数据同步

我们到 MongoDB 的  PRIMARY 中打入如下的命令:

我们启动 Kibana 来进行查看索引 mongodb:

至此,我们完成了从 MongoDB 的数据实时地同步到 Elasticsearch。

已标记关键词 清除标记
相关推荐