Security:如何安装 Elastic SIEM 和 EDR

Elastic Security 为分析人员提供了预防,检测和响应威胁的手段。 该解决方案解决了SIEM,endpoint,威胁搜寻等安全用例,使 SecOps 团队能够收集各种数据,执行自动化和分析师驱动的分析,并通过嵌入式工作流和自动化来应对安全威胁。在今天的文章中,我将介绍如何安装 Elastic SIEM 及 EDR。

在我的系统配置中,我们使用如下的结构:

我有两台机器,在其中的一台机器上安装有 Elasticsearch,Filebeat 及 Kibana,而在另外一台机器上安装有 endpoint agent。在今天的练习中,我将详细地介绍如何一步一步地完成整个安装。

 

安装 Elastic Stack 基础

尽管我在之前的很多文章中有介绍如何安装 Elastic Stack,我还是想一步一步地来详细介绍。就我而言,我使用的是 Elastic Stack 的最新版本7.11.1。对于我的 Elastic Stack 设置,我使用的是一个单台的 Ubuntu  20.04 机器。 该服务器将运行 Elasticsearch 和 Kibana。

安装 Elasticsearch

首先安装 transport-https

sudo apt-get install curl apt-transport-https

接下来,将 Elastic 仓库添加到你的源列表。

curl -s https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" | sudo tee /etc/apt/sources.list.d/elastic-7.x.list

然后更新。

sudo apt update

现在安装 Elasticsearch

sudo apt-get install elasticsearch 

对于中国有的开发者来说,上面的安装步骤可能会很慢,一种办法就是直接到网址 https://www.elastic.co/downloads/ 直接下载 Elasticsearch 的 deb 安装包,并按如下的命令来进行安装:

sudo dpkg -i elasticsearch-7.11.1-amd64.deb

安装 Elasticsearch 之后,我们需要对其配置文件进行几处更改。 该文件位于 /etc/elasticsearch/elasticsearch.yml 中。要访问此文件,你需要 root 特权。

首先,我们需要更改 network.host 值。 其默认设置为 localhost。 将其更改为安装了 Elasticsearch 的主机的 IP 地址。

cluster.name: demo-elk
node.name: elk-1
network.host: 0.0.0.0
discovery.type: single-node

安装完成后,Elasticsearch 在你启动之前不会运行。 另外,重新启动计算机时,你需要重新运行 Elasticsearch 服务,因为该服务不会自动启动。要使 Elasticsearch 在系统重新启动时自动重新加载,请使用以下命令。首先,重新加载 systemd 配置:

sudo systemctl daemon-reload

现在,你应该准备启动 Elasticsearch 并检查它是否已正确启动。

sudo service elasticsearch start

我们可以使用如下的命令来查看 elasticsearch 服务的状态:

service elasticsearch status

如上所示,如果我们看到 Elasticsearch 服务的状态为 active,则表明它的安装是成功的。

你还可以通过运行以下命令来检查 Elasticsearch 是否可从其他主机访问:

curl http://<elasticsearch_ip>:9200

输出应类似于以下内容:

 

安装 Kibana

运行以下命令以安装 Kibana。

sudo apt install kibana

对于中国有的开发者来说,上面的安装步骤可能会很慢,一种办法就是直接到网址 https://www.elastic.co/downloads/ 直接下载 Kibana 的 deb 安装包,并按如下的命令来进行安装:

sudo dpkg -i kibana-7.11.1-amd64.deb

一旦安装完成后,编辑 /etc/kibana/kibana.yml 并指定托管 Kibana 的 IP 地址。

server_port: 5601
server_host: 0.0.0.0
server_name: demo-kibana

在上面,我们可以只修改 server_host 即可,其它的我们可以使用默认的配置即可。设置 server_host 为 0.0.0.0 为的是我们可以在其它的机器上访问当前的 Kibana。我们可以使用 Ubuntu 机器的 IP 地址加上端口 5601 就可以访问了。

启动 Kibana 并检查其状态。

sudo service kibana start
sudo service kibana status

如果我们能看到状态为 active,则表明我们的安装是成功。我们可以通过另外一个电脑来访问 Kibana:

你如果能看到上面的画面,则表明你的安装是成功的。

 

安装 Beats

Filebeat 用于将数据从设备传送到 Elasticsearch。 对于不同的产品,有许多不同的 Filebeat 模块,它们以所需的格式将日志和数据发送到 Elasticsearch。 在此示例中,我们将模块用于 Zeek,但是 Elastic 也扩展了其对其他产品的支持,包括 AWS,CrowdStrike,ZScaler 等。

目前,我们只打算在运行 Zeek 的主机上安装 Filebeat,我们稍后会对其进行配置。

sudo apt-get install filebeat

对于中国有的开发者来说,上面的安装步骤可能会很慢,一种办法就是直接到网址 https://www.elastic.co/downloads/ 直接下载 Filebeat 的 deb 安装包,并按如下的命令来进行安装:

sudo dpkg -i filebeat-7.11.1-amd64.deb

安装 Zeek

现在,我们准备着手安装 Zeek。 首先,我们需要安装所有必备组件。 通过运行以下命令来执行此操作。

sudo apt-get install cmake make gcc g++ flex bison libpcap-dev libssl-dev python-dev swig zlib1g-dev

接下来,我们需要为 Zeek 创建工作目录,由于某些原因,Zeek 在安装时默认不执行此操作。

sudo mkdir /opt/zeek
sudo chown -R root:root /opt/zeek
sudo chmod 740 /opt/zeek

接下来下载带有 GIT 的 Zeek

git clone --recursive https://github.com/zeek/zeek

等下载完文件,进入 zeek 下载目录。 然后将我们先前创建的 /opt/zeek 目录设置为安装目录。

cd /home/$USER/zeek
./configure --prefix=/opt/zeek

在上面,我们假设你把 zeek 的文件 clone 到 home 目录下的 zeek 目录。现在,我们准备安装 Zeek,运行以下 make 命令,然后将其保留安装(这可能需要一些时间)

make
sudo make install

接下来,我们需要添加 PATH 环境变量

export PATH=/opt/zeek/bin:$PATH

我们可以在 /opt/zeek/etc 找到一个叫做 node.cfg 的配置文件。

# pwd
/opt/zeek/etc
root@liuxgu:/opt/zeek/etc# ls
networks.cfg  node.cfg  zeekctl.cfg  zkg

这个文件包含对 zeek 的节点配置。我们需要配置我们的 interface:

node.cfg

上面的 interface, 我们可以通过 ifconfig 命令来获得本机的接口。另外,我们需要安装 sendmail,否则在运行 zeek 时会发生无法找到 sendmail 的错误。

sudo apt-get install sendmail

现在,我们准备运行下面的命令来部署 Zeek。我们需要在 root 账号下运行:

zeekctl deploy

我们可以在 /opt/zeek/logs 目录里发现日志。“current” 目录保存当天的日志,而前几天的日志则存档到其自己的目录中。 还有一个针对不同数据类型的日志文件,例如 DNS 连接,HTTP 连接等。

让我们检查DNS日志

# pwd
/opt/zeek/logs
root@liuxgu:/opt/zeek/logs# ls
2021-02-24  current

配置安全

就目前而言,我们在 ELK 部署中拥有的唯一功能是日志提取和可视化。 我们可以将日志提取到 Elastisearch 中,并通过 Kibana 可视化来处理数据,但是缺少 SIEM 的核心功能。 我们无法建立检测或用例。 此功能不是“开箱即用”的,要使用它,我们必须首先在所有不同节点之间配置安全性。 X-Pack 是 Elastic 软件包,它基本上负责所有 Elastic Security 功能。

所需的一个关键组件是配置每个节点之间的 SSL 连接,可以通过多种方法进行。 我们也将使用 X-Pack 来执行此操作。

首先,在安装了 Elasticsearch 的主机上,我们需要创建一个 YAML 文件 /usr/share/elasticsearch/instances.yml,它将包含我们要使用 SSL 保护的不同节点/实例。 就我而言,我只有 Elasticsearch,Kibana 和 Zeek。

/usr/share/elasticsearch/instances.yml

instances:
    - name: "elasticsearch"
      ip:
        - "192.168.0.4"
    - name: "kibana"
      ip:
        - "192.168.0.4"
    - name: "zeek"
      ip:
        - "192.168.0.4"
    - name: "windows"
      ip:
        - "192.168.0.6"

请注意,在上面,192.168.0.6 是 Windows 的 IP 地址。在接下来的练习中,它将被用于 ingest agent 的安装中。接下来,我们将使用 Elastic 的 certutil 工具为我们的实例生成证书。 这也将生成一个证书颁发机构(Certificate Authority)。

/usr/share/elasticsearch/bin/elasticsearch-certutil cert ca --pem --in instances.yml --out certs.zip

这将为我们的每个实例创建一个 .crt 和 .key 文件,以及一个 ca.crt 文件。你可以使用 unzip 来解压缩不同的证书。

unzip /usr/share/elasticsearch/certs.zip -d /usr/share/elasticsearch/

现在我们有了我们的证书,我们可以配置每个实例。

 

配置 Elasticsearch SSL

首先,我们需要创建一个文件夹将你的证书存储在我们的 Elasticsearch 主机上。

mkdir /etc/elasticsearch/certs/ca -p

接下来,我们需要将解压缩的证书复制到其相关文件夹中并设置正确的权限。

cp ca/ca.crt /etc/elasticsearch/certs/ca
cp elasticsearch/elasticsearch.crt /etc/elasticsearch/certs
cp elasticsearch/elasticsearch.key /etc/elasticsearch/certs
chown -R elasticsearch: /etc/elasticsearch/certs
chmod -R 770 /etc/elasticsearch/certs

接下来,我们需要将 SSL 配置添加到我们的 /etc/elasticsearch/elasticsearch.yml 文件中。

/etc/elasticsearch/elasticsearch.yml

# Transport layer
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.key: /etc/elasticsearch/certs/elasticsearch.key
xpack.security.transport.ssl.certificate: /etc/elasticsearch/certs/elasticsearch.crt
xpack.security.transport.ssl.certificate_authorities: [ "/etc/elasticsearch/certs/ca/ca.crt" ]

# HTTP layer
xpack.security.http.ssl.enabled: true
xpack.security.http.ssl.verification_mode: certificate
xpack.security.http.ssl.key: /etc/elasticsearch/certs/elasticsearch.key
xpack.security.http.ssl.certificate: /etc/elasticsearch/certs/elasticsearch.crt
xpack.security.http.ssl.certificate_authorities: [ "/etc/elasticsearch/certs/ca/ca.crt" ]

现在重新启动 Elasticsearch。

service elasticsearch restart 

配置 Kibana SSL

现在,我们将重复此过程,但这一次是 Kibana。 Kibana 的配置略有不同。同样,将你的证书移动到正确的文件夹并设置正确的权限。

注意:以下步骤假定你正在运行独立的 ELK 配置。 如果你正在运行分布式部署,则需要将证书移至适当的主机。

mkdir /etc/kibana/certs/ca -p
cp ca/ca.crt /etc/kibana/certs/ca
cp kibana/kibana.crt /etc/kibana/certs
cp kibana/kibana.key /etc/kibana/certs
chown -R kibana: /etc/kibana/certs
chmod -R 770 /etc/kibana/certs

接下来,在文件 /etc/kibana/kibana.yml 中,在 Elasticsearch 和 Kibana 之间添加SSL设置。

/etc/kibana/kibana.yml

# The URLs of the Elasticsearch instances to use for all your queries.
elasticsearch.hosts: ["https://192.168.0.4:9200"]
elasticsearch.ssl.certificateAuthorities: ["/etc/kibana/certs/ca/ca.crt"]
elasticsearch.ssl.certificate: "/etc/kibana/certs/kibana.crt"
elasticsearch.ssl.key: "/etc/kibana/certs/kibana.key"

然后在同一文件中,在 Kibana 和浏览器之间添加配置。

# These settings enable SSL for outgoing requests from the Kibana server to the browser.
server.ssl.enabled: true
server.ssl.certificate: "/etc/kibana/certs/kibana.crt"
server.ssl.key: "/etc/kibana/certs/kibana.key"

然后,重新启动 Kibana。

service kibana restart

配置 Beats (Zeek) SSL

下一步,我们需要为运行 Zeek 和 Beats 的主机配置 SSL。 如果你没有运行 Zeek 或其他使用 Filebeats 模块的产品,例如 Suricata,Windows Event Log 等,则可以跳过此步骤。

首先将证书复制到运行 Zeek 的主机上,然后使用正确的权限创建证书目录。 您需要同时复制 Zeek 证书和 CA 证书。

mkdir /etc/filebeat/certs/ca -p
cp ca/ca.crt /etc/filebeat/certs/ca
cp zeek/zeek.crt /etc/filebeat/certs
cp zeek/zeek.key /etc/filebeat/certs
chmod 770 -R /etc/filebeat/certs

接下来,我们需要将更改添加到 /etc/filebeat/filebeat.yml。

首先,我们的 Elasticsearch 配置设置。

# Elastic Output
output.elasticsearch.hosts: ['192.168.0.4:9200']
output.elasticsearch.protocol: https
output.elasticsearch.ssl.certificate: "/etc/filebeat/certs/zeek.crt"
output.elasticsearch.ssl.key: "/etc/filebeat/certs/zeek.key"
output.elasticsearch.ssl.certificate_authorities: ["/etc/filebeat/certs/ca/ca.crt"]

然后是我们的 Kibana 配置设置。

setup.kibana:
  host: "https://192.168.0.4:5601"
  ssl.enabled: true
  ssl.certificate_authorities: ["/etc/filebeat/certs/ca/ca.crt"]
  ssl.certificate: "/etc/filebeat/certs/zeek.crt"
  ssl.key: "/etc/filebeat/certs/zeek.key"

然后重新启动 Filebeat。

service filebeat restart

现在,你可以通过运行以下命令来检查 FileBeats 是否可以连接到 Elasticsearch。 一切都应该返回“OK”。

filebeat test output

 

添加身份验证

我们还需要向 Elasticsearch 添加身份验证。 这很容易做到。 首先通过编辑 /etc/elasticsearch/elasticsearch.yml 启用安全

/etc/elasticsearch/elasticsearch.yml

# X-Pack Setting
xpack.security.enabled: true

设置完上面,我们必须重新启动 Elasticsearch:

service elasticsearch restart

接下来,我们需要为所有内置的 Elasticsearch 角色和用户生成密码。 Elasticsearch 附带了一个工具来执行此操作。 运行以下命令以生成这些密码并将其保存在安全的地方(密码管理器)。 

/usr/share/elasticsearch/bin/elasticsearch-setup-passwords interactive

为了方便,我将把所有的账号的密码都设置为 password。

我们可以通过另外一个机器来访问 ubuntu 机器 https://ubuntu.9200。当 Chrome 浏览器上出现如下的画面时:

我们在当前的页面打入如下的字符串:

thissisunsafe

我们就可以看到:

我们把用户名及密码 elastic/password 输入进去即可:

针对 Kibana,我们需要修改 /etc/kibana/kibana.yml 文件,并把相应的用户名及密码填入:

 /etc/kibana/kibana.yml

elasticsearch.username: "kibana_system"
elasticsearch.password: "password"

修改完后,我们必须重新启动 Kibana:

service kibana restart

我们也可以按照同样的方法来启动 Kibana https://ubuntu:5601。

接下来,将新创建的 Elasticsearch 凭证添加到我们的 Filebeat 配置文件中:

/etc/filebeat/filebeat.yml
# Elastic Credentials
output.elasticsearch.username: "elastic"
output.elasticsearch.password: "Your_Elastic_Pass_Here"

我们需要重新启动 Filebeat:

service filebeat restart

安装证书 - Mac OS

在上面我显示了如何打入 thisisunsafe 进入一个含有危险的网站。在实际的使用中,我们觉得还是不爽,我们可以使用如下的方式来安装证书。在下面的章节中,我们也会讲 Windows 下的证书安装。

按照上面的方法把证书拖动到桌面,并保存下来。在桌面上,我们将看到一个叫做 kibana.cer 文件。点击右键:

选择 Keychain Access 打开 kibana.cer 文件:

上面显示我们的证书已经被信任。我们再次访问 Kibana:

从上面可以看出来,该网站已经被信任,而不是之前显示的那样。这样我们再也不用打入 thisisunsafe 了。

 

添加 Zeek 数据到 Elasticsearch

我们可以通过 Filebeat 把 Zeek 的日志信息导入到 Elasticsearch 中去。首先,我们必须启动 zeek 模块。我们打开 Kibana 的界面:

里面有详细的步骤介绍如何配置 Filebeat。首先,我们需要使用如下的命令来启动 zeek 模块:

sudo filebeat modules enable zeek
$ sudo filebeat modules enable zeek
Enabled zeek

完成后,我们需要配置 Zeek 将 Zeek 日志转换为 JSON 格式。 首先,停止 Zeek 的运行。然后将 @load policy / tuning / json-logs.zeek 行编辑到文件 /opt/zeek/share/zeek/site/local.zeek

保存好文件,并重新启动 zeek:

zeekctl deploy

现在检查日志是否为 JSON 格式。 即使你不熟悉 JSON,日志的格式也应该与以前明显不同。

tail -f /opt/zeek/logs/current/dns.log

然后编辑配置文件 /etc/filebeat/modules.d/zeek.yml。 我们需要指定 Zeek 创建的每个单独的日志文件,或者至少指定我们希望 Elasticsearch 提取的日志文件。 对于 /opt/zeek/logs/ 文件夹中的每个日志文件,必须定义 “current” 日志的路径以及以前的任何日志,如下所示。

dns:
   enabled: true
   var.paths: [ "/opt/zeek/logs/current/dns.log", "/opt/zeek/logs/*.dns.json" ]

如果 opt 文件夹中有一些默认日志文件(例如 capture_loss.log),你不希望 Elasticsearch 提取这些文件,则只需将 “enabled” 字段设置为 false。 重要的是,将在 /opt/zeek/logs中没有日志文件的所有日志源设置为 enabled: false,否则会收到错误消息。 此外,请务必注意间距,因为 YML 文件对空格敏感。在我的 current 目录中我们可以看到如下的文件:

root@liuxgu:/opt/zeek/logs/current# ls
capture_loss.log  http.log            ntp.log            ssh.log     weird.log
conn.log          known_services.log  packet_filter.log  stats.log
dhcp.log          loaded_scripts.log  reporter.log       stderr.log
dns.log           notice.log          software.log       stdout.log

那么我们的  /etc/filebeat/modules.d/zeek.yml 最终格式为:

json

完成后,你应该可以很好地启动 Filebeat 并启动该服务。

sudo filebeat setup
sudo service filebeat restart

我们将在  Kibana 中看到如下的信息:

点击上面的 Zeek Overview 按钮, 我们将看到 Zeek 的信息:

如果你转到 SIEM 应用程序中的网络仪表板,则应该看到使用 Zeek!数据填充的不同仪表板! 这里的仪表板很好地概述了从网络中收集的一些数据。

 

启动检测

一旦完成上述所有步骤,并将数据提取到 Elasticsearch 中,你可能会注意到仍然无法创建检测。

点击上面的 View document。这是我们最后要完成的步骤。 编辑你的 Kibana 配置件 /etc/kibana/kibana.yml,然后添加 xpack.encryptedSavedObjects.encryptionKey。 我相信这可以是任何32个字符串。

xpack.security.enabled: true
# xpack.fleet.agents.tlsCheckDisabled: true
xpack.encryptedSavedObjects.encryptionKey: "something_at_least_32_characters"

重新启动 Kibana:

service kibana restart

经过上面的设置后,我们终于可以创建检测规则了:

 

安装 Endpoint agent

现在,我们准备安装 Elastic endpoint。首先,通过单击侧面菜单上管理标签下的链接,导航到 “Fleet” 仪表板。

如果我们现在将代理安装到 Windows 主机上,则会收到一个错误消息,即我们的自签名证书来自不受信任的来源,并且代理安装将失败。因此,我们需要做的是将我们的 CA 证书添加为 Windows 主机上的受信任证书。

 

安装证书 - Windows

首先在 Windows 搜索栏中搜索 “本地安全策略”。 然后转到 安全设置 > 公钥策略 > 证书路径验证设置

然后,选中“定义这些策略设置”,然后选中 “允许使用用户信任的根CA来验证证书” 和 “允许用户信任对等信任证书” 选项(如果尚未选中)。

最后,选中 “第三方根CA 和企业根CA”。单击 “应用”,然后单击 “确定”。

接下来在 Windows 搜索栏中搜索 certlm.msc。由于 agent 在  SYSTEM 用户下进行运行的,所以,我们必须把证书安装于 Local Machine。

然后转到 “受信任的根证书颁发机构” > “证书”,右键单击空白处的任意位置,然后选择 “所有任务” > “导入

然后简单地按照向导操作,并选择我们之前创建的 ca.crt。

 

安装 endpoint agent

现在,我们准备安 Elastic agent。 从 Fleet Dashboard 复制安装命令,并在该代理所在的 Windows 主机上使用 PowerShell 运行它。由于 Elastic Stack 是运行于另外一个机器上的,我们需要对它做一些配置。我们可以参考文章 “Elastic:Elastic Security 入门”。这里就不再详述了。

在我们安装 ingest agent 的时候,我们需要按照如下的方式来进行安装:

 

如上所示,我们使用 “Windows PowerShell” 管理员来运行 agent,从而它具有 SYSTEM 用户权限。

 我们也可以使用如下命令来进行安装 ingest agent 而不用安装上面的证书:

在上面,我们使用 -a 来定义证书的路径。一旦 enroll 成功,我们就可以看到:

我们可以看到状态变为 Healthy。

已标记关键词 清除标记
相关推荐