Moloch: 网络流量收集与分析

Moloch扩展了您当前的安然根基架构,以标准PCAP款式存储和索引收集流量,供给快速的索引造访

背景

本篇文章主要先容Moloch溯源平台的支配以及共同Suricata实现对收集流量的监控与检测, 提取IOC的收集行径

需求

1. 具备NIDS能力;

2. 支持对全量数据包的存储;

3. 支持快速对多个节点中的数据包进行预览、下载等操作;

针对以上的需求, 直接支配Suricata基础可以满意主要2、3点的需求, 加倍方向溯源的偏向, Suricata在这一方面稍显欠缺首先, Suricata在触发了告警之后只会保存进击载荷(Payload)的数据包信息然则, 对付一些有趣的事故, 我们很可能会必要查看整笔会话(Flow)的内容, 这个时刻零丁的一个告警数据包并不能起到很好的溯源效果当然Suricata本身也供给了全数据包捕获的功能, 但由于没有Web界面的关系, 实际应用起来并不是很方便不过我们应用Suricata的实际需求照样珍视它的NIDS功能当然你也可以选择直接怼一个安然洋葱(Security Onion), Bro也是个很牛X NIDS然则这样一来对付蜜罐的机械设置设置设备摆设摆设就有所要求了

为了满意2、3点的需求, 我这边采纳的是MolochMoloch本身并不具备IDS功能, 好在Moloch-V1.5增添了Suricata的插件(suricata.so), 可以直接提取Suricata的告警信息并Merge到Moloch的数据中条件是你得安装Sruciata

Moloch: Moloch是一个开源,大年夜规模,完备的数据包捕获,索引和数据库系统为PCAP浏览,搜索和导出供给了直不雅简单的Web界面 Moloch公开了API,容许直接下载和应用PCAP数据和JSON款式的会话数据 Moloch以标准PCAP款式存储和导出所稀有据包,使您在阐发事情流程中也可以应用您爱好的PCAP摄取对象,例如: Wireshark

Suricata的安装措施就不阐述了, 网上随便找一篇即可这里主要说下Moloch的安装以及若何启用Sruicata插件的支持

注: 因为我主如果支配在蜜罐情况的宿主机上, 暂不斟酌机能问题 机能相关可参考: pfring_Settings

宿主机情况: Ubuntu 16.04 x64

1. 下载

Moloch

2. 安装

dpkg -i moloch-master_ubuntu16_amd64.deb

3. 设置设置设备摆设摆设

3.1 指定捕获网卡

对付情报网络我并不关注宿主机网卡的流量, 我只关注Docker上层容器的流量以是我这里网卡选择了docker0

这里会问你是否要安装ES, 我已经支配好了ES, 以是这里选择了NO, 接下来便是让你写你ES地址了, ES是存储SPI数据的, 你就理解成协议解析之后的数据就可以了

root@hujulongpan:/data/moloch/bin# /data/moloch/bin/Configure

Found interfaces: br-56add4565de5;br-ab64bc2f60bc;br-bb44b4b226cc;br-ff0873fcf29d;docker0;eth0;lo;veth350673b;veth41b53b9;veth6a5150e;veth8cb7c00;veth9d411c1;vethaa368c0;vethe528737;vethf1bf361

Semicolon ‘;’ seperated list of interfaces to monitor [eth1] docker0

Install Elasticsearch server locally for demo, must have at least 3G of memory, NOT recommended for production use (yes or no) [no] no

Elasticsearch server URL [http://localhost:9200] http://es_host:9200

Password to encrypt S2S and other things [no-default] hello_world!

Moloch – Creating configuration files

Not overwriting /data/moloch/etc/config.ini, delete and run again if update required (usually not), or edit by hand

Installing systemd start files, use systemctl

Download GEO files? (yes or no) [yes] yes

Moloch – Downloading GEO files

WARNING: timestamping does nothing in combination with -O. See the manual

for details.

3.2 启用Suricata.so插件支持

默认安装阶段不会让你选择是否启用Suricata的插件支持, 必要零丁改动设置设置设备摆设摆设文件

vim /data/moloch/etc/config.ini

plugins=suricata.so

suricataAlertFile=/var/log/suricata/eve.json # Suricata需开启eve.json

suricataExpireMinutes=60

注: 默认会因为权限问题导致报错

Jul 31 13:22:14 suricata.c:395 suricata_open(): ERROR – Permissions problem, can’t open suricataAlertFile ‘/var/log/suricata/eve.json’

办理措施:

– 添加读取权限

chmod o+r /var/log/suricata/eve.json

– 改动用户

vim /data/moloch/etc/config.ini

# User to drop privileges to. The pcapDir must be writable by this user or group below

dropUser=nobod # 指定用户

插件请戳: Plugins

3.3 按期删除PCAP

vim /data/moloch/etc/config.ini

# Delete pcap files when free space is lower then this in gigabytes OR it can be

# expressed as a percentage (ex: 5%). This does NOT delete the session records in

# the database. It is recommended this value is between 5% and 10% of the disk.

# Database deletes are done by the db.pl expire script

freeSpaceG = 5%# 根据实际环境进行调剂

3.4 bfp过滤无用数据

着实我这边已经指定抓取了Docker内部的流量, 宿主机本身的流量我是不进行抓取的. 以是基础上没有”脏”数据.

# bpf=not port 9200

3.5 Moloch Viewer Web User

/data/moloch/bin/moloch_add_user.sh admin “Admin User” THEPASSWORD –admin # 登岸Web的密码, 溯源的时刻用得着

3.6 初始化Elasticsearch数据库

/data/moloch/db/db.pl http://ESHOST:9200 init

3.7 启动进程

systemctl start molochcapture.service# Moloch 采集进程

[1] [2]下一页

systemctl start molochviewer.service# Moloch Web进程 (溯源时刻用的着)

假如没啥报错, 统统就搞定啦, 下面可以看下Moloch的基础功能

Moloch Viewer

http://x.x.x.x:8005 # Web默认端口 8005

Moloch支持在同一个Web界面上对多个节点的数据包进行查看以及下载, 可以加倍方便的对收集进击进行溯源

Moloch + Suricata的告警

Moloch 协议解析方面也比Suricata强

使用Moloch可以查询到可疑IP与外网IP的关联

src -> dst

dst -> src

src -> asn

被解析的协议字段均可做关联

SPI Data

Moloch 支持将SPI Data 数据发送到ES上, 可以看到SPI Data会记录同一笔会话中共触发了若干次告警及告警名称等信息. Moloch也赞助我们做了一层简单的聚合.

总结

Moloch 是一个很好的开源全流量捕获平台, 溯源起来也异常的方便, 我小我感觉从溯源阐发的角度来说比洋葱加倍方便不过在应用的时刻也发清楚明了一个问题Moloch貌似暂不支持将SPI Data发送到Redis或者Kafka, 今朝是直接发送到ES的, 这样流量一大年夜就担心丢数据我翻了一下Wiki并没有查到相关设置设置设备摆设摆设. 不知道是不是我有漏掉, 假如有知道的可以见告我一下, 谢谢!

第一次写文章, 有纰谬的地方还请各位小伙伴及时指出不喜勿喷, 感谢!

上一页[1] [2]

赞(0) 打赏
分享到: 更多 (0)
免责申明:本站所有资料均来自于网络,版权归原创者所有!本站不提供任何保证,不保证真实性,并不承担任何法律责任

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

阿里云优惠网 更专业 更优惠

阿里云优惠券阿里云大礼包