蓝队技能-应急响应篇&日志采集&提取查看&自动化分析Web安全&内网攻防&工具项目
知识点
1、应急响应-系统日志收集-项目工具
2、应急响应-系统日志查看-项目工具
3、应急响应-日志自动分析-项目工具
一般地，当已经部署商业化安全产品之后，日志都会被自动化地分析，本节主要讲手动利用一些开源工具进行日志分析。大量日志数据需要使用专业的elk框架进行分析，这是下节课程内容。
日志分析整体上分为3个流程
- 日志采集(人工分析/工具分析)
- Windows系统
- Linux系统
- Mac
- Web
- 安卓
- IOS
- 数据库等各类应用日志
- 提取查看：不同于文本编辑软件，日志查看工具可视化更好
- 自动分析(人工分析/工具分析)
演示案例
蓝队技能-工具项目-日志收集&提取查看&自动分析
日志自动提取
七牛Logkit
1、七牛Logkit：(Windows&Linux&Mac等)
项目地址：https://github.com/qiniu/logkit
其支持下列应用日志提取
- File: 读取文件中的日志数据，包括csv格式的文件，kafka-rest日志文件，nginx日志文件等,并支持以grok的方式解析日志。
- Elasticsearch: 读取ElasticSearch中的数据。
- MongoDB: 读取MongoDB中的数据。
- MySQL: 读取MySQL中的数据。
- MicroSoft SQL Server: 读取Microsoft SQL Server中的数据。
- Postgre SQL: 读取 PostgreSQL 中的数据。
- Kafka: 读取Kafka中的数据。
- Redis: 读取Redis中的数据。
- Socket: 读取tcp\udp\unixsocket协议中的数据。
- Http: 作为 http 服务端，接受 POST 请求发送过来的数据。
- Script: 支持执行脚本，并获得执行结果中的数据。
- Snmp: 主动抓取 Snmp 服务中的数据。
使用方法
在logkit.conf配置好端口号等信息之后，命令行输入logkit.exe -f logkit.conf运行，程序会生成一个Web页面，按照配置访问指定端口即可配置
在配置的3000端口访问Web服务，添加日志采集或系统信息采集，即可采集日志信息
如系统采集器可以采集如下等信息，根据提示进行配置，点击运行即可开始采集
工具还支持数据解析与变换比如
Parsers：针对整体数据的解析，支持包括json、csv、grok等大多数主流日志解析方式。
Transforms：针对字段做数据变换，支持包括字符串操作、ip扩展等多种数据变换方式。
具体操作见项目页介绍
观星应急工具
2、观星应急工具：（Windows系统日志）
SglabIr_Collector是qax旗下的一款应急响应日志收集工具，能够快速收集服务器日志，并自动打包，将收集的文件上传观心平台即可自动分析。
界面如下，点击开始即可进行日志采集，采集完成后，日志信息保存在软件的output目录下
spaceman日志分析工具
spaceman日志分析工具(提取日志分析版)用于提取本地日志的分析，能够自动提取本地各类日志
spaceman日志分析工具(本地日志分析版)用于直接分析本地日志，能够分析本地日志，如检索远程登录成功记录等
日志自动查看
Fulleventlogview
1、Fulleventlogview -windos日志事件查看器
https://www.nirsoft.net/utils/full_event_log_view.html
该工具自动提取、自动加载Windows日志，便于提取筛选日志信息，比Windows自带的日志查看可视化更好
LastActivityView
2、LastActivityView -windows活动记录分析
https://www.nirsoft.net/utils/computer_activity_view.html
该工具能够查看Windows的操作记录如文件打开记录、文件夹打开记录、用户登录记录等
日志自动分析
Web日志自动分析
Web - 360星图
1、Web - 360星图：仅支持IIS/Apache/Nginx等中间件日志，对Java中间件支持较少
配置config.conf，主要是配置日志文件路径，如log_file:E:\蓝队\223\分析、access.1og，还有其他自定义配置。配置之后，直接打开start.bat，会自动分析Web日志
分析结果输出在result目录下，如
结果以HTML文档形式输出，打开后如下图所示，会展示攻击IP分布、恶意IP列表、扫描行为、疑似漏洞利用等信息
该工具缺陷是仅支持常规中间件日志，不支持Java中间件日志
Web - GoAccess
2、Web - GoAccess：任何自定义日志格式字符串，仅做网站访问流量、访问速度、访问地区等记录，安全方面涉及少，不是用来分析攻击行为的）
https://github.com/allinurl/goaccess
使用手册：
输出报告：
goaccess -f /home/wwwlogs/access.log –log-format=COMBINED > /root/aa.html
实时监控：
goaccess -f /home/wwwlogs/access.log –log-format=COMBINED –real-time-html > /home/wwwroot/default/x.html
==2:11:06==
系统日志自动分析
Windows:
1、小巧简单解析Windows登录日志：
单机服务器有价值，内网的域服务器分析少
https://github.com/Fheidt12/Windows_Log
https://github.com/spaceman-911/WindowsLocalLogAnalysis
2、可视化解析Windows登录日志：
单机服务器有价值，内网的域服务器也有分析
项目地址：https://github.com/JPCERTCC/LogonTracer
搭建参考：https://mp.weixin.qq.com/s/h22VYZc86TNFlGbUQqLj9Q
3、这款工具更偏识别Windows日志中的威胁信息：
项目地址：https://github.com/countercept/chainsaw
使用Sigma规则搜索所有evtx文件以了解检测逻辑并以CSV格式输出到结果文件夹
chainsaw.exe hunt output/ -s sigma/ –mapping mappings/sigma-event-logs-all.yml -r rules/ –csv –output results
4、针对Windows事件日志的威胁搜寻统计数据来发现异常：
https://github.com/ahmedkhlief/APT-Hunter
d:\Python3.8\python.exe APT-Hunter.py -sigma -rules rules.json -p output/ -o Project2
Linux：
https://github.com/grayddq/GScan
https://github.com/enomothem/Whoamifuck
https://github.com/Ashro-one/Ashro_linux# Windows:
1、小巧简单解析Windows登录日志：
单机服务器有价值，内网的域服务器分析少
https://github.com/Fheidt12/Windows_Log
https://github.com/spaceman-911/WindowsLocalLogAnalysis
2、可视化解析Windows登录日志：
单机服务器有价值，内网的域服务器也有分析
项目地址：https://github.com/JPCERTCC/LogonTracer
搭建参考：https://mp.weixin.qq.com/s/h22VYZc86TNFlGbUQqLj9Q
3、这款工具更偏识别Windows日志中的威胁信息：
项目地址：https://github.com/countercept/chainsaw
使用Sigma规则搜索所有evtx文件以了解检测逻辑并以CSV格式输出到结果文件夹
chainsaw.exe hunt output/ -s sigma/ –mapping mappings/sigma-event-logs-all.yml -r rules/ –csv –output results
4、针对Windows事件日志的威胁搜寻统计数据来发现异常：
https://github.com/ahmedkhlief/APT-Hunter
d:\Python3.8\python.exe APT-Hunter.py -sigma -rules rules.json -p output/ -o Project2
Linux：
https://github.com/grayddq/GScan