【万象】COSMOS安全分析与管理平台 数据接入 使用介绍
1、数据接入
（1）新增安全设备
①、在配置中心中选择设备管理，安全设备管理，新增设备，填写设备ip，名字等信息。（ip写好确认后不可修改）sp15以后版本会自动加入syslog采集探针。
（设备类型中：长亭产品（除TA外）选择-产品内置对应设备），其他厂家设备按类别选即可（保存后可以更改）
（2）查看非标日志
万象收到设备的数据，匹配到开启的相关解析规则则入库，日志检索里边可查；如果，没有规则命中，则进入非标日志中。可复制相关日志，作为样本配置解析规则。一般字符串解析异常需要在字段管理中新增对应字段，或者更改字段类型。
（3）配置外发参数选择
syslog外发形式（在要接入万象的安全设备上配置syslog外发）：
端口选择514
传输协议尽量选择UDP传输
支持json、键值对格式的日志，发送可以正则解析的日志也可以
2、数据解析
（1）配置解析规则
解析规则用来解析接入的数据，获取相关的安全信息，解析成功则入库（日志检索可查），入库信息用以展示、关联分析、聚合分析等使用
解析方式可选择JSON、XML、键值对、正则匹配的方式（sp15版本后支持正则框粘贴）
编写规则时，解析字段包含目的ip、端口，源ip、端口，时间，事件类型等基本信息，尽可能的将有价值的信息解析，相关类型可以选择对应的映射。
（2）新增解析字段
内置丰富解析字段可以满足绝大多数安全日志的解析需要，解析字段可以自定义添加
（3）新增映射字段
内置70+映射字段，映射字段也可以根据需要添加
映射规则案例如下：
非标中出现字符串映射数值解析异常，很有可能是映射前取值这里不包含非标中的有些数值，添加即可。
3、日志检索
（1）全量检索
解析成功后的数据可以在日志检索中查询到。展示方式有概览模式和详情模式（下图右侧方框），还可以点设置按钮调整展示的顺序和展示哪些信息。可根据事件等级（高危、中危、低危）等检索，如下图
（2）条件筛选
条件筛选时，选择字段，用大于、等于、包含等信息筛选，条件和条件之间可以是或者（or）的关系，也可以是并且（and）的关系。规则可保存
4、数据样例
（1）json数据样例
有":"":"",{}等字符
{"id":102520,"attack_type":"代码注入","risk_level":"高危","risk_level_num":3,"action":{"value":1,"translation":"拦截"},"protocol":"http","country":"","website":"http://121.196.109.106/shell.php","event_id":"4eebba7715014f36b043ce3e3bba4029","timestamp":"1634197695","province":"","src_ip":"123.101.10.14","dest_port":80,"host":"121.196.109.106","url_path":"/shell.php","rule_id":"m_rule/9bf31c7ff062936a96d3c8bd1f8f2ff3","detector":"chaitin-safeline","proxy_name":"","src_port":26851,"dest_ip":"121.196.109.106","req_header_raw":"GET /shell.php HTTP/1.1\r\nHost: 121.196.109.106\r\nConnection: keep-alive\r\nPragma: no-cache\r\nCache-Control: no-cache\r\nUpgrade-Insecure-Requests: 1\r\nUser-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36\r\nAccept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9\r\nAccept-Encoding: gzip, deflate\r\nAccept-Language: zh-CN,zh;q=0.9\r\n\r\n","req_body":"","resp_header_raw":"","resp_body":"","payload":"","session":{},"location":"urlpath","decode_path":"","extra":{},"module":"情报模块","reason":"代码注入"}
（2）键值对数据样例
KV内部分隔符（如=），KV外部分隔符（如空格 ，；）
<717>Sep 4 15:04:51 host WAG: SerialNum=2213401907179999 GenTime="2019-09-04 15:04:51" Module=HTTP_SQL....... SrclP=100.100.100.83 DstlP=100.100.100.92 SrcPort=10584 DstPort=80 ln=gel/4 Out=gel/3 Action=drop URL="100.100.100.92/dvwa/vulnerabilities/sqli/?id=l+and+l%3Dl&Submit=Submit" Content="[HTTP_SQL_...... (141-sqlLselect_01)]red_begin URL::id=l+and+l%3Dl red_end ;HOST=100.100.100.92;URL=/dvwa/vulnerabilities/sqli/?id=l+and+l%3Dl&Submit =Submit;REF=http://100.100.100.92/dvwa/vulnerabilities/sqli/;“ EvtCount=l Evt_level=40 Evt_type=SQL.... Evt_log_level=5 Host=100.100.100.92 Evt_response=4224 BeforeNat= Method=GET
（3）正则数据样例
可以用正则规则匹配框架
Feb 27 19:15:29 node01 33.1: 触发高危命令(WARNING)(id=S2UNUMCCK0M3ML, service=cmdcheck, action=confirm(pass), server=CentOS(10.10.33.30), account=root, identity=user01(用户1), from=10.10.67.15, command=systemctl restart network, protocol=ssh)
5、培训视频
6、字段说明案例
解析日志时，首先复制日志去已经有规则验证一下，如果没有，可以导入该厂商现有的规则中测试一下，还是没有的话就自己解析。最好可以有字段说明，目前天眼、绿盟、青藤、等设备syslog说明文档、已有规则都有，看链接https://wiki.chaitin.net/pages/viewpage.action?pageId=387359277
（1）天眼syslog格式说明为例
syslog格式说明
1.1 系统日志
1.1.1 字段说明
字段名称字段含义
name 警告内容
value 当前值
1.1.2 范例
发送syslog的格式为 ： (facility = local3，日志级别为：warning)，发送时间，客户端IP，日志类型， 日志
2021-06-20 15:10:52|!10.48.95.78|!log|![{"name": "空闲CPU百分比太低", "value": 19.7}, {"name": "15分钟平均CPU负载太高", "value": 35.1}]
1.2 告警日志
1.2.1 字段说明
类型一：流量传感器
字段名称字段含义
attack_type 攻击类型
host_state 攻击结果
ioc 情报内容
rule_key 规则键值
access_time 发生时间
alarm_sip 受害IP
nid IOC唯一编号
attack_sip 攻击IP
vuln_type 威胁类型
host 域名
hazard_level 威胁级别
super_type 一级告警类型
type 告警类型
_origin 原始日志
alarm_sample 告警样本
alarm_source 告警来源
attack_chain 二级攻击链编号
attack_org 攻击组织
branch_id 级联设备序列号
file_name 文件名称
first_access_time 首次发生时间
hazard_rating 威胁级别名称
is_delete 是否删除
is_web_attack 是否WEB攻击
is_white 是否白名单
repeat_count 告警次数
rule_desc 规则描述
rule_state 规则状态
sip_ioc_dip SIP_IOC_DIP
skyeye_id 原始日志ID
skyeye_index 原始日志索引
skyeye_type 原始日志类型
super_attack_chain 一级攻击链编号
type_chain 告警类型编号
update_time 更新时间
x_forwarded_for XFF代理
rule_labels 规则标签
att_ck ATT&CK
serial_num 传感器设备序列号
file_md5 文件MD5
host_md5 Host-MD5
rule_id 规则ID
rsp_status 响应状态码
skyeye_serial_num 告警来源设备序列号
alarm_id 告警id
payload 载荷内容
proto 协议
white_id 白名单ID
sip 源IP
dip 目的IP
src_mac 源MAC地址
dst_mac 目的MAC地址
vlan_id VLAN编号
sport 源端口
dport 目的端口
asset_group 资产分组
dip_group 受害IP资产组
sip_group 攻击IP资产组
sip_addr 源IP地理信息
dip_addr 目的IP地理信息
confidence 置信度
_origin(原始日志)和payload（载荷内容）字段说明
类别1：原始日志为网页漏洞利用(webids-webattack_dolog)类型的流量传感器
_origin原始日志字段
字段名称字段含义
rsp_status 响应状态码
sip 源IP
public_date 发布时间
vuln_name 威胁名称
uri URI
detail_info 告警详细信息
xff XFF代理
solution 解决方案
vuln_type 威胁类型
vuln_desc 攻击描述
write_date 写入时间
code_language 使用语言
dport 目的端口
vuln_harm 攻击威胁
sport 源端口
dip 目的IP
site_app 建站APP
payload载荷内容字段
字段名称字段含义
req_header 请求头
req_body 请求体
rsp_body 响应体
rsp_header 响应头
类别2：原始日志为webshell上传(webids-webshell_dolog)类型的流量传感器
_origin原始日志字段
字段名称字段含义
sip 源IP
file_dir 文件传输方向
detail_info 告警详细信息
xff XFF代理
uri URI
rule_name 规则名称
write_date 写入时间
attack_desc 攻击描述
dport 目的端口
attack_harm 攻击危害
sport 源端口
dip 目的IP
payload载荷内容字段
字段名称字段含义
req_header 请求头
req_body 请求体
rsp_body 响应体
file 文件
rsp_header 响应头
类别3：原始日志为网络攻击(webids-ids_dolog)类型的流量传感器
_origin原始日志字段
字段名称字段含义
ids_rule_version 规则版本
sip 源IP
description 描述
vuln_type 威胁类型
attack_method 攻击方法
cnnvd_id CNNVD编号
detail_info 告警详细信息
1.3 原始告警
1.3.1 字段说明
告警字段一：webids-webattack_dolog 网页漏洞利用
字段名称字段含义
attack_type 攻击类型
attack_type_all 攻击类型（全）
referer HTTP-来源
file_name 文件名
agent HTTP agent
victim 受害者
sport 源端口
rsp_status 响应状态
sip 源IP
severity 危害级别
rsp_body_len 响应体长度
serial_num 采集设备序列号
rsp_content_type 响应内容类型
parameter HTTP请求参数
method 攻击方法
req_body 请求体
req_header 请求头
dport 目的端口
dolog_count 告警次数
dip 目的IP
rule_id 规则ID
confidence 确信度
detail_info 告警详细信息
solution 解决方案
vuln_desc 攻击描述
vuln_harm 攻击危害
vuln_name 威胁名称
vuln_type 威胁类型
webrules_tag web攻击类规则标签
public_date 发布时间
code_language 使用语言
site_app 建站APP
kill_chain 攻击链
xff xff代理
intranet_rule_all 内部网络规则
kill_chain_all 攻击链（全）
attack_result 攻击结果
rule_name 规则名称
host 域名
cookie cookie
write_date 写入时间
attacker 攻击者
victim_type 受攻击者类型
attack_flag 攻击标识
uri URI
rsp_content_length 响应内容长度
rule_version 规则版本
rsp_body 响应体
rsp_header 响应头
proto 协议
att_ck_all ATT&CK
告警字段二：webids-webshell_dolog webshell上传
字段名称字段含义
attack_type 攻击类型
attack_type_all 攻击类型（全）
attack_flag 攻击标识
sip 源IP
write_date 写入时间
victim 受害者
file_dir 文件目录
url URL
victim_type 受攻击者类型
file_md5 文件MD5
serial_num 采集设备序列号
attacker 攻击者
host 域名
file 文件
dport 目的端口
sport 源端口
dip 目的IP
rule_id 规则ID
severity 危害级别
confidence 确信度
detail_info 告警详细信息
attack_desc 攻击描述
attack_harm 攻击危害
rule_name 规则名称
kill_chain 攻击链
kill_chain_all 攻击链（全）
attack_result 攻击结果
xff xff代理
req_body 请求体
req_header 请求头
rsp_body 响应体
rsp_header 响应头
filename 文件名
proto 协议
att_ck_all ATT&CK
告警字段三：webids_ids_dolog 网络攻击
字段名称字段含义
attack_type 攻击类型
attack_type_all 攻击类型（全）
dip 目的IP
packet_data 载荷内容
victim 受害者
sport 源端口
affected_system 影响的系统
sip 源IP
severity 危害级别
detail_info 告警详细信息
attacker 攻击者
packet_size 载荷大小
info_id 漏洞编号
description 网络攻击描述
sig_id 特征编号
rule_name 规则名称
write_date 写入时间
protocol_id 网络攻击协议
attack_method 攻击方法
attack_flag 攻击标志
rule_id 规则ID
serial_num 采集设备序列号
appid 应用ID
dport 目的端口
vuln_type 威胁类型
victim_type 受攻击者类型
bulletin 解决方案
confidence 确信度
webrules_tag web攻击类规则标签
ids_rule_version IDS规则版本号
cnnv
