当外界爆出0day或者高危通用漏洞时，安全工程师需要排查所有受影响产品和业务线。如果缺乏一种快速、统一的查询方式，将导致安全工程师浪费大量时间在受影响资产排查上，也将极大地降低安全应急的效率。应用指纹平台收集和展示web和主机应用相关指纹信息，提供快速的指纹检索能力，能够极大地提高安全应急速度，从而最大程度保障企业安全。

0x02 主机层面指纹识别

主机层面的指纹识别主要包括os、服务和类库的信息，以及端口和banner信息。端口和banner信息可以通过masscan + nmap的方式获取，而os、服务和类库的信息则需要服务器上的agent端获取。

端口扫描主要获取端口开放信息、服务以及端口对应banner，由于ip数量众多（公司活跃ip 5万+）， 如果只是用nmap扫描全端口，扫描时间将非常长，因此可以首先使用masscan对全ip进行粗略扫描，然后针对masscan获取到的ip和开放端口使用nmap进行精确测试：

端口扫描服务该内外网分开部署，同时进行镜像备份，并且在某一个扫描服务挂掉后立即拉起另一个扫描服务，并在挂掉的部分继续扫描，从而降低重复扫描开销，极大地保证扫描效果。目前来说可以将扫描8w+ip时间压缩在1天以内。
主机指纹采集，主机指纹采集的信息包括机器名、ip、组件名和版本，机器名和ip可以直接获取，组件名则根据规则制定。而获取版本则需要通过下发命令获取，为了排除服务器安装但未使用的服务，需要首先通过ps aux|grep servicename|grep –v “grep”判断指定服务是否开启；针对开启的服务、os或类库，有多种方式可以获取到版本：
1. 服务本身命令，例如php –v等
2. 读取特定文件获取版本，例如cat /etc/issue|awk ‘NR==1{print}’获取操作系统版本
3. 通过rpm查找，例如rpm –qa|grep “^libname-[0-9]\{1\}”
4. 通过文件md5获取，针对某些类库，直接上传类库md5，然后将md5与已知版本类库做比较。

0x03 代码指纹识别
    代码指纹识别是指在代码上线前识别代码中的应用指纹，例如java中使用的类库或者PHP中的web框架等。代码指纹可以复用白盒web指纹规则，同时由于不再以机器名为维度，改为通过代码库进行区分。代码指纹识别还可以与数据相关联，用于排查数据泄露。典型的识别规则为：
^import\s*[a-zA-Z0-9_,\s]*(?:cgi|flask|web|django|pyramid)(?:\.[a-zA-Z0-9_]+)*[a-zA-Z0-9_,\s]*$
通过正则可以识别python相关项目，准确性很高。而代码指纹还可以通过与线上机器名与ip关联，从而增加指纹数据维度。

考虑到安全应急场景下需要检索全字段、全文匹配的需求，指纹平台后端在进行指纹聚合时使用了 Elasticsearch 数据库；考虑到除了常态化的例行采集指纹之外，还会有高危应急特征的采集场景，指纹平台的后端实现了一个分布式的采集任务调度集群，以灵活支撑不同的任务类型、优先级。
指纹平台总体可以分为三个部分，Web展示、交互与采集和数据处理部分，整体架构如下图。

所有的采集请求会先通过对外接口进行基本的信息校验，然后转发给任务管理模块创建采集任务。
任务管理模块接收到请求后会创建采集任务、记录相应信息，然后根据任务类型执行不同操作。对依赖外部平台的任务，任务管理模块会转发通知给外部平台进行采集；不依赖外部平台的任务则构造任务生成请求并写入任务生成队列。

任务生成模块负责对任务进行细粒度的拆分，例如针对公司所有对外的域名库、IP库甚至 Url 库进行指纹采集时，任务生成模块可以根据需求将任务拆分成多个粒度更小的子任务，以增加任务的并行能力，减少指纹采集的耗时。同时，任务生成模块也会在任务拆分的同时，针对不同类型的任务为子任务设置不同的优先级，这个优先级将会影响不同任务的子任务之间的执行顺序。例如在某些安全应急场景下，安全应急工程师希望针对一条全新的指纹特性进行快速扫描，只需要创建一个安全应急采集任务，它对应的所有子任务都将会以最高优先级执行。

一个采集任务最终能否被执行，在什么时间以怎样的顺序执行，这一切都是由任务调度模块来决定的，任务调度模块的核心是对执行的控制和状态的跟踪。所有生成后的子任务最终都会被写入到任务调度队列等待执行。指纹采集器会主动向任务调度模块请求子任务进行执行，任务调度模块会根据子任务的优先级、等待时间、子任务采集目标的闲忙状态，采集器的类型等因素来决定是否提供以及提供哪个子任务给采集器执行。任务调度模块也维护着所有采集任务与子任务之间的关联，所有子任务的执行状态。当一个子任务执行完成后，会将采集到的数据发送给数据处理模块。当一个任务的所有子任务都执行完成后，会通知任务管理模块任务结束。

指纹采集器是采集任务最终落地执行的部分，在指纹平台中，指纹采集器根据其所在的机房、机器的配置等信息被分为不同的类型，指纹采集器向任务调度模块请求任务、执行并最终将采集结果发回给任务调度模块。

数据处理模块负责采集结果的处理和入库，指纹平台最终提供查询的数据涉及了不同的指纹类型、不同的采集方式，数据处理模块会根据指纹类型的对应更新聚合指纹库。值得一提的是，指纹的聚合也同样是依托于使用场景的，指纹平台的聚合指纹库中，实际分别存储了基于不同使用场景维度的指纹信息。比如用户想要搜索一个标签为Nginx 的信息时，可能是想要搜索安装了 Nginx 服务的机器，也可能是想要搜索使用 Nginx 提供后端服务的域名。所以不要将所有类型的指纹数据都尝试强行聚合到一起，这样在使用时会带来不便。

指纹数据主要参照shodan和zoomeye，以卡片形式展示，同时支持多语法搜索，包括的信息有：

• 端口信息：开放端口、banner以及服务名

• 组件名：web和主机组件，组件名称和组件版本号（如果存在）

• 主机信息：操作系统类型、服务列表、类库以及各自版本

• 元数据：主要为通过各个扫描方式获取上报的指纹信息原始字符串，包括域名、url、web返回响应信息

• 资产信息：包括ip、域名以及归属人、最后登录人等，便于应急排查过程中定位到具体的业务方

搜索语法主要是为了方便使用者快速查询信息，支持key=value形式搜索方式，部分语法为：

本文转自 EnsecTeam，作者arnoxia、lSHANG，原文链接