丰富化威胁情报平台的能力

翻译自英文文章：《Enriching Threat Intelligence Platforms Capabilities》。文章讲述一个丰富化的威胁情报平台的实现思路，以扩展当前 TIP 中的导入、质量评估过程和信息共享功能。原文链接在文后可见。

关键词：威胁情报平台、开源情报（OSINT）、数据丰富、MISP、威胁评分

摘要：在实际的安全检测和监控系统中，考虑到此类信息的非结构化性质，最薄弱的环节之一是从开源情报（OSINT）中检索数据，以及如何处理和规范此类信息。该网络安全相关信息（例如 IOC）从不同来源获取，并由威胁情报平台（TIP）收集。为了提高其质量，在进一步分析和共享之前，此类信息应与来自受监控基础设施的实时数据相关联。通过这种方式，可以对其进行优先级排序，从而可以更快地检测和响应事件。本文介绍了一个丰富化的威胁情报平台，以扩展当前 TIP 中的导入、质量评估过程和信息共享功能。该平台接收来自多个来源的结构化网络威胁信息，并与来自受监控基础设施的静态和动态数据进行关联。这允许通过基于启发式的分析评估威胁分数，用于丰富从 OSINT 和其他来源收到的信息。最终结果以明确定义的格式表示，发送给外部实体，进一步用于监控和检测事件（如 SIEM），或进行更深入的分析，并与受信任的组织共享。

1. 导言

正如政府和公司撰写的报告所揭示的那样，网络攻击的数量和影响在过去几年中急剧增加，特别是从经济角度看，这些威胁可能对他们造成多大的伤害。美国经济顾问委员会（Council of The Economic Advisers of The United States）估计，2016 年恶意网络活动对美国经济造成的经济影响为 570 亿至 1090 亿美元。网络安全风险投资公司将网络犯罪确定为"世界上每一家公司的最大威胁"，预测到 2021 年，网络犯罪每年将给世界造成超过 6 万亿美元的损失。此外，全球管理咨询公司埃森哲在 2017 年进行的一项研究中确认，网络犯罪每年平均给组织造成 1170 万美元的损失，比前一年多 23% 左右。这些成功的入侵可能使攻击者集团获得宝贵的知识产权和秘密。为了应对这些威胁，必须及时获取有关这些威胁的准确信息，以保护宝贵的内部和敏感数据以及关键资产。

收集和处理开源情报（OSINT）信息正在成为获取网络安全威胁感知的基本途径。最近，研究界证明，可以从 OSINT 获得有用的信息 IOC。除了以研究为导向的工作外，所有安全运营中心（SOC）分析师还通过收集和分析网络安全 OSINT 数据，了解针对其 IT 基础设施的新威胁。然而，浏览各种新闻订阅源对于任何安全分析师来说都是一项耗时的任务。

此外，分析师不一定能找到与他们所监管的 IT 基础设施相关的新闻。因此，不仅需要工具来收集 OSINT，还需要工具来处理它，目的是提高 OSINT 向 SOC 分析师提供的信息的质量，例如，从他们的潜力中获益。此外，此类工具必须仅为 SOC 分析师过滤相关部分，从而减少信息量，从而减少分析和采取行动所需的时间。适当时，必须进一步处理过滤后的信息以提取 IOC。

此外，需要进行适当的质量评估，以检查收集的数据是否可以被视为有价值的威胁情报（表示为 TI）。Sillaber 等人将 TI 质量评估确定为实际网络安全信息共享场景中的主要挑战之一，主要原因是现有 TI 共享工具的局限性，以及缺乏合适且全球公认的标准和本体论。这些评估过程可以为推断某些网络攻击可能对内部资产和资源造成的影响提供更多的见解，从而确定威胁检测和事件响应的优先级。

此外，共享 OSINT 信息的能力往往不够。TI 必须表达出来，然后使用特定的标准共享，允许相关方加快接收信息的处理和分析阶段，实现它们之间的互操作性。

在本文中，我们提出了一个丰富化的威胁情报平台（以下简称 ETIP），旨在扩展内部检测和监控系统（如 SIEM）的导入和信息共享能力，同时改进对收到的网络安全事件的质量评估。

最终目标是在经过质量信息增强过程后，将来自公共来源（如社交网络）的相关安全数据与通过特定检测和监控系统（如 SIEM、IDS、IPS）从基础设施收集的数据进行整合，预测并改进威胁检测和事件响应。这种整合已被定义为一项关键活动，以产生真正和有价值的 TI。

在这种情况下，一方面，需要一个组件来关联和聚合收集的 OSINT 数据，从而生成新的丰富数据。另一方面，它还需要一个组件，该组件考虑受监控基础设施中的潜在安全问题，并与接收到的 OSINT 数据相关联，为后者提供威胁评分，以帮助确定其相关性和优先级。

此威胁评分将通过 IOC 方式从自己的受监控基础设施内部报告的动态和实时威胁信息来补充有关受监控基础设施的静态信息的使用。此动态评估基于启发式分析，该分析允许通过为传入 OSINT 数据分配威胁分数来确定其优先级。生成的对象通过计算出的威胁分数将从 OSINT 数据源接收到的信息集成在一起，直接发送到其他安全系统和工具（如 SIEM）进行可视化、存储、处理或反馈，还可以与外部受信任组织共享。

本文的其余部分结构如下：第 2 节介绍了相关工作，第 3 节介绍并比较了威胁情报平台。第 4 节描述了我们提出的强化威胁情报平台（ETIP）的体系结构。第 5 节详细介绍了威胁评分评估过程，第 6 节通过用例场景和初步结果说明了我们方法的适用性。最后，第 7 节给出了结论和对未来工作的展望。

2. 相关工作

已经提出了几种标准格式，以促进平台间的网络情报共享。此类格式的示例包括开放式 IOC（OpenIOC）、结构化威胁信息表达（STIX）、可信的指标信息自动交换（TAXII）。

对现有威胁情报平台（TIP）的研究很少。Tounsi 和 Rais 提供了关于开源威胁情报平台的调查，包括恶意软件信息共享平台（MISP）、集体情报框架（CIF）、威胁协作研究（CRIT）和 Soltra Edge。Sauerwein 等人对软件供应商和威胁情报共享平台的研究前景进行了探索性研究，并得出结论，威胁情报共享市场仍在发展中。此外，ENISA 还提供了一份关于实际 TIP 机会和局限性的最新报告，提出了克服这些机会和局限性应遵循的各种指南。

Owen 提出了 Moat，这是一个功能强大的工具，可以覆盖已知的坏行为体，并使用来自多个来源的数据，如漏洞系统和端口扫描程序。Moat 已使用 STIX 和 XML 格式与 SIEM 集成，用于共享目的，但尚未为其他知名标准（如 TAXII）定义 Moat。

一些商业 SIEM（如 Loghyrth）已将安全情报添加到其 SIEM 和分析平台中。他们的方法使用了来自 STIX/TAXII 兼容提供商的威胁情报、商业和开源订阅源以及内部蜜罐的丰富上下文。因此，该平台使用这些数据来减少误报，检测隐藏的威胁，并确定有关警报的优先级。

据我们所知，需要对威胁情报共享平台及其与其他安全工具的集成进行更多的研究。我们的方法建议使用一个平台从 OSINT 收集和聚合网络安全相关信息，依靠 MISP 存储和管理生成的 IOC，并通过威胁评分进一步丰富 IOC，以确定可能的防御行动的优先级。该平台的成果将为系统（如 SIEM 和 IDS）提供可操作的信息，这些信息将改进网络威胁的检测，还可以以自动化方式与内部 SOC 和 CSIRT 以及其他可信组织共享。

3. 威胁情报平台

许多公司开始依赖威胁情报平台（TIP）来克服实际检测和监控系统的差距和局限性，尤其是 SIEM（ThreatConnect）。他们负责从各种外部来源检索结构化和非结构化数据，并执行各种复杂操作，如过滤、聚合、标准化、检测、分析和丰富，以及将结果注入 SIEM。然而，它们的实施和使用仍处于初级阶段，如 Sauerwein 等人所述，必须解决许多缺点，例如，在外部来源的动态信任评估和高级分析能力方面，仍然需要手动工作，特别是为了使检索到的信息能够有效地执行。

TIP 是数据收集、存储、共享和与外部实体集成的理想工具，外部实体可以是其他安全平台和工具，也可以是处理事件响应和威胁管理的特定组（例如 SOC、CSIRT）。市场上提供了几种技巧（大多数都是在商业许可下提供的）。在开源解决方案方面，我们确定了以下几点：

• 恶意软件信息共享平台（MISP）
• 集体情报框架（CIF）
• 威胁合作研究（CRIT）
• SoltraEdge（SE），但此类许可证仅提供有限版本

表 1 总结了它们之间的比较，并考虑了以下标准，主要基于 Tounsi 等人进行的研究，以及一些个人考虑，特别是关于硬件要求：

• 导入/导出格式：MISP 和 CRIT 能够处理大量格式（例如 PDF、doc、xls、txt、JSON、XML、STIX）。MISP 支持用于表示威胁情报的特殊标准（自定义 JSON 格式），以及用于 STIX v.2.013 转换的基本内置功能。它还允许添加用于临时导入/导出的模块，而无需修改核心功能。CIF 不如前两个技巧灵活，特别是在考虑特定标准（如 STIX）的情况下，而SoltraEdge的免费和有限版本在处理非 STIX 数据时存在一些限制。
• 与标准安全工具集成/导出到标准安全工具：MISP 允许与入侵检测系统（IDS）和 SIEM 轻松交互，并包含用于将内部解决方案与平台集成的灵活 REST API。CIF 也是一个与 IDS 和 SIEM 集成的可行平台，尽管不如MISP灵活。CRIT 是一个庞大的 TI 存储库，不是专门为与 SIEM 和 IDS 等系统交互而构建的，但其灵活性允许为这些目的构建临时解决方案。免费的 SoltraEdge 版本有很多限制，特别是在与其他平台交互的 API 支持方面。
• 支持协作：MISP 通过在受信任社区之间共享同一实例，允许集中支持；当多个实例以对等方式进行交互时，将提供分散的支持。CIF 允许使用私有实例，并通过集中式服务实现共享实例。CRIT 和 SoltraEdge 允许在可信社区的上下文中使用私有实例或共享实例。但是， CRIT 的内置共享功能非常差。
• 数据交换标准：MISP 和 CRIT 能够处理许多不同的标准，包括 STIX 和 TAXII。 SoltraEdge 的有限版本在处理不同于 STIX 和 TAXII 的标准方面的能力非常差。 CIF 旨在与使用私有解决方案的其他 CIF 实例配合使用，以满足高性能要求，部分支持或不支持 STIX 和 TAXII 等标准。
• 分析能力：高分析能力是当前所有 TIP 的弱点。CRIT 和 SoltraEdge 是用于协作分析的大型中央存储库，而不是纯粹的共享平台。与 MISP 和 CIF 相比，它们具有更好的内置分析功能。然而，SoltraEdge 的有限版本部分失去了这一优势。
• 关系图生成：可视化功能与上述特征的分析密切相关，可以扣除相同的考虑因素。更一般地说，这是当前 TIP 的另一个限制。
• 许可证：本分析中考虑的所有 TIP（包括有限版本的 SoltraEdge）均随开源许可证发布。
• 硬件要求：MISP、CRIT 和 SoltraEdge 在所需 RAM 和硬盘大小方面有非常相似的要求。相反，CIF 有更高的要求，特别是在处理能力方面。

表 1 威胁情报平台的比较

− 低/基础 ○ 中/正常 ● 高/高级

由于其与 SIEM 和 IDS 集成的能力；集成内部和定制解决方案的高灵活性功能；支持特定的数据交换标准，如 STIX，以及良好的内置信息共享能力；提供非常详细的在线文档；以及一个庞大的、响应迅速的在线社区，以应对发展问题；选定的威胁情报平台是 MISP。

4. 丰富化的威胁情报

平台体系结构强化威胁情报平台（ETIP）由两个主要模块组成：图1所示的（i）组合的 IOC 模块和（ii）上下文感知情报共享模块。

图 1 丰富化的威胁情报平台架构

第一个模块收集来自不同 OSINT 订阅源的多个安全事件（即 IOC），然后将它们关联起来，从而生成包含更多信息的 IOC：组合 IOC，第二个模块接收这些组合的 IOC，并将它们与组织网络基础设施中部署的安全工具提供的信息相关联。通过对这些数据进行启发式分析，可以进一步丰富由此产生的 IOC，从而提供更多关于企业可以将多少传入信息视为真实情报的见解。

4.1 组合的 IOC 模块

我们提出了一个组件来生成组合的 IOC，即从不同的TIP收集不同的 IOC，然后生成新的组合 IOC。该组件的架构如图 2 所示。主要部分如下：

• OSINT 订阅源。有关安全事件的开源情报信息，例如网络攻击、软件漏洞利用、恶意软件域、IP 黑名单。
• TIP。并行使用不同的 TIP 来收集从不同源提供的多个 OSINT 数据，这些数据利用它们提供的丰富功能，例如使用未包含在 OSINT 源中的外部数据（例如 asn 源、whois）改进 OSINT 威胁情报。
• 收集器。不同 TIP 的输出，作为 IOC 的一种形式，被引导到收集器模块。 TIP 的 IOC 被视为 OSINT 订阅源，但采用 IOC 格式（例如 STIX、MISP 格式）。
• IOC 标准化器。由于 IOC 可能以不同的格式收集（取决于 TIP 采用的格式），因此有必要将它们标准化为单一和通用的格式（例如，MISP 格式）。在这个过程之后，它们被存储在一个数据库中以供组件处理。
• IOC 去重器。从不同的 TIP 接收到的 IOC 可以相等，因为 TIP 可以使用相同的 OSINT 源进行配置。重复数据删除器模块分析接收到的 IOC 和数据库中已经存在的 IOC，目的是识别重复的 IOC 并在 IOC 聚合器模块处理之前将其删除。
• IOC 聚合器。聚合不同但相关的 IOC，并生成新的 IOC。该过程包括识别包含相关相关信息的 IOC，将它们聚合在同一个集合中，然后将该信息合并到单个 IOC 中，创建一个我们称为组合 IOC 的新 IOC。这些新的 IOC 存储在数据库中，供上下文感知威胁情报组件稍后使用（参见第 4.2 节）。

图 2 组合的 IOC 模块架构

4.1.1 实施

提议的组件是使用 MISP 平台实现的，其中的去重器和聚合器模块是在 Python 3 中开发的，并集成在 MISP 中。后者充当收集器和 IOC 标准化器，接收和标准化可以从不同 TIP 提供的数据，然后使用开发的模块处理接收到的数据。

该组件为最终用户提供了基于两个标准进行配置的可能性：(1) MISP 社区分配的 IOC 信任级别，例如，级别 2 的 IOC 意味着 IOC 具有最信任的信任级别并且其信息是相关的； (2) IOC 聚合器模块将考虑的 IOC 之间的相互关系类型。这种相互关系可以基于 IOC 整体或它们的属性，前者只允许属于同一威胁类别的 IOC 之间的相互关系，而后者允许 IOC 之间进行最深入的分析和连接，允许生成由 IOC 提供的新数据不同类别的 IOC（例如，属于 MISP 网络类别和漏洞类型的 IOC）。

图 3 创建组合 IOC 的示意图

该组件考虑将 OSINT 订阅源分为两类：（1）低级订阅源，主要由 IP 地址和 URL 组成； (2) 高级订阅源，其中包含有关网络工件、活动等信息的更高级分析；提供 TIP（例如 CRIT、MISP）。它对数据库执行查询以识别新条目和其他具有匹配项的条目，然后将它们合并形成一个新的 IOC 并将其注入到数据库中，该数据库被标记为允许将其识别为富 IOC 并避免创建的循环。

图 3 举例说明了一个组合 IOC。在图中，从包含 76 个元素的 IOC 开始，我们能够识别来自 3 个不同 OSINT 订阅源的其他 7 个 IOC，它们是相关的。这些 IOC 的合并允许创建一个包含 468 个元素的新 IOC。

4.2 上下文感知情报共享模块

上下文感知情报共享模块能够将与受监控基础设施相关的静态和实时信息（例如IOC）与通过 OSINT 数据融合和分析工具来自外部 OSINT 源的数据相关联，以检查相关性和数据的准确性。此外，该模块还能够以自动化的方式与外部实体共享原始信息和丰富信息。

提议的模块架构如图 4 所示，由两个主要元素组成：(i) MISP 实例，负责从基于 OSINT 的来源和受监控的基础设施收集数据，并将丰富的 IOC 发送到内部组件、系统和工具（例如 SIEM）或与受信任的组织共享它们； (ii) 启发式组件，负责执行启发式分析，最终目的是计算威胁分数，丰富来自基于 OSINT 的源的数据，并将其发送回 MISP 实例。

图 4 上下文感知情报共享模块

4.2.1 MISP 实例

从图 4 中，OSINT 和基础设施数据收集器负责从 OSINT、IOC 和基础设施捕获有用数据，以评估一组预定义的启发式方法并计算威胁评分。收集的 OSINT 数据存储在 MISP 数据库中，而收集的基础设施数据存储在启发式组件数据库中。

由于采用了 MISP，安全工具、内部 SOC 和 CSIRT 以及上下文感知情报共享模块之间的集成成为可能。目标是在发生这种交互时尽可能多地使用平台的内置共享功能，例如 zeroMQ 发布-订阅（pub-sub）模型。 MISP 带有所谓的“MISP 模块”，用于威胁信息的临时导入和导出。如果需要，可以从头开始创建新模块并与 MISP 实例集成，而无需修改平台的核心功能。

启发式组件通过 MISP 接收来自受监控基础设施的所有数据。数据可以是动态的（例如，在基础设施中检测到的 IOC）或关于特定基础设施的静态和通用信息（例如，使用的传感器、操作系统、特定的 IP 地址列表）。这些数据存储在 MISP 数据库中，通过 JSON 格式（例如 STIX、MISP 事件）或通过与通用信息相关的简单文档来表示。由于启发式组件对它的使用非常感兴趣，因此数据也可以以不同的方式存储，例如使用私有非关系数据库（如 MongoDB），这简化了启发式引擎的信息检索，并允许完全控制工具执行的分析。

由于其内置的信息共享功能，MISP 的采用使得与外部实体自动共享数据成为可能。对于外部实体使用 MISP 实例的情况，共享过程通过简单地同步两个实例来执行。否则，MISP 会附带一个 REST API 列表，这些 API 可以从具有不同访问权限级别的任何内部和外部服务访问，以直接与其数据库交互，以推送/拉取网络安全相关事件。

4.2.2 启发式组件

启发式组件接收来自多个来源（例如，OSINT 数据、基础设施、IOC 等）的信息，用于启发式引擎执行的威胁评分（TS）分析。后者考虑了为每个单个特征评估的一组条件。为每个特征分配一个分数（即个人分数）。所有单个分数的总和导致与正在分析的数据相关联的威胁分数。

启发式组件的数据库存储基础设施和 OSINT 数据收集器的信息。威胁评分代理负责生成丰富的IOC（EIOC），包括从 OSINT 数据源接收的安全信息的威胁评分。该组件共享的 EIOC 包括从 OSINT 收到的相同信息，以及相关的威胁分数和评估中考虑的功能。

5. 威胁评分（TS）评估

威胁评分评估是启发式组件的一部分，它使用威胁评分函数（在第 5.1 节中详细介绍）来计算接收数据的相关性。该过程执行由以下步骤组成的分析方法：

1. 来源识别：在此阶段，我们搜索并识别所有可能的信息来源。这些来源的示例包括：安全日志、数据库、报告数据、OSINT 数据源、IOC 等。
2. 启发式识别：从输入数据中识别出不同的特征（例如启发式）。此类功能提供了在威胁分析和分类过程中有用的有关基础设施（例如，漏洞、事件、故障、错误等）的相关信息。启发式示例有：CVE、IP 源、IP 目标、端口源、端口目标、时间戳等。
3. 阈值定义：对于每个启发式，最小和最大可能值是基于与实例相关联的特征定义的。例如，我们检查了输入数据是否包含检测到的威胁的 CVE。指定阈值（例如 0-5）以涵盖所有可能的结果。
4. 分数计算：对于识别出的启发式的每个可能实例，基于专家知识分配一个分数值。然后汇总所有个人分数并计算最终分数。结果值将表明来自 OSINT 数据源和受监控基础设施的安全信息的优先级和相关性。
5. 训练周期：在训练过程中需要进行一组初步测试，以评估引擎的性能。测试包括用于分析单独（针对每个启发式）和全局（针对整个事件）获得的分数的真实数据，这有助于分析误报率和漏报率。
6. 引擎校准：为了最小化偏差（例如，减少误报、漏报的数量），必须通过分析获得的结果、添加其他启发式和/或修改当前属性的指定值来校准引擎。
7. 最终测试：一旦引擎被校准，我们可以重复之前的测试或添加新的测试以评估工具的性能。

5.1 威胁评分函数

基于启发式的威胁分数由一组单独的分数组成，作为其他预测工具的补充，以指示从 OSINT 和基础设施数据源接收的传入安全信息的优先级和相关性。存在大量不同的聚合运算符（例如，算术平均值、几何平均值、谐波平均值、加权平均值、有序加权平均）可用于计算威胁分数。它们在关于数据（数据类型）和我们可以纳入模型的信息类型的假设上有所不同。

从上述聚合算子中，加权平均（WM）是计算威胁分数的选定函数，由于以下优点：（i）简单直接的函数； (ii) 避免不确定的结果和/或空值； (iii) 如果一个或多个个人分数为零，则可以使用； (iv) 根据信息的来源和相关性，假设个别分数具有不同的权重。

建议的威胁分数（TS）定义为所有单个启发式值（Xi）乘以其相应权重因子（Pi）的总和。后者考虑多个标准（例如相关性、准确性、及时性、多样性）。然后将总和影响到完整性参数（Cp），如公式 1 所示。

得到的 TS 范围从 0 到 5（0 ≤ TS ≤ 5），TS 值越高，IOC 越可靠。因此，值在 0 和 1 之间（0 ≤ TS ≤ 1）的 TS 表示非常低的优先级；值在 1 和 2 之间（1 ≤ TS ≤ 2）的 TS 表示低优先级；值为 2 到 3 (2 ≤ TS ≤ 3) 的 TS 表示中等优先级；值在三到四之间（3 ≤ TS ≤ 4）的 TS 表示高优先级； TS 值在 4 和 5 之间（4 ≤ TS ≤ 5）表示非常高的优先级。

5.2 启发式值

TS 函数的第一部分是指根据评估期间处理的信息类型分配给给定启发式 Xi 的值。例如，考虑到要评估的特征之一是输入数据中识别出的常见漏洞暴露 (CVE) 的存在，引擎将检查输入数据中是否出现 CVE 一词以检索完整的 CVE编号（即 CVE-AAAA-NNNN）。
如果发现 CVE，引擎会检查其关联的通用漏洞评分系统 (CVSS)。更具体地说，引擎将搜索其关联的基本分数，该分数基于可用性、机密性和完整性考虑访问向量、访问复杂性、身份验证和影响相关信息。根据 CVSS 分数，漏洞被标记为无、低、中、高或严重，如表 2 所示。

表 2 通用漏洞评分系统 (CVSS) v3 评级

来源：https://www.first.org/cvss/specification-document

每个评估的特征都根据定义的阈值（例如，从 0 到 5）分配一个单独的分数，该分数将指示特征对事件的影响程度。我们定义了变量“CVE 分数”，该变量将根据表 3 中描述的条件计算分配给输入数据中存在 CVE 的单个分数值。

其他功能（例如，源/目标 IP、创建和有效性时间戳等）可能会在分配过程中使用正值和/或负值。然后在训练和校准过程中调整这些单独的值，以便最终的威胁分数减少误报和漏报的数量。

表 3 个体威胁评分示例

5.3 权重标准

TS 函数的第二部分对应于加权标准 Pi。根据 Henry Dalziel 的说法，威胁情报是指必须满足三个特定标准的特定信息：从商业角度看，(i) 必须与接收它的实体相关，(ii) 可操作和 (iii) 有价值。欧盟网络和信息安全局 (ENISA) 将“可操作信息”的概念从组织的角度定义为可立即用于特定和战略决策的信息。考虑到 ThreatConnect 和 ENISA，为了“可操作”，信息必须满足以下标准：

相关性：必须对特定接收方的资产有一定的影响，例如网络、软件和硬件。也就是说，当威胁可能影响受监控的基础设施时，通常会认为妥协指标是相关的。为了确定相关性，考虑来自许多内部来源的实时信息（例如 IOC），确定针对您的资产/系统的威胁类型至关重要，因为它们能够提供有关当前内部资源的动态和连续信息。监控操作，以及基础设施状态的全局视图。

在我们的分析中，该标准评估与给定属性相关的信息是否有助于识别威胁。相关性的计算如表 4 所示。

表 4 相关性标准

及时性：当威胁情报允许检测攻击者的活动（尤其是在同一入侵期间）以监控其随时间的演变时，会更加可靠。此外，考虑到其中一些是在最初妥协几个月后才发现和分析的，由于某些威胁特征的动态性质，关于早于几个小时的事件的信息在大多数情况下是不相关和不可操作的。在我们的分析中，此标准评估检测到的事件是否与基础设施或基于 OSINT 的组件已检测到的事件相关，例如，此类事件是否涉及相同的威胁，但具有不同的入侵级别，提供新的或更新的信息。及时性的计算如表 5 所示。

表 5 及时性标准

准确性：接收方应该能够尽快处理接收到的数据。主要取决于三个因素，即检索数据的来源的置信度、对这些来源的信任级别（反过来，这可能取决于误报/漏报率等因素）和本地动态接收者的上下文。后者对于在处理事件响应时避免不准确的结果和努力至关重要。

在我们的分析中，来自基于 OSINT 的组件的信息将与来自基础设施的信息进行比较，如果有一个或多个属性匹配，将计算一个分数。准确度的计算如表 6 所示。

表 6 准确度标准

多样性：检测和预防不应依赖于单一的技术或工具。使用系统、工具（例如 IDS、IPS 和防火墙）和来源（例如 OSINT）的组合至关重要，尤其是当它们能够在不同级别的入侵（杀伤链阶段）检测威胁时。

在我们的分析中，该标准评估信息的来源或检测来源，例如基础设施、基于 OSINT 的组件。变异的计算如表 7 所示。

表 7 多样性标准

可摄取性：接收到的信息必须易于摄取到内部数据管理系统中，以供进一步处理和分析阶段使用。这可以使用表示这些数据的特定标准来实现，允许接收者尽可能快地处理数据，帮助安全分析师，以及通过使用特定的传输协议来共享相关情报。

我们的分析中不考虑可摄取性，因为我们假设所有接收到的数据都以结构化的方式表达，并使用特定的标准格式在系统中进行处理。数据收集将由 MISP 实例直接处理。这个标准在接收非结构化信息的情况下是有意义的，但上下文感知 OSINT 平台不考虑这种情况。分析将侧重于其他标准，未来可能会增加新的标准。

完整性：威胁情报应向最终接收方提供有价值且完整的信息，并从后者的本地网络环境角度进行评估。有时，单独考虑时，来源是不完整的，但一旦与目的地可用的其他内部数据或从其他外部来源接收的其他内部数据结合或处理，它们提供的数据就会变得可操作。

在我们的分析中，该标准被用作启发式的整体评估，而不是用于属性的单个分数评估。每个启发式由一个或多个属性组成（例如，CVE 由六个属性组成：（i）无 cve，（ii）cvss 无，（iii）cvss 低，（iv）cvss 中，（v）cvss 高，（ vi) cvss 临界。完整性被衡量为具有非空值的属性数量占属性总数，如公式 2 所示。

6. 初步结果

在本节中，我们将说明我们的方法的优势，以及我们的平台在优先考虑从外部来源（例如 OSINT）收到的威胁信息方面带来的好处。我们将使用上下文感知情报共享模块来评估从组合 IOC 模块收到的信息的相关性、准确性和其他特征。对于威胁评分评估，我们将同时考虑：通过安全系统和工具（例如 SIEM、IDS）来自基础设施的数据，以及通过开源和公共订阅源获得的 IOC。生成的威胁分数将插入与分析的 IOC 相关的信息中。威胁评分值越高，事件响应团队和安全分析师处理的相关信息的优先级就越高。

组合 IOC 模块将向上下文感知情报共享模块提供单个和组合 IOC。我们预计组合的 IOC 的相关威胁评分将高于它们包含的每个单个 IOC 的威胁评分。在这个用例中考虑的整个过程的特点是四个连续的阶段：收集和聚合阶段，由组合 IOC 模块执行，然后是共享阶段，涉及两个模块，以及 TS 评估阶段，完全由上下文感知处理情报共享模块。

收集阶段：为了收集 OSINT 数据，我们配置了一个 MISP 实例，其中包含来自较高价值信息（例如 CVE 漏洞）和低价值信息（例如 IP 黑名单）的 34 个 OSINT 订阅源。这些订阅源由各种公共免费实体提供，并以不同格式（例如 csv 和 txt 文件）到达 MISP。 OSINT 数据以单一格式标准化，即 MISP 格式，然后作为 IOC 存储在 MISP 数据库中。之后，执行我们开发的重复数据删除器模块以加载 IOC 并搜索重复项以将其删除。此任务允许以两种形式改进 MISP：识别重复的 IOC 并减少存储的数据量，从而提高 MISP 性能。

聚合阶段：移除重复的 IOC 后，聚合器组件会分析生成的 IOC 以寻找它们之间的联系。对于找到的连接，聚合器将涉及的 IOC 放在同一组 IOC 中，因为它们与相同的恶意威胁相关。最后，我们有几个不同的 IOC 组形成集群，每个组都针对特定的威胁类别。从威胁类别的角度来看，集群可以包含它们之间相关的 IOC，并且与相同的（子）威胁（或攻击）相关，并且可能与可以在同一 IOC 中提供的其他有价值的恶意信息相关。这意味着一个集群可以包含针对不同攻击的 IOC 子集群。从这个角度来看，这样的子集群可以很好地表征已执行的攻击，对于这些攻击，单个 IOC 无法对其进行识别。最后，每个子集群被表示为一个 IOC，即，它的所有 IOC 合并为一个，生成一个组合的 IOC，然后将它们存储在 MISP 数据库中。

共享阶段：将组合的 IOC 模块的最终结果发送到上下文感知情报共享模块，以进行威胁评分的最终计算。由于采用了 MISP，这种集成很容易实现。

更准确地说，使用了两个不同的 MISP 实例，每个模块一个。为简单起见，也为了便于读者理解，我们将它们分别称为 MISPA 和 MISPB。这些实例已在彼此之间同步以允许实时和完全自动化的信息共享，遵循 MISP 书中提供的指南，用于在 MISPA 上设置 MISP 同步服务器。此服务器已与具有同步权限的特定用户相关联，这在两个实例中都被复制。代表该用户在 MISPA 中注入和发布 IOC，直接在 MISPB 上触发一个或多个 IOC 的推送操作，完成此用例场景所需的单向信息共享。

设置同步服务器时，必须指定同步用户认证密钥。此信息由 MISPB 在创建用户时提供。

TS 评估阶段：为了执行威胁评分的计算，MISPB 需要扩展新功能。对于这个特定用例，我们开发了一个新的 MISP 导出模块，将其与平台的核心软件集成，遵循 MISP 社区和开发人员提供的指导方针。通过这种方式，该模块可以直接从 MISP UI 获得，用户可以在其中手动触发特定的 IOC，以检索 IOC 并将其直接发送到平台的启发式模块（图 4），在那里威胁score 函数已经实现，并作为新的 MISP 属性添加到原始 IOC 中。

为了将 IOC 与基础设施数据以及来自开源和公共源的其他有关网络事件的有用信息相关联，使用了 MongoDB 数据库，并将信息存储为 JSON 文档。最终的 IOC（即丰富的 IOC）可以与特定的安全工具或内部 SOC 和 CSIRT 共享，额外的威胁评分用于确定所包含数据的优先级，以防需要某些防御活动。

为了提供我们平台功能的实际示例，我们考虑了 11 个组合 IOC 示例，并且已经在每个示例中执行了之前描述的整个过程。因此，威胁分数 (TS) 是为每个单个 IOC (SIOC) 集成组合的 IOC 计算的，从而可以与为组合的 IOC (CIOC) 计算的威胁评分进行比较。

对于启发式分析，选择了九个 MISP 属性的子集，由与受监控基础设施（即漏洞、文件名、源 IP、目的 IP、主机名、域、URL、链接和 MD5）更相关的那些组成。这并不意味着丢弃其他属性，它们只是在评估特定标准时具有更高的重要性，尤其是在相关性和完整性方面。

结果总结在表 8 中。每一行都与一个组成 IOC（例如，S1、...、S11）的样本相关联，指定组成它们的单个 IOC (SIOC) 的数量、它们各自的威胁分数 (TS)，以及与组合 IOC (CIOC) 相关联的全局 TS。

有关平台的更多信息，请访问 https://caisplatform.wixsite.com/english。

表 8 威胁评分结果

如表 8 所示，在大多数情况下，组合 IOC 的 TS 高于每个相关单个 IOC 的 TS。这种改进严格取决于两个主要因素：

1. IOC 中存在的属性数量。这个数字越大，聚合时整体质量提升的概率就越大；
2. 单个 IOC 的质量。在 SIOC 中存在的属性中发现的信息质量越高，在聚合多个 IOC 时提高整体质量的可能性就越低。
   对于第一个因素，我们已经看到样本 S6 和 S9 具有大量单个 IOC（分别为 17 和 11 个 IOC），与每个 SIOC 中的一个相比，它们的 CIOC 的 TS 有了很大的提高。对于第二个因素，我们已经看到样本 S2、S3、S7 和 S10，其中聚合过程无法为最终 IoC 添加相关的质量水平。在这些情况下，SIOC 样本中识别的信息质量会导致较高的 TS 值。尽管在大多数情况下，CIOC 的 TS 值高于与每个 SIOC 相关的值，但改进程度较低，在某些情况下，与 SIOC 之一（即 S7）相比，CIOC 中的 TS 值较低。

需要注意的是，在 TS 计算中使用的所有标准中，完整性（即 Cp）是对最终结果影响最大的标准。然而，所有其他标准都将单个值添加到 TS，而完整性标准则乘以整体添加，从而将单个或组合 IOC 的 TS 结果影响到更高级别。

7. 结论

本文介绍了 ETIP，一个丰富化的威胁情报平台，作为当前 TIP 中的扩展导入、质量评估过程和信息共享功能。提议的平台从外部来源（例如 OSINT 来源）和受监控的基础设施收集和处理结构化信息。该平台由两个主要模块组成：(i) 一个组合 IOC 模块，负责收集、规范化、处理和聚合来自 OSINT 源的 IOC； (ii) 上下文感知情报共享模块，能够将静态和实时信息与从多个 OSINT 来源获得的数据相关联、评估和共享。

ETIP 平台计算与每个 IOC 相关联的威胁分数 (TS)，然后将其与内部监控系统和工具（例如，SIEM）以及受信任的外部方共享。丰富的 IOC 将包含一个威胁评分，使 SOC 分析师能够确定事件分析的优先级。威胁分数使用两种类型的权重评估启发式：(i) 分配给每个属性的单独权重（例如，相关性、准确性、多样性等）； (ii) 分配给启发式的全局权重（即完整性标准）。 TS 值越高，IOC 越可靠。因此，当 TS 值接近于零时，IOC 可以被认为是差的、不完整的和/或不可靠的，具有非常低的优先级。

未来的工作将集中在开发新属性以丰富威胁评分分析，提高要共享的精细威胁情报的质量，不仅提供最终威胁评分，还提供有关评分评估中使用的每个单一标准的详细信息本身，这反过来又有助于改进威胁检测和事件响应。

引用

Accenture (2017). Cost of cyber crime study. Online.

CEA (2018). The cost of malicious cyber activity to the u.s. economy. Online Report.

Dalziel, H. (2014). How to define and build an effective cyber threat intelligence capability. In Syngress, eBook.

ENISA (2015). Actionable information for security incident response. In Online Technical Paper.

ENISA (2017). Exploring the opportunities and limitations of current threat intelligence platforms.

Liao, X., Yuan, K., Wang, X., Li, Z., Xing, L., and Beyah., R. (2016). Acing the ioc game: Toward automatic discovery and analysis of open-source cyber threat intelligence. In ACM SIGSAC Conference on Computer and Communications Security, pages 755–766.

Mavroeidis, V. and Bromander, S. (2017). Cyber threat intelligence model: An evaluation of taxonomies, sharing standards, and ontologies within cyber threat intelligence. In Intelligence and Security Informatics Conference, pages 91–98. IEEE.

Owen, T. (2015). Threat intelligence & siem. In Masters Research Project, Lewis University.

Ravana, S. D. and Moffat, A. (2009). Score aggregation techniques in retrieval experimentation. In Twentieth Australasian Database Conference.

Sabottke, C., Suciu, O., and Dumitras, T. (2015). Vulnerability disclosure in the age of social media: exploiting twitter for predicting real-world exploits. In In 24th USENIX Security Symposium, pages 1041–1056.

Sauerwein, C., Sillaber, C., Mussmann, A., and Breu, R. (2017). Threat intelligence sharing platforms: An exploratory study of software vendors and research perspectives. In Conference on Wirtschaftsinformatik.

Sillaber, C., Sauerwein, C., Mussmann, A., and Breu, R. (2016). Data quality challenges and future research directions in threat intelligence sharing practice. In ACM on Workshop on Information Sharing and Collaborative Security, pages 65–70. ACM.

Skopik, F., Settanni, G., and Fiedler, R. (2016). A problem shared is a problem halved: A survey on the dimensions of collective cyber defense through security information sharing. computers & security, 60:154–176.

ThreatConnect (Accessed February 2018). Threat intelligence platforms. everything you’ve ever wanted to know but didn’t know to ask. In Ebook.

Torra, V. and Narukawa, Y. (2007). Modeling decisions: Information fusion and aggregation operators. In Springer-Verlag Berlin Heidelberg.

Tounsi, W. and Rais, H. (2018). A survey on technical threat intelligence in the age of sophisticated cyber attacks. In Computers & Security, volume 72, pages 212–233.

Ventures, C. (2017). 2017 cybercrime report. Online.

原文链接：https://www.researchgate.net/profile/Iberia-Medeiros/publication/333079754_Enriching_Threat_Intelligence_Platforms_Capabilities/links/5d816e3f92851c22d5e08c3b/Enriching-Threat-Intelligence-Platforms-Capabilities.pdf?origin=publication_detail

- THE END -

文章链接: https://xiaodaozhi.com/security/172.html