多源网络安全日志：带有ATT&CK标注数据集及SLM评估

大家读完觉得有帮助记得关注和点赞！！！

摘要 多阶段网络攻击跨越系统、网络和浏览器日志。检测它们需要关联所有三个来源的事件。机器学习方法可以学习这些跨源模式，但它们需要带标签的多源数据。现有的公共数据集存在不足。仅网络的数据集如CICIDS和UNSW-NB15缺少主机和浏览器活动。以主机为中心的数据集如LMDG和CICAPT-IIoT缺乏浏览器遥测。ATLAS包含所有三个来源，但仅将事件标记为恶意或良性，没有MITRE对抗战术、技术和通用知识（ATT&CK）技术的细粒度。没有公共数据集将三个来源与每个条目的ATT&CK技术标签结合起来。我们通过构建一个包含870个会话（70个攻击，800个良性）和约230万个事件的多源日志数据集来填补这一空白。我们在Windows端点上同时捕获了系统、网络和浏览器活动。我们用ATT&CK技术ID标记了恶意事件，覆盖12种战术和53种技术。我们使用真实工具生成了所有攻击数据，包括远程访问木马（RAT）、命令与控制（C2）隧道和云外泄。为了演示可学习性，我们使用低秩适应（LoRA）微调了三个小型语言模型（SLM）（Qwen2.5-1.5B、Llama-3.2-3B、Phi-4-Mini）。我们在两个任务上将每个模型与其基础变体在十个指标上进行了比较：块分类和ATT&CK技术识别。微调在每个指标上改进了每个模型。块分类准确率从基础变体的大约8%提升到微调后的90%到97%之间。技术识别仍然具有挑战性，最佳精确匹配准确率为42%，尽管较高的部分匹配分数表明模型捕获了大部分底层推理。

I. 引言

现代组织将系统、网络和浏览器活动记录为日志。安全团队依赖这些日志在损害发生之前检测攻击。攻击者执行跨越所有三个来源的多阶段攻击[16]。他们通过浏览器钓鱼用户，在系统上运行代码，并通过网络发送信标。重构完整的攻击需要关联所有来源的事件。我们在第二节中定义了关键术语（多源日志、事件、会话、块、ATT&CK战术和技术[26]）。

当防御者只看到单一来源时，攻击者就隐藏在其他来源中。初始访问升级为数据窃取、勒索软件或系统清除[7]。2025年82%的威胁检测涉及无恶意软件的战术[8]。防御者不能仅依赖文件签名。他们必须跨来源关联日志以揭示攻击者的真实意图。挑战是双重的。首先，机器学习检测方法需要带标签的多源数据来学习跨源模式。其次，没有这样的带标签数据集是公开可用的。

我们通过构建一个带标签的多源日志数据集来解决这个问题。该数据集同时捕获系统、网络和浏览器事件。它用ATT&CK技术ID标记恶意事件。我们使用真实的攻击工具生成了所有攻击数据，而非合成流量生成器。然而，几个现有数据集已经覆盖了部分问题。KDD Cup 1999、NSL-KDD [27]、CICIDS [25]、UNSW-NB15 [20]和CTU-13 [11]仅记录网络流量，缺乏主机和浏览器可见性。DAPT 2020 [21]、Unraveled [22]、CICAPT-IIoT [12]和LMDG [19]包含主机遥测但省略了浏览器活动。最接近的先前工作ATLAS [3]及其后继者ATLASv2 [24]在系统审计和DNS数据旁包含了浏览器日志，但仅将事件标记为恶意或良性，没有ATT&CK技术粒度。UWF-ZeekData22 [5]将ATT&CK标签应用于Zeek网络日志，但缺乏主机和浏览器来源，且数据以侦察活动为主（99.97%）。

没有公共数据集同时结合所有三个属性：（a）同时的系统、网络和浏览器来源，（b）恶意事件上每个条目的ATT&CK技术标签，以及（c）从真实攻击工具生成。这一差距阻止了研究人员训练和评估在技术层面上跨所有三个来源推理的模型。本文的目标是通过发布一个带有每个条目ATT&CK技术标签的多源日志数据集，并在其上对微调后的SLM [30]进行基准测试，来促进多源攻击检测的研究，为安全和机器学习研究人员提供训练跨源检测模型的基础，并为SOC分析师提供初始分类的评估基线。我们研究以下研究问题。

RQ1：攻击模拟能否产生一个带有每个条目ATT&CK技术标签和跨系统、网络、浏览器来源的广泛战术覆盖的多源日志数据集？

RQ2：生成的数据集是否携带可学习的信号，使得LoRA微调在攻击检测和技术识别任务上相对于基础变体改进SLM？

为了回答问题，我们从2025年1月到2026年2月在Windows端点上运行了70次攻击模拟和800次良性会话。每个会话同时捕获20分钟的系统、网络和浏览器活动。我们将每个会话标记为正常或可疑，并用ATT&CK技术ID标记恶意事件。然后我们使用LoRA微调了三个SLM（Qwen2.5-1.5B、Llama-3.2-3B和Phi-4-Mini），并在十个指标上比较了每个基础模型与其微调变体。

贡献： (a) 一个包含870个会话（70个攻击会话和800个良性会话）的多源日志数据集，使用真实攻击工具通过模拟构建，记录了来自系统、网络和浏览器来源的约230万个事件，覆盖12种ATT&CK战术和53种技术。 (b) 对三种SLM在基础和LoRA微调形式下的基准评估，在十个指标上测量两个任务：块分类（正常与可疑）和ATT&CK技术识别。 (c) 一个经验基线，显示微调将块分类准确率从大约8%提升到90%到97%之间，直接证明数据集携带可学习信号。

本文的其余部分组织如下。第二节定义关键概念。第三节回顾相关工作。第四节介绍方法论。第五节报告两个研究问题的发现。第六节讨论影响。第七节涵盖有效性威胁。第八节总结。

II. 关键概念

我们在本节中讨论关键概念。

多源日志：多源日志同时记录来自三个来源的活动：系统、网络和浏览器。系统日志捕获操作系统事件；网络日志捕获所有流量事件；浏览器日志捕获访问的统一资源定位符（URL）和浏览器事件。

事件：事件是来自一个来源的单个记录活动，如进程启动、网络连接或访问的URL。

会话：会话是一个固定的20分钟记录活动窗口，由许多事件组成。

块：块是一个结构化元数据对象，包含一个有序的七个带时间戳事件的序列。该单元作为SLM的输入，处理序列以执行分类和识别ATT&CK技术。

表I：一个块（包含七个事件）

#

时间戳

事件

技术ID

注意：每个事件要么是系统、网络要么是浏览器日志。如果关联的ATT&CK技术总和 ≥ 1，则块被标记为可疑。

MITRE ATT&CK战术和技术：ATT&CK是一个公开的对手行为知识库，其中战术是攻击者的目标，如初始访问或外泄，技术是实现目标的具体方法[26]。

小型语言模型（SLM）：小型语言模型通常指参数量少于100亿的语言模型[30]。

微调：微调是在任务特定数据上进一步训练预训练模型以适应模型行为的过程。

低秩适应（LoRA）：LoRA是一种微调方法，冻结原始模型权重，仅训练一小组添加的适配器层。

III. 相关工作

我们在本节中讨论相关工作。

入侵检测数据集：早期数据集仅限网络，缺少主机和浏览器活动。KDD Cup 1999和NSL-KDD [27]已有超过25年历史，缺乏现代威胁。CICIDS [25]、UNSW-NB15 [20]和CTU-13 [11]仅记录网络流量。UWF-ZeekData22 [5]添加了ATT&CK标签但以侦察为主（99.97%）且仅限网络。DARPA透明计算数据集[9]记录系统来源但缺乏浏览器活动且难以复现。

基于主机和多源数据集：最近的数据集将主机遥测与网络日志结合用于多阶段攻击[4, 28]。DAPT 2020 [21]、Unraveled [22]、CICAPT-IIoT [12]和LMDG [19]扩展了这一方向但省略了浏览器活动。ATLAS [3]和ATLASv2 [24]是最接近的先前工作，在系统审计和DNS数据旁捕获浏览器日志，但仅将事件标记为恶意或良性，没有ATT&CK技术粒度。我们添加了每个条目的技术标签和更广泛的战术覆盖（12种战术，53种技术）。

用于安全的语言模型：研究人员将语言模型应用于恶意软件分析、漏洞发现、日志审查和警报分类[6, 13]。最近的工作表明大型语言模型（LLM）有效识别广泛威胁，但在精确的多步推理上表现不佳[29, 1]。参数高效微调（如LoRA）使从业者能够廉价地调整模型[14, 10]。

自动ATT&CK技术映射：先前工作将威胁报告文本链接到ATT&CK技术[15, 17, 18, 2, 23]。与这些研究不同，我们直接从原始多源日志数据中识别技术。

没有公共数据集结合同时的系统、网络和浏览器来源与来自真实攻击工具的每个条目ATT&CK技术标签。当前研究也很少在基础与微调SLM之间比较多源安全数据。我们通过我们的数据集和对本地可运行SLM在基础和微调形式下的受控评估来填补这两个空白。

IV. 方法论

我们在下面介绍方法论。

IV-A 数据集构建

IV-A1 概述

我们构建了一个网络安全日志数据集。我们通过攻击模拟生成数据，其中攻击者利用受害者的系统。为了纳入正常背景活动，我们在攻击模拟会话旁执行了良性用户模拟会话。为了捕获完整图景，我们从多个来源收集信息，包括系统日志、网络日志和浏览器日志。为了确保安全、消除外部变量并保持数据集可复现，我们控制了模拟环境并隔离了网络。

为了同步事件时间线，我们同时捕获了系统、网络和浏览器日志。为了管理同步数据，我们将所有会话记录为20分钟的块。为了复现真实世界场景，我们使用了真实的攻击工具。按照从2025年1月到2026年2月的方法论，我们记录了870个会话（70个攻击模拟会话和800个良性用户会话）并生成了230万个事件日志。

IV-A2 环境设置

我们在Windows 10和Windows 11系统上进行了所有实验，同时使用计算机和虚拟机。我们使用计算机模拟物理初始访问技术，如USB驱动器传输。我们进一步使用虚拟机（VM）来扩展网络并模拟多计算机环境，而无需几十台物理机器。

我们设置环境以实现两个目标。首先，我们必须能够运行实时恶意软件（如RAT和C2隧道）而不将任何外部系统置于风险之中。其次，我们需要保持真实感，以便捕获的网络流量看起来完全像安全防御者在现实生活中看到的。为实现目标，我们将实验室与生产网络分离。我们仅通过受控的网络地址转换（NAT）网关将其连接到公共互联网。这种分离使我们能够严格将互联网访问限制为我们C2服务器、云存储上传和工具下载所需的目的地。此外，我们使用当代攻击工具而非合成流量生成器来模拟真实世界场景，详见第IV-A1节。

在记录会话之前，我们在每个相关系统上安装了数据收集软件栈（详见第IV-A3节）。最后，我们在所有计算机上标准化了设置，以保持不同会话间的数据一致性。

IV-A3 数据收集

为了协调每个受监控端点的数据收集，我们开发了一个协调器。为了实现网络数据包捕获，我们首先验证了管理员权限。接下来，我们为会话创建了一个带时间戳的文件夹，并启动了三个收集模块（网络捕获、系统日志、浏览器日志）作为并行进程。我们在整个20分钟会话期间监控这些进程。为了节省本地磁盘空间，我们将所有工件上传到Google Drive，并在会话捕获完成时删除本地副本。最后，为了优雅地结束中断的会话而不留下未完成的任务，我们使用了一个清理进程，自动关闭所有活动程序。三个日志收集模块详述如下。

网络捕获 为了捕获所有入站和出站网络流量，我们在混杂模式下调用tshark，不使用捕获过滤器。我们直接将观测保存到数据包捕获（PCAP）文件。我们在收集期间没有过滤任何网络流量，以保留协议的全部多样性供未来取证分析。

系统日志捕获 我们使用Elasticsearch、Logstash和Kibana（ELK）基础设施提取系统日志，这是一个由三个开源工具组成的平台，用于收集、解析和存储日志数据。在每个会话期间，一个名为System Monitor（Sysmon）的跟踪工具在端点（即受害者机器）上监控操作系统活动，同时监控标准的Windows事件日志（WEL）。WEL提供管理和审计功能，而Sysmon提供低级别、安全特定的数据。为了在捕获活动的同时保持数据量可管理，我们过滤了九种必要的Sysmon事件类型：进程创建、网络连接、镜像和DLL加载、远程线程创建、文件创建、注册表对象更改、注册表值设置、DNS查询和文件删除。

管道按顺序处理过滤后的数据。一个名为Winlogbeat的轻量级发送程序持续读取Sysmon和WEL创建的本地记录，并将其发送到Logstash。Logstash作为中央数据处理引擎，清理传入数据、标准化格式并规范化时间戳。解析后，Logstash将结构化数据写入Elasticsearch，这是一个为快速搜索和分析优化的数据库。会话结束时，协调器对Elasticsearch运行一个时间限制查询以隔离确切的活动窗口，并将这些检索到的事件导出到单个JSON文档中进行分析。

浏览器日志捕获 我们通过查询本地Activity Watch（AW）服务（端口5600）来提取浏览器日志。AW是一个开源时间跟踪应用程序，在计算机操作系统中运行并记录用户活动。该服务运行两个子程序：一个记录活动的前台应用程序，另一个跟踪Chrome、Firefox和Edge浏览器中访问的URL和标签标题。我们收集每个会话间隔期间记录的所有事件，并计算每个事件中每个活动的持续时间。然后我们清理查询参数以移除URL中存在的个人身份信息（PII）。最后，我们将清理后的活动时间线导出到单个JSON文档中。

IV-A4 攻击模拟会话

我们进行了受控攻击模拟，通过在多个日志源中执行恶意技术序列来生成真实的攻击日志。

攻击工具库 我们介绍用于实现目标的工具，按ATT&CK战术组织。

初始访问/执行。我们使用了一个名为BD2 .NET Injector的工具，将我们的载荷隐藏在正常文件中，如图像、PDF和办公文档。当受害者打开这些文件之一时，他们看到他们期望的正常图像或文档，而我们的载荷在后台静默运行。

防御规避。我们修改了一个名为Revenge-RAT v0.3的RAT。我们更新了该工具的C#代码，使其在运行时自动关闭Windows Defender的实时保护、篡改保护和云保护，并阻止其向Microsoft发送样本。然后我们使用代码签名证书对修改后的RAT进行签名，使其对安全检查看起来合法。我们还使用了多层加密（如AES）、编码（如Base64编码）和混淆（如IntelliLock）来隐藏代码并绕过安全扫描器。

权限提升：我们使用Process Hacker将代码注入受信任的Windows进程如explorer.exe和svchost.exe，使用进程镂空和DLL注入。

持久化。为了确保我们的访问在计算机上保持活动，我们使用了三种不同的方法。首先，我们在Windows任务计划程序（WTS）中设置计划任务，使我们的代码按定时器自动运行。其次，我们在标准启动文件夹下的Windows注册表中添加条目，使我们的代码在每次登录时运行。最后，我们更改了计算机的引导加载程序，使我们的代码甚至在Windows操作系统完全加载之前就开始运行。

凭证访问。我们通过RAT上传一个名为WebBrowserPassView（WBPV）的工具来检索存储的凭证。然后我们使用PowerShell或cmd.exe等标准命令行程序运行该工具。

命令与控制。我们通过发送C2流量以绕过网络防火墙。我们配置该工具使用非常规端口（1337和4444），并设置我们的软件每分钟与我们通信。

外泄。我们通过将数据上传到云服务来外泄数据。我们使用7-Zip先将大文件打包成zip存档，然后使用rclone将数据发送到Google Drive，使用mega-cli发送到，使用内置的OneDrive程序发送到Microsoft云存储。

影响。我们通过使用7-Zip用密码加密文件来模拟勒索软件攻击。然后我们删除原始未加密文件，并留下一封勒索信。

攻击场景设计 在执行攻击之前，我们设计了50种不同场景以捕获广泛的当代黑客方法。对于每个场景，我们从以下七种不同战术中选择独特的技术组合。

初始访问与执行。我们通过选择初始访问技术和执行时间控制技术开始每次攻击。作为初始访问技术，我们选择通过Telegram、WhatsApp、电子邮件或虚假网站的钓鱼。通过钓鱼，我们部署了伪造的安装程序下载、虚假软件安装程序或隐藏在文档或图像文件中的载荷。为确定载荷的执行时间，我们选择延迟激活或立即激活（即RAT即时连接）。

防御规避。我们在执行延迟阶段和攻击生命周期最后阶段使用防御规避技术。我们选择延迟执行以绕过安全沙箱和基于时间的控制。在操作结束时，我们进行清理活动。我们要么移除痕迹以删除系统日志和清除操作历史，要么有意留下一些痕迹供安全团队识别攻击。

凭证访问。我们使用两种凭证访问方法之一进行密码收集。我们要么将RAT与名为WBPV的提取工具结合使用以从浏览器收集保存的凭证，要么仅依赖RAT内置的凭证转储功能从系统提取安全令牌。

持久化。为维持对目标系统的长期访问，我们使用两种技术之一建立持久化。我们配置攻击以在WTS中创建计划条目以在特定时间触发执行，或者我们修改系统注册表，包括启动键和引导加载程序。

横向移动。我们通过实现三种横向移动技术之一来定义每次操作的内部范围。我们要么将整个攻击限制在单个目标系统上而不进行内部传播，通过滥用Windows SMB共享将我们的范围扩展到内部网络，或针对同一网络内的其他用户发起内部鱼叉式钓鱼活动。

外泄。我们使用九种外泄通道之一将收集的数据移出目标系统。我们通过物理USB驱动器传输、到FTP服务器的定向连接、自定义Web上传、通过远程访问工具C2服务器的定向传输，或包括Google Drive、OneDrive、Dropbox和GitHub在内的托管云存储服务来路由窃取的信息。

影响。我们通过执行最终载荷来实现三种操作影响类型之一来结束每个攻击场景。我们要么部署勒索软件加密用户文件并要求财务支付，要么在保持系统功能完整的同时专注于数据窃取，要么执行系统清除以擦除数据并破坏操作。

攻击执行工作流 我们使用两人团队进行攻击，一人扮演攻击者，另一人扮演受害者。一位研究人员执行攻击技术，而另一位在受害者系统上工作，像普通用户一样打开钓鱼文件或运行软件安装程序。

我们为每个攻击会话遵循20分钟的时间线。我们在开始时（0:00）触发初始入口点，并在两分钟后（0:02）执行远程访问载荷。到0:03，我们通过建立了C2隧道，在0:05我们执行侦察命令以查看系统。然后我们在0:06定位并收集保存的凭证，在0:08安装持久化机制以维持访问。如果场景需要，我们在0:10横向移动到其他系统。我们在0:12开始收集敏感文件，并在0:15开始将收集的数据外泄出网络。最后，我们在0:18触发影响——如运行勒索软件、窃取数据或清除系统——并在0:20通过完成清理阶段结束整个会话。

我们选择标准化的时间线，以便每个会话清晰地显示每个攻击步骤的技术。同时，我们在步骤之间有足够的空闲时间来适应不同场景特定要求。一旦20分钟窗口关闭，我们完成会话。我们结束网络数据包捕获，并执行日志提取模块以提取会话期间发生的所有系统和浏览器事件。

然后我们将所有三个文件（即数据包捕获、系统日志和浏览器日志）上传到Google Drive中带时间戳的会话文件夹，并从本地机器删除临时副本。最后，我们用其唯一的场景ID标记每个会话的元数据，并将其标记为攻击会话。

IV-A5 良性用户会话

为了识别攻击者行为并避免过拟合于仅攻击的工件，检测模型需要良性用户行为的数据。为了在数据集中容纳良性用户行为，我们收集了800个包含常规系统活动的良性用户会话。为了捕获用户行为的变异性，多位作者进行了良性用户会话。

我们将数据分布在五个活动类别中：网页浏览（35%）、生产力工作（25%）、软件开发（20%）、系统管理（10%）和娱乐（10%）。会话包括网页浏览（280个会话，包括视频流、信息检索、新闻和社交媒体）、生产力工作（200个会话，包括办公套件和电子邮件服务）和软件开发（160个会话，包括代码编辑、版本控制和编译）。其余数据包括系统管理（80个会话，包括PowerShell脚本、包管理和维护）和娱乐（80个会话，包括游戏和媒体播放）。

我们使用不同的程序收集攻击和良性会话。对于良性会话，我们在20分钟窗口内执行任务而不遵循严格的脚本。生成的数据反映了正常计算机使用的不可预测性，具有事件时间和内容的变化。相反，对于攻击会话，我们使用严格脚本执行利用。生成的数据一致地记录攻击场景，没有人错误或随机噪声。

IV-B 数据集评估

本节详述数据集评估步骤。

IV-B1 数据预处理与特征工程

为了微调模型，我们清理了原始日志、添加注释、工程化特征，并将数据分割为训练集、验证集和测试集。

数据清理 我们首先将原始PCAP转换为JSON格式，并解析系统和浏览器日志文件以将其时间戳规范化为单一一致格式。接下来，我们通过匿名化PII来保护用户隐私，包括屏蔽内部IP地址、哈希用户名以及从日志中移除敏感文件路径。最后，我们将网络、系统和浏览器日志中的所有数据字段映射到单一统一模式，以建立它们之间的关系。

数据标注 为了创建我们的真实数据，我们使用日志中记录的攻击痕迹来识别哪些活动是恶意的。然后我们将每个20分钟日志会话标记为“正常”或“可疑”。对于每个“可疑”会话，我们识别对应于恶意活动的单个日志条目。然后我们将恶意日志条目映射到ATT&CK技术。

特征工程 为准备数据，我们将事件组织成块（见第二节），这是SLM的基本分析单元。经验上，我们确定七个事件足以维持必要的上下文，因此每个块由七个按时间排序的日志条目序列组成，伴随包含会话ID、块索引和事件计数的元数据对象。

然后我们根据内部活动标记每个块。首先，我们将所有块标记为正常。之后，如果块包含任何恶意事件，我们将其标记为“可疑”，并将每个可疑事件映射到其对应的ATT&CK技术ID。

最后，我们将这些块结构化成语调微调格式，以训练模型进行分析、推理和提供证据。该格式包含三个字段：一个指示模型分析块的指令提示；一个包含元数据和有序事件序列的输入JSON，以促进对攻击进展的推理；以及一个提供“检测到正常活动”确认或包含严重性评级、带有引用日志字段的可疑事件列表和相关ATT&CK技术ID的结构化警报响应的输出字段。

训练-测试-验证分割 经过特征工程的数据集包含约112,726个块，分为训练集（89,693）、验证集（12,427）和测试集（10,606）。为管理GPU内存限制，我们随机抽样了40%的训练和验证集，分别产生35,877和4,970个块。为防止上下文截断，我们按最大2000个令牌过滤所有块，最终训练集为22,896个块，最终验证集为3,065个块。

IV-B2 模型选择

我们选择了三个指令微调的SLM来评估在我们构建的数据集上微调前后发生的性能Δ（增益或损失）。为确保性能Δ广泛推广而非孤立于特定模型生态系统，我们选择了跨三个家族和参数大小的SLM。

表II：选定SLM概述

SLM名称

家族

参数量

提供者

注意：所有列出的SLM均采用仅解码器Transformer架构。

IV-B3 使用LoRA微调

我们使用LoRA微调了所有三个SLM。这种参数高效微调技术使我们能够高效训练SLM，同时在所有SLM上保持完全相同的设置以实现公平比较。

我们对所有SLM使用标准配置，设置LoRA秩r=16，缩放因子α=32，最大序列长度为2000个令牌。每个SLM训练最多3个epoch，批量大小为4，更新不到总参数的1%。

IV-B4 评估指标

我们通过跨越两个主要任务的十个指标评估了SLM的性能。

任务1，块分类，确定块内的活动是正常还是可疑。我们使用七个指标评估此性能：准确率、精确率、召回率和F1分数，报告宏观平均和加权平均数字以说明正常和可疑块之间的数据不平衡。

任务2，警报生成，产生可疑分类背后的推理、严重性级别以及每个事件相关的ATT&CK技术。我们使用三个指标评估此任务：精确匹配准确率、平均部分匹配和词级F1分数。我们使用前两个指标评估生成输出是否完美或部分匹配参考文本，而最后一个指标确定生成推理与真实值之间的语义重叠。

V. 发现

我们在下面呈现发现。

V-A 数据集发现（RQ1）

我们在下面呈现关于数据集的发现。

V-A1 数据集统计与质量

在本节中，我们报告数据集的特征。

数据集组成 该数据集包含在13个月期间（2025年1月–2026年2月）收集的大约870个会话，总计290小时（17,400分钟）的监控活动。

表III：数据集统计概览

组成部分

计数/值

70个攻击会话分布在8种初始访问战术中，其中Telegram钓鱼最为普遍（17%），其次是WhatsApp钓鱼和虚假软件安装程序（各14%）。

日志类别分布 攻击会话平均产生的系统日志事件是良性会话的2.2倍，网络事件是1.9倍。这一差异表明当我们的模拟攻击创建新进程、修改系统注册表并连接回C2服务器时留下的重大足迹。

表IV：日志分布

类型

总数

%

μ

μₐ

μₙ

注意：k=千；M=百万；μ=每会话平均条目数；μₐ=每攻击会话平均条目数；μₙ=每正常会话平均条目数。

最常见的Sysmon事件类型是进程创建（系统日志的36%），其次是网络连接（25%）和注册表值设置（19%）。攻击特定的网络指标包括约1,500个到Playit.gg隧道端口1337的C2连接，约500个大容量外泄传输（>10 MB），以及约800个到可疑域的DNS查询。

ATT&CK技术覆盖 数据集覆盖攻击会话中的12种不同战术和53种不同技术（见表V）。

表V：ATT&CK战术和会话覆盖

战术

技术数

覆盖度（%）

通过在七个战术上实现100%的会话覆盖，我们的场景一致地映射了从投递到目标入侵的完整网络杀伤链：初始访问 → 执行 → 防御规避 → 发现 → 收集 → C2 → 外泄。横向移动覆盖度最低（21%），因为它是场景设计中的可选元素，仅在需要多主机传播时才包含。

数据集完整性和验证 我们在表VI中呈现六个数据集完整性维度的表现。

表VI：数据集完整性指标

完整性指标

表现

每个会话包含三个同步工件（即PCAP、系统日志和浏览器日志），产生完整的多源记录。系统和浏览器数据的提取率证明了底层采集和日志管道的可靠性，而匹配的嵌入时间戳确认了所有来源的时间对齐。

数据包捕获问题是由于会话初始化期间混杂模式捕获偶尔的管理员权限验证失败造成的。数据包捕获丢失是孤立的，并未破坏这些会话对应系统和浏览器日志的提取。

V-B 数据集评估发现（RQ2）

本节报告在数据集上微调三个SLM的结果。发现呈现在表VII中。

表VII：性能指标比较

指标

Llama-3.2-3B

Phi-4-mini

Qwen2.5-1.5B

注意：所有三个SLM在十个评估指标上的基础与微调性能对比。FT表示LoRA微调变体。

V-B1 微调在所有SLM上提升性能

微调使每个模型在我们跟踪的所有十个指标上都表现得更好。因为每个结果都提升而没有变差，我们对第二个研究问题有明确、肯定的答案。微调前，基础SLM的准确率在7%到8%之间。微调后，准确率提升到89.9%到97.0%之间。Phi-4-mini提升最多，达到0.970（Δ=+0.898）。Llama-3.2-3B提升到0.928（Δ=0.847），Qwen2.5-1.5B提升到0.899（Δ=0.820）。

V-B2 基础SLM中的过度警报行为

混淆矩阵显示SLM的差劲表现并非由于随机错误，而是由一个一致的问题导致：它们几乎从未正确识别正常会话。事实上，基础SLM仅正确标记了0.1%的正常会话（Llama-3.2-3B）、0.4%（Phi-4-mini）和0.7%（Qwen2.5-1.5B）。相反，它们错误地将几乎所有正常流量标记为可疑。此外，它们经常为12.3%、26.3%和17.7%的所有会话分配“未知”标签。

表VIII：混淆矩阵比较（基础与微调）

Llama-3.2-3B

Phi-4-mini

Qwen2.5-1.5B

注意：行代表真实标签，列代表预测标签。

基础SLM似乎在检测攻击方面表现良好，但这仅仅是因为它们不加区分地将几乎所有东西标记为可疑。这种行为将几乎所有良性流量标记为威胁。加权与宏观分数之间的差距证实了这一发现：因为正常会话主导数据，错误标记它们迫使准确率和加权F1趋近于零，尽管宏观精确率在0.32-0.34之间尚可。因此，基础SLM在操作上是不可用的，因为它们会以误报淹没分析师。

V-B3 微调修复过度警报，但SLM在攻击检测上表现不同

微调修复了每个SLM中的低召回问题。SLM开始正确识别正常会话，召回率提升为Llama-3.2-3B 98.0%、Phi-4-mini 96.6%和Qwen2.5-1.5B 89.6%。此外，SLM几乎完全停止了“未知”预测，这在基础变体中曾占高达26.3%的输出。

然而，SLM在检测稀有“可疑”会话时表现不同。Phi-4-mini表现最好，正确识别了97.0%的可疑会话。Qwen2.5-1.5B以85.8%紧随其后。Llama-3.2-3B表现不佳，仅识别了39.5%的“可疑”会话，并将958个攻击中的580个误分类为“正常”。

Phi-4-mini是最大的微调SLM（3.8B参数），仍然最可靠，在所有十个指标上优于其他模型。

V-B4 技术识别任务的局限性

没有基础SLM能够生成带有ATT&CK技术和响应的完全正确响应，导致三个SLM的精确匹配准确率均为0。微调后，Phi-4-mini达到了0.416的精确匹配准确率，其次是Llama-3.2-3B的0.293和Qwen2.5-1.5B的0.278。此外，较高的部分匹配分数（0.857-0.931）和词级F1分数（0.819-0.930）表明微调SLM识别了大多数正确技术，即使在未能复现精确输出时也产生了更相关的推理。

VI. 讨论

微调一致地将三种不同SLM从接近零提升到90-97%准确率这一事实表明我们的数据集是可学习的，并包含各种SLM家族可以提取的一致信号。当与数据集的广泛覆盖（12种战术和53种技术）结合时，这一发现表明受控模拟可以创建适合训练SLM的高质量多源日志数据集。

对于安全应用，宏观和加权指标都值得考虑：宏观指标通过平等对待所有类别来评估SLM检测稀有威胁的能力，而加权指标评估整个数据集的整体检测能力。通过这些衡量标准，Phi-4-mini是最有效的SLM，在宏观和加权类别中都领先。虽然最大的SLM（Phi-4-mini）表现最好，但样本量不足以得出更大的微调模型一致推广更好的结论。

由于基础SLM触发大量误报，它们在操作上是不可用的。微调SLM足够可靠以执行初始分类。较高的部分匹配和词级分数表明微调SLM可以通过建议相关技术和推理来支持人类分析师。

VII. 有效性威胁

VII-1 内部有效性

SLM可能是在识别模拟结构或输出格式中的模式，而非实际的恶意行为，这可能人为地夸大性能结果。此外，使用统一的LoRA配置确保了模型之间的公平比较，即使它不代表每个单独模型的绝对最大潜力。

VII-2 外部有效性

由于数据集是在受控实验室环境中创建的，准确率水平可能无法完全转化到企业网络更多样化的条件。此外，测试数据中攻击的具体百分比和有限的用户行为多样性等因素可能导致性能结果在生产环境中发生变化。

VII-3 构造有效性

由于准确率在数据不平衡时具有误导性，我们使用宏观平均指标和每类召回率来提供更准确的模型性能图景。我们还结合了严格的精确匹配分数与部分匹配和词级F1，以确保我们不会低估格式不同的正确识别。设计攻击的团队分配了真实标签，这引入了潜在的标注偏差。

VII-4 结论有效性

由于我们只测试了三个SLM一次，我们的结果表明趋势而非已证明的排名。虽然从基础SLM到微调SLM的巨大性能提升是真实的，但微调SLM之间排名的小差异应被视为观察而非优越性的具体证明。

VIII. 结论

我们从受控攻击模拟构建了一个多源网络安全日志数据集。然后我们在数据集上微调前后测试了三个SLM。微调产生了巨大且一致的增益。准确率从大约8%上升到90%到97%之间。基础模型因将几乎所有会话标记为可疑而失败，因此它们在实践中不可用。微调修复了这一失败，但模型在稀有攻击上仍然不同。Phi-4-mini捕获了97%的攻击，而Llama-3.2-3B捕获不到40%。技术识别仍然困难，最佳精确匹配为42%。未来工作应探索微调更广泛的SLM范围，在生产日志上评估性能，进行重复试验，并开发改进的方法来缩小技术识别差距。