LLM4Onto: Automated Domain Ontology Construction Using Large Language Models——使用大型语言模型的自动化领域本体构建

/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */
#content_views .toc,
/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */
#content_views.markdown_views > p:empty:has(+ .toc),
#content_views.markdown_views > .toc + p:empty,
/* 富文本旧版目录标记 */
#content_views.htmledit_views #main-toc,
#content_views.htmledit_views #hr-toc,
#content_views.htmledit_views p[id*=\”-toc\”] {
display: none !important;
}
/* 目录去掉后，紧跟的首个标题不再多出一块上边距 */
#content_views.markdown_views > .toc + h1,
#content_views.markdown_views > .toc + h2,
#content_views.markdown_views > .toc + h3,
#content_views.markdown_views > .toc + h4,
#content_views.markdown_views > .toc + p:empty + h1,
#content_views.markdown_views > .toc + p:empty + h2,
#content_views.markdown_views > .toc + p:empty + h3,
#content_views.markdown_views > .toc + p:empty + h4 {
margin-top: 0 !important;
}

1. 研究背景与问题

• 背景：领域本体是知识图谱的基础，但构建过程长期以来依赖领域专家手动完成，效率低、成本高。

• 现有方法缺陷：

  • 多数方法依赖中间状态数据（如已有知识图谱），导致原始文本中的完整语义丢失。

  • 基于LLM的方法常受限于僵化的预定义模式，无法让数据“自主表达”。

  • 直接使用LLM生成本体容易产生幻觉，且关系抽取能力弱。

2. 核心贡献（LLM4Onto框架）

作者提出了一个端到端的自动化本体构建框架，主要创新点包括：

3. 技术实现要点

• 聚类：亲和力传播算法可自动确定类别数量，且通过设置偏好参数倾向生成更细粒度的簇，后续再用LLM合并，保证结构精细度。

• 阈值过滤：只保留实体数量 ≥ n 的簇，剔除稀疏簇，增强输入信号。

• 上下文学习：在提示词中给出领域示例，引导LLM生成符合领域命名规范的本体名称。

• 多轮对话：识别并合并被分散在不同簇中的同类本体。

4. 实验与数据集

在三个不同类型的数据集上进行了评估：

5. 评估指标

采用四种指标全面衡量生成本体与标准答案的差异：

• Literal F1：严格匹配重叠边（过于严格）。

• Fuzzy F1：利用嵌入相似度识别同义词，有一定容错性。

• Continuous F1：基于匈牙利算法优化边匹配，注重结构。

• Graph F1：使用GCN生成图感知嵌入，综合语义与结构。

6. 主要结论

• 优势：

  • 在专业、领域受限场景（如对话系统、网络安全）表现卓越，能捕捉丰富语义和复杂关系。

  • 完全自动化、可扩展，仅需修改提示词即可迁移到新领域。

  • 有效减轻LLM幻觉问题，生成结构合理、关系清晰的本体。

• 局限性：

  • 在开放通用领域（如Wikipedia）因领域边界模糊、生成的粒度与标准答案不匹配，部分指标落后于基线。

• 未来工作：改进构建范式以解决粒度对齐问题，提升层次关系和命名精度。

LLM4onto为领域本体构建提供了一种可落地、可扩展、数据驱动的自动化方案，尤其在专业性强、缺乏现成本体资源的领域（如网络安全）具有重要应用价值。这里是自己的论文阅读记录，感兴趣的话可以参考一下，如果需要阅读原文的话可以看这里，如下所示：

摘要

领域本体是知识图谱的基础，但其构建仍然是一个瓶颈。当前基于大型语言模型（LLM）的本体构建方法受限于僵化的模式，这些模式无法让数据“发声”，也难以捕捉真实世界的语义。此外，缺乏结构化的任务分解范式会导致幻觉现象和较差的关系抽取效果，阻碍了可靠领域本体的开发。为解决这些局限，我们提出了LLM4onto，一个旨在直接从原始文本自动化构建领域本体的框架。LLM4onto集成了亲和力传播聚类算法，无需预定义约束即可自主发现潜在的实体类型；同时，它采用了“头-尾-关系-本体”（Head-Tail-Relation-Ontology）范式，以三元组格式总结本体间的关系。这种将整体构建任务分解为更简单单元的做法，显著降低了模型的认知负担，从而最大程度地减少了幻觉。广泛的实证评估表明，LLM4onto在多种数据集上均取得了优越的性能，特别是在网络安全语料库上的验证，凸显了其在构建专业领域本体架构方面的强大能力。

关键词：大型语言模型，本体构建

引言

在过去的几十年里，知识图谱被广泛用于表示、推理和补全知识，在自然语言处理和知识推理领域发挥了重要作用。知识图谱的本体是构建知识图谱的关键和首要步骤。它描述了知识图谱中包含的实体类型以及它们之间的逻辑关系。

尽管自然语言处理技术已从早期方法发展到当代的生成式大型语言模型，并在实体抽取和关系抽取等任务上取得了显著进展，但构建知识图谱本体的方法在很大程度上仍然依赖于领域专家的传统手动工作。

近年来，一些研究采用从结构化数据中直接提取潜在本体模式的方法，而另一些研究则利用大型语言模型来承担或直接构建本体框架。然而，这些本体构建方法大多从中间状态的数据中提取本体，忽略了现实世界文档中文本的完整语义。这一局限性从根本上导致了所构建领域本体的不完整性。现实世界的领域文本本身就蕴含着特定领域内所有知识的结构关系。因此，“让数据发声”是构建全面领域本体最可靠的方法。

在没有过多监督和人工干预的情况下，直接从文本构建可靠领域本体这一挑战，提出了若干需要原理性解决方案的基本技术难题。这使得它比利用中间状态数据的方法复杂得多。在中间状态知识图谱数据上构建领域本体的方法可能导致显著的信息丢失。这是因为中间数据通常由其他人工智能模型提取，这些模型本身存在性能限制，无法充分捕捉文本中承载的结构化知识信息。这些固有的限制要求设计有效的技术组件。这些组件必须经过专门设计，以处理原始文本数据的复杂性，并准确、全面地提取文本中隐藏的知识及其间的结构信息。

技术挑战：首先，无监督的本体识别和抽取要求模型从海量文本中找出相同类型的实体，并提供这些实体所属的本体名称。系统必须具备丰富且专业的自然语言处理能力。模型必须对领域特定词汇敏感，因为它需要具备从大量知识稀疏的文本中检测和命名相似类型实体的能力。

其次，除了从文本中提取本体，识别不同类型本体之间的关系同样至关重要。除了将上层本体划分为多个不同的下层本体（即“is-a”关系）之外，建立完全不同类型本体之间的关系也同样重要。以往的研究忽略了这一点，未关注这些关系。此外，系统必须能够同时处理实体及其关系。这需要一个额外的专用模块来抽取本体间的关系，该模块可以根据文本提供的内容总结本体间关系的类型。

第三，使用大型语言模型直接从文本构建领域本体框架可能会导致严重的“幻觉”问题。因此，我们的方法需要将这个复杂问题分解为更简单的任务，在这些任务中，“幻觉”问题的影响可以被降到最低。

我们的贡献：为应对这些挑战，我们引入了LLM4onto，一个基于大型语言模型的框架，用于直接从原始文本构建领域本体结构。我们的方法采用了亲和力传播聚类策略，该策略巧妙地聚类从知识稀疏文本中提取的所有名词和名词短语，无需预定义聚类数量，从而将语义空间中相同类型的实体分组到同一个簇中。这确保了LLM4onto框架不会遗漏文本中存在的任何实体类型对应的本体。另一方面，聚类结果可以作为实体抽取的标准数据集。为了准确确定本体间的关系，LLM4onto采用了一种新颖的关系识别范式，称为HT-R-O（头-尾-关系-本体）。与现有依赖人工定义本体框架的方法不同，LLM4onto不依赖专家精心制作的本体定义，使其能够反映现实世界数据中知识的结构关系。本体命名和HT-R-O范式始终忠于原始文本，从而防止大型语言模型生成幻觉内容。这个基于大型语言模型的本体构建框架可以在不依赖外部人工干预的情况下，从海量文本中全面细致地提取本体及其相互关系。它表现出强大的可扩展性和广阔的应用前景。

相关工作

传统本体构建

在大型语言模型出现之前，本体构建依赖于基于统计规则和语言学特征的方法。这些方法通常通过利用数据中的词频统计信息和预训练模型的语义洞察来提取本体，具体如下所述。

在很长一段时间里，本体构建是通过依赖频率分析的方法从文本中提取本体来进行的。Carriero等人引入了一种基于知识图谱的本体构建方法。该方法从图中提取公理和约束依赖关系作为经验性的本体设计模式，并根据与这些模式关联的类别来构建本体。在整个过程中，它采用阈值来过滤掉低频类别，从而确保统计显著性。Finch等人引入了一种基于生成式对话状态推断的创新方法，该方法涉及训练一个无需先验任务知识即可运行的生成模型，该模型能够同时生成槽位名称及其对应的值，以有效地总结对话中的关键信息。类似地，Yu等人也采用了一种无监督方法，通过粗到细的聚类来无约束地归纳槽位类型。

基于LLM的本体构建

大型语言模型在自然语言处理和知识图谱领域展现出了卓越的能力。在这些成就的基础上，当前的研究正逐步涉足本体工程领域^1-3,14,15,20。目标是利用LLM强大的理解和生成能力来自动化本体构建过程，从而显著减少对复杂人工劳动的依赖。Li等人对LLM在本体工程中的应用进行了全面分析，涵盖了LLM在该领域的具体角色、数据集选择以及评估指标。

DORE²¹利用Gemma-2B指令模型，通过受限的思维链解码来提取对话级别的本体关系，将预测限制在已知术语和关系内，并根据置信度分数选择输出。TeQoDO²²通过使用GPT-4o-mini进行端到端的本体生成，融合了这些范式，其中包含了通过迭代ChatGPT优化改进的人工制作提示，并使用SQLite3进行结构化输出验证。OLLM¹⁶从头开始构建本体的分类骨架，并使用自定义正则化器对LLM进行微调，以减轻对频繁概念的过拟合，从而能够对目标本体的所有子组件进行建模。为保证本体生成的质量，NeOn迭代本体工程框架¹¹引入了LLM来加速关键任务，同时保留了由领域专家进行的验证过程。该框架通过结合人类专家与机器能力的协作过程，促进了复杂本体的创建和操作。

检索增强生成（RAG）模型将语言模型与信息检索技术相结合。具体来说，当模型被要求生成文本或回答问题时，它首先从庞大的文档库中检索相关信息，随后利用这些信息来指导文本生成过程。DRAGON-AI^19</span>将检索增强生成与LLM集成，以从非结构化文本来源和多个本体中提取知识，并随后生成本体。此外，将大型语言模型与成熟的本体构建工具（如Protege）集成，可以共同帮助完成本体工程过程中的一系列任务^5,12,27。

在本体工程领域，除了从头开始构建本体之外，对现有本体进行自动化补充也同样重要。Dong等人利用预训练模型识别本体中的潜在插入点（边），并利用大型语言模型进行判断和选择，从而促进将文本中新概念自动整合到已有本体中⁶。Garcia等人设计了一个用于本体扩展的过程框架，该框架结合了人类专家与LLM的能力，提供了可定制的提示模板⁹。除了本体构建，领域本体正逐渐在其各自领域内发挥影响力。此外，Yang等人提出了一种基于LLM的本体扩展方法，利用LLM制定能力问题来扩展初始本体，然后基于扩展后的本体构建知识图谱²⁵。从本体应用的角度来看，本体提供的结构和语言信息促进了它们在各个领域的应用，包括网络安全¹⁰。例如，OntoCSD²³采用网络本体语言来设计防御推理规则，从而为网络空间防御提供全面的解决方案。

与上述工作相比，我们的方法直接从原始文本构建本体以及不同本体类别之间的关系，并将此任务分解为大型语言模型擅长的各种小任务，以减少幻觉问题对生成本体质量的影响。

方法

问题定义

LLM4Onto框架

我们现在介绍LLM4onto，一个新颖且可扩展的、利用大型语言模型构建本体的框架。在本体抽取层面，LLM4onto采用数据驱动的方法。它使用聚类技术将语义相似的名词分组到同一类别，然后利用大型语言模型为这些名词集合生成本体名称。除了抽取本体的节点类型，确定本体之间的关系同样重要。这些节点类型和关系共同构成了完整的本体架构。该架构可以通过使用本体三元组（本质上是实体-关系-实体三元数据）来指导知识图谱的构建。

在图1中，我们展示了LLM4onto的架构。LLM4onto的每个组件都专门设计用于解决当前基于文本的本体自动构建方法中识别出的关键限制。这些组件共同实现了我们的研究目标：自动化构建领域特定本体，自动识别这些本体之间的关系，以及解决大型语言模型在本体构建领域的幻觉局限。

本体命名 LLM4onto专注于实现无监督的自动化本体构建。它直接处理文本数据，无需任何人工标注。由于自然语言中的实体主要通过名词和名词短语来传达，而本体可以视为这些实体的高层抽象，因此一组语义相似实体之间的共享信息可以揭示潜在的本体概念。

为实现“让数据发声”的目标，LLM4onto首先使用Spacy从文本中提取所有名词和名词短语。这有效地捕捉了那些经常以名词短语形式出现的领域实体（例如，“卷积神经网络”）。然而，Spacy的输出包含像“it”、“that”和“which”这样缺乏明确语义的代词，这些对于后续大型语言模型的本体抽象工作是不利的。因此，从名词短语中过滤掉代词是一个必要的预处理步骤。幸运的是，构建这样一个用于过滤无明确意义名词的词典是简单的，特别是在大型语言模型的支持下。

在获得具有清晰语义的词汇后，LLM4onto需要将语义相似的词分组到同一类别。由于在构建特定领域本体时，最终的概念数量通常是未知的，传统聚类算法所需的预定义聚类数 KK 在此场景下难以确定。因此，LLM4onto采用了亲和力传播聚类算法，该算法无需预先指定聚类数量，因此特别适合此任务。

具体过程如下：首先，LLM4onto使用BERT模型为所有过滤后的名词和名词短语生成语义嵌入向量。然后，基于这些嵌入向量执行亲和力传播聚类。通过这个过程，具有相同或相似语义的实体被聚合到同一个簇中，从而初步揭示了领域内潜在的概念结构。

值得注意的是，AP算法中的偏好（preference）超参数会影响簇的大小。在LLM4onto中，它被设置为倾向于生成更多、更细粒度的簇。这种策略有助于建立更精细的本体分类结构。即使一些本应属于同一类别的实体被暂时划分到两个相邻的簇中，这个问题也可以在后续使用大型语言模型进行概念命名和合并的阶段得到有效解决。

获得聚类结果后，需要对每个簇进行后处理，以确保后续本体生成的有效性。

具体来说，为确保大型语言模型能从簇中提取足够信息进行可靠的抽象，LLM4onto设置了一个大小阈值：只保留实体数量不少于 nn 的簇，所有成员少于 nn 的簇都被丢弃。这一步过滤掉稀疏的小簇，使得输入模型的语义信号更加突出。为了生成语义准确且符合领域命名惯例的本体名称，LLM4onto采用了一种上下文学习策略。系统提供少量针对领域命名风格的示例，并明确指定生成本体所属的领域，引导大型语言模型根据簇内的实体集合推断合适的本体概念名称，并丢弃不属于该领域的本体。相关提示词和示例设计的详细信息见附录A。

此外，考虑到初始聚类可能将同一本体的实体放置在不同的簇中，此方法还引入了一种多轮对话机制。通过与大型语言模型的迭代问答，系统可以识别具有相似语义或属于同一本体的不同簇，并合并它们的输出结果，从而增强本体结构的完整性和一致性。

关系抽取 要构建一个全面的领域本体，不仅需要识别和定义其中的概念类型，还需要对这些不同概念之间的关系进行建模和表示。受AutoRE²⁴的启发，我们总结了现有的本体构建范式，并设计了一种独特的本体构建HT-R-O范式，不同的本体构建范式如图2所示。

• 文本-本体范式：输入文本，模型直接输出本体框架。这种方法直接了当。如果文本中的词元数量远超大型语言模型的内容窗口，则需要将文本分割。这可能会对大型语言模型生成的本体框架产生负面影响。此方法将所有文本直接输入提示词，然后让大型语言模型一步生成文本中包含的本体框架。

• 关系-本体范式：在该范式中，大型语言模型采用两阶段策略。首先，它识别文档中所有潜在的关系类型。随后，它将这些关系类型作为结构化约束纳入提示词，引导模型根据文档内容生成与这些关系对应的本体三元组。

• 头-尾-关系-本体范式：在我们新设计的范式中，我们将构建好的实体-本体对及其原始文本片段输入大型语言模型，让模型识别并输出文本中实体间的关系，形成形如 (e1,Ri,e2) 的三元组。此步骤旨在利用大型语言模型的上下文理解能力，在已定义的本体类型下发现特定实体之间的关联。值得注意的是，LLM4onto在较短的文本片段上执行此任务效果更佳。在获得大量三元组后，借助实体与本体之间已有的映射关系，系统将所有特定的实体级关系 (e1,Ri,e2) 抽象为本体级关系 (O1,Ri,O2)，从而捕捉本体间的初步关系。然而，由于大型语言模型抽取的关系 Ri​ 严格遵循原始文本的表达方式，这导致了语义相同的关系在表达上存在多样性（即，Ri​ 和 Rj​ 指的是同一关系）。因此，HT-R-O范式将进一步把所有本体级三元组 (On,Ri,Om) 输入大型语言模型，利用其强大的语义归纳能力，引导模型识别并合并那些表达不同但语义相同的关系，最终输出一套标准化、统一的本体关系集合。这部分对于理解大型语言模型在本体关系标准化中扮演的关键角色至关重要。

然而，由于大型语言模型抽取的关系 Ri​ 严格遵循原始文本的表达方式，这导致了语义相同的关系在表达上存在多样性（即，Ri​ 和 Rj​ 指的是同一关系）。因此，HT-R-O范式将进一步把所有本体级三元组 (On,Ri,Om) 输入大型语言模型，利用其强大的语义归纳能力，引导模型识别并合并那些表达不同但语义相同的关系，最终输出一套标准化、统一的本体关系集合。这部分对于理解大型语言模型在本体关系标准化中扮演的关键角色至关重要。

值得注意的是，HT-R-O范式抽取的关系严格遵循原始文本的表达方式。这意味着原始数据中实体和关系的粒度直接决定了LLM4onto能够构建的本体和关系的详细程度。这种方法在本体和关系两个层面都完全遵循了“让数据发声”的核心原则。

总之，LLM4onto将直接从文本构建本体的过程分解为几个可管理的子任务。当大型语言模型处理像本体命名和关系抽取这样简单的任务时，它们受到提示词的引导，严格基于现有数据生成结果，从而显著减少了本体构建过程中“幻觉”问题的发生。

实验

数据集

MultiWOZ：我们采用的第一个数据集是MultiWOZ 2.1，一个基于现实场景的多领域对话数据集。它包含1,000段人与人之间的自然对话，涵盖了酒店预订、餐厅预订、出租车调度和景点推荐等六个高频服务场景。每个对话都标注了领域-槽位-值结构，以捕捉用户在特定服务上下文中的意图表达。这些对话模拟了用户在真实任务导向对话环境中与服务代理的多轮交互，为对话系统中的本体构建提供了高保真的语义环境。

通用本体数据：它包括维基百科和ArXiv数据集，两者均完全来源于学术和百科全书资源。维基百科数据集包含242,148个文章标题和摘要，具有一个复杂的4级层次本体，包含8,033个节点和14,673条边，捕捉了细粒度的现实世界概念。相比之下，ArXiv数据集包含27,630篇论文摘要，结构化为一个两级抽象本体（61个节点，61条边），形式化了诸如“数学”这样的学术学科及其子类别，如“交换代数”，强调高层级的概念分类法而非具体实体。关键的是，这两个本体都不同于领域-槽位-值模式，而是反映了学术知识组织中微妙的层级关系：维基百科通过基于实体的详细分类，而ArXiv通过学科驱动的抽象。

网络安全数据集：该网络安全数据集包含从真实世界网络安全场景中收集的威胁情报，主要来源于Ahnlab。这个广泛的数据集包含超过580篇威胁分析文本，涵盖了广泛的安全事件报告，包括恶意软件分析、攻击归因、漏洞披露、入侵指标以及威胁行为者的战术、技术和程序。每篇文本都提供了关于攻击描述、影响范围、技术细节和缓解策略的详细信息，并附有相应的威胁分类标签和严重性等级评估。

评估指标

与知识图谱上的其他任务（这些任务有基于事实或简单直观的评估指标）不同，评估本体一直是一个相对困难的问题，因为很难定量地定义一个“好的本体”。当前的指标通常只能反映本体的某一个方面。我们选择了具有高置信度标准答案的实验数据集，并将生成的本体与标准答案进行比较。我们采用Lo等人¹⁶的评估框架来评估我们的LLM4onto方法。具体来说，我们采用Literal F1、Fuzzy F1、Continuous F1和Graph F1作为评估指标，因为它们能够展示生成本体与标准答案之间的差异。

• Literal F1指标：计算简单，源于精确率和召回率的调和平均值，通过计算生成本体与标准答案之间重叠的边的数量得出。该指标过于严格，对语义不敏感，适用于粗略评估生成的本体。

• Fuzzy F1指标：使用节点嵌入计算节点间的相似度，并采用阈值t来确定节点匹配。值得注意的是，阈值t设为0.436，反映了WordNet中同义词对余弦相似度的中位数。Fuzzy F1的优点在于能够识别同义词和语义相似的概念，提供了一定程度的容错性，以适应合理的表达差异。然而，它可能忽略图结构的差异。

• Continuous F1指标：采用匈牙利算法寻找最优的边匹配，其中一条边的相似度由其两个端点的最小相似度决定。该指标对结构敏感，与Fuzzy F1指标相比，能更有效地区分不同的图结构。然而，其计算复杂度较高。

• Graph F1指标：采用图卷积网络生成图感知的节点嵌入。它计算最佳节点匹配并提供图相似度分数，其方法类似于Continuous F1指标。因此，Graph F1指标融合了节点语义和结构信息，对生成本体的质量提供了更全面的评估。关于上述指标计算方法的详细信息，请参考Lo等人¹⁶的工作。

评估

我们首先评估LLM4onto是否能够准确地创建包含大量概念和关系的本体。从可扩展性的角度来看，LLM4onto仅需根据领域文本数据对提示词进行少量修改，即可生成该领域的本体框架。在当前标准下，这是一个相对合理的成本，表明LLM4onto在实际应用中具有显著的灵活性。在性能方面，与我们提出的基线方法相比，对于通用本体数据下的两个数据集，LLM4onto在大多数指标上生成的本体最为准确，如表2所示。

关于维基百科数据集，LLM4onto的Literal F1为4.50，Fuzzy F1为50.38，Continuous F1为32.61，Graph F1为49.72。虽然这些定量结果总体上低于大多数基线模型，但细粒度分析揭示了不同层级间明显的性能差异。具体来说，LLM4onto在预测二级本体概念时表现出较高的准确性；然而，其精度在三级概念上显著下降。这种现象主要归因于维基百科数据集的无约束特性。缺乏特定的领域边界使得三级本体名称的精确词汇匹配 inherently 困难，因为开放领域的范围允许大量有效但不匹配的具体描述符。此外，与其设计一致，LLM4onto生成了一个显著更细粒度的本体结构，该结构直接来源于源词汇。虽然这种方法捕捉了更丰富的语义细节，但它导致了与较粗粒度的标准答案在结构上的差异。因此，这种源于模型倾向于生成详细、具体节点而非基线方法偏好的宽泛通用术语的不匹配，不可避免地惩罚了指标计算结果。

关于Arxiv数据集，LLM4onto在大多数评估指标上均表现出优越的性能，包括Literal F1、Continuous F1和Graph F1，但Fuzzy F1除外。LLM4onto在Literal F1上取得了最高分，尽管这是一个对精确边匹配敏感的严格指标，但它表明LLM4onto能够有效且准确地对一组实体进行概念化。此外，LLM4onto在Continuous F1和Graph F1上的领先尤为显著。Graph F1更进一步，通过使用图卷积网络生成图感知的节点嵌入，从而融合了语义内容和全局拓扑信息。在这两个对结构敏感的指标上的高性能证实了LLM4onto擅长将概念组织成逻辑的、层次化的骨架，而不仅仅是生成一组概念。相反，LLM4onto在Fuzzy F1上的得分低于基线方法。这种现象可归因于LLM4onto倾向于构建一个显著更细粒度的本体架构。与可能输出更宽泛或更通用术语的基线模型不同，LLM4onto生成了大量特定的子本体节点以捕捉细微的语义差别。虽然这种粒度丰富了信息内容，但导致了大量特定概念节点，这些节点在严格的相似度阈值（t=0.436）下可能无法与较粗粒度的标准答案完美对齐。因此，这种由LLM4onto优越的细节导向生成引起的不匹配，无意中惩罚了Fuzzy F1的计算。相比之下，LLM4onto优先考虑本体的结构完整性和关系准确性。

在多领域对话数据集MultiWOZ的情况下，LLM4onto与TeQoDO的性能比较如表3所示。对于MultiWOZ数据集，LLM4onto展现出显著的性能优势，在所有评估指标上均持续优于所有基线模型。例如，在Literal F1方面，LLM4onto达到了49.5%的显著得分，远超仅达到2.8%的基线模型。在Fuzzy F1和Continuous F1上也观察到类似的提升，我们的模型分别领先19.1%和41.7%。这种卓越的性能主要得益于MultiWOZ数据集的内在特性，它包含了日常对话，且领域相对较小且受限。与Arxiv中复杂的科学概念不同，MultiWOZ的语义范围更加集中，语言模式也更直接。这些因素使得LLM4onto能够充分发挥其归纳能力，以结构和语义保真度重建领域本体。

这里，我们将在表4中展示LLM4onto在网络安全数据集上的结果。它对比了我们的LLM4onto框架构建的广泛本体与现有NER模型支持的有限标签集。现有的提取器，如SecureBERT和CyBERT，通常操作在13到40种实体类型的狭窄范围内，并且忽略了关系建模，这限制了它们在复杂网络安全场景中的适用性。LLM4onto旨在通过生成一个包含483种实体类型和72种关系类型的高度细粒度的模式来弥合这一语义鸿沟。虽然LLM4onto本身专注于模式归纳而非实体抽取，但由此产生的本体为未来开发更有能力、更全面的NER系统提供了一个关键的、扩展的语义蓝图。

总而言之，LLM4onto在多种基准测试中均表现出稳健的性能，并在网络安全领域得到了有效验证，突显了其在专业领域中快速、可扩展地构建全面本体的独特能力。

结论

本文介绍了LLM4onto，一个自动化框架，它利用亲和力传播和HT-R-O范式直接从原始文本构建领域本体。实验结果表明，LLM4onto在大多数基准测试中均取得了优越的性能，尤其是在专业的、领域受限的环境中，它能以高保真度捕捉复杂的语义细微差别。通过减轻幻觉和结构僵化问题，该框架为知识工程提供了一种可扩展的、数据驱动的解决方案。一个显著的局限性存在于通用领域本体构建中，即缺乏领域相关的名词过滤以及细粒度分类粒度导致的对齐差异，导致了性能欠佳。未来的研究将侧重于开发更精确的构建范式，以解决这些粒度不匹配问题，并进一步提高层级关系和命名惯例的精度。

附录A. 本体分类的提示模板

template = "你是一位网络安全本体专家。你的任务是根据'中心词'及其'最近邻词'，为一组相关术语分配最具体、最准确的本体标签。

– –

## 核心本体列表（首选类别）：

# 行为体与目标

– 威胁行为体：特定的 adversary 团体或个人（例如，APT28, Lazarus Group）。
– 组织：合法的非对抗性实体（例如，微软，谷歌）。
– 国家和地区：与活动相关的国家或地理区域。

# 恶意软件与工具

– 恶意软件家族：恶意软件集群（例如，Emotet, TrickBot）。
– 勒索软件：特指为加密而设计的恶意软件（例如，LockBit, Conti）。
– 安全工具：防御性或诊断性软件（例如，Wireshark, Snort）。
– 进攻性安全工具：用于利用的工具（例如，Metasploit, Cobalt Strike）。

## 指令：

1. 分析'中心词'和'最近邻词'。
2. 如果'核心本体列表'中的标签精确匹配，则使用该标签。
3. 如果没有核心标签完全匹配，则定义一个新的、特定的网络安全类别。
4. 如果术语是通用的、模糊的，或与网络安全无关，请回答“无”。
5. 确保输出是一个单一的、标准化的术语。

## 示例：

示例 1：中心词：'the Kimsuky group' | 最近邻词：['Thallium', 'APT43'] | 本体：Threat Actor
示例 2：中心词：'basis' | 最近邻词：['foundation'] | 本体：None

现在，请确定以下内容的本体：中心词：{center.word} | 最近邻词：{nearest.words}
本体："

翻译说明：