欢迎光临
我们一直在努力

2025_NIPS_WalkLM: A Uniform Language Model Fine-tuning Framework for Attributed Graph Embedding

WalkLM 论文总结与核心部分翻译

一、主要内容总结

该论文提出了一种名为 WalkLM 的统一语言模型微调框架,用于属性图嵌入任务,旨在解决真实世界属性图中复杂属性与灵活结构的联合建模问题,同时获取不受特定下游任务限制的无监督通用图表示。

核心框架

  • 属性随机游走(Attributed RW)文本化:首先在图上执行属性随机游走,捕捉节点/边的属性信息与图的拓扑结构;随后通过自动化文本化程序,将随机游走序列转换为语义连贯的文本序列——节点文本化通过拼接属性名、属性值与实体ID实现,边文本化直接采用关系名称(可扩展至复杂属性边),最终形成图感知语料库。
  • 图感知语言模型微调:以 DistilRoBERTa 为基础模型(兼顾效率与性能),采用掩码语言建模(MLM)任务对上述文本序列进行微调,通过知识蒸馏优化训练过程,从微调后的模型中提取包含属性语义与图结构信息的通用嵌入向量。
  • 下游任务适配:提取的节点嵌入(可扩展至边嵌入、子图/图嵌入)可直接用于节点分类、链路预测等下游任务,或作为复杂模型的初始化特征。
  • 实验验证

    • 数据集:在 PubMed(基因、疾病等实体)、MIMIC-III(临床数据,含患者、就诊、疾病节点)及 Freebase、FB15K-237 等知识图谱数据集上进行验证。
    赞(0)
    未经允许不得转载:171主机测评 » 2025_NIPS_WalkLM: A Uniform Language Model Fine-tuning Framework for Attributed Graph Embedding
    分享到: 更多 (0)

    评论 抢沙发

    • 昵称 (必填)
    • 邮箱 (必填)
    • 网址