欢迎光临
我们一直在努力

机器学习————几何深度学习

        谈到几何深度学习时,就会想到由 Bronstein、LeCun 等学者撰写的《Geometric deep learning: going beyond Euclidean data》,该文章是几何深度学习领域的奠基性综述,核心是将欧氏空间中深度学习的核心思想,卷积、池化、层级特征学习推广到图、流形等非欧几何数据,解决了非欧数据无全局坐标、无平移不变性、卷积操作无法直接定义的核心问题。

一、几何深度学习的核心前提:非欧数据的几何基础与问题定义

先明确了 GDL 的研究对象是定义在非欧域上的函数还是信号,分为两类核心问题:

  • 域结构分析:挖掘高维欧氏数据中嵌入的低维非欧结构,如流形学习、图结构挖掘,属于无监督学习;
  • 域上信号分析:分析和学习定义在已知非欧域上的信号,是 GDL 的核心,目标是将 CNN 推广到该场景。
  • 关键几何基础:拉普拉斯算子的核心作用

            欧氏空间的卷积依赖傅里叶变换,而拉普拉斯算子是连接欧氏与非欧的核心:

    • 拉普拉斯算子是自伴正定算子,其特征函数构成非欧空间的广义傅里叶基,特征值对应 “频率”,实现非欧空间的谱分析;
    • 图或流形的拉普拉斯算子可刻画信号的平滑性(狄利克雷能量),低特征值对应平滑信号,高特征值对应高频细节,为非欧卷积提供了频率域的依据。

    二、谱方法(Spectral Methods):基于非欧傅里叶分析的卷积

            谱方法是最早的非欧卷积定义方式,核心思路是借鉴欧氏卷积的傅里叶变换性质:欧氏卷积 = 傅里叶域逐元素相乘,非欧卷积则通过拉普拉斯算子的特征分解实现谱域相乘,是 GDL 的理论源头。

    1. 核心思想

            将非欧空间的信号f通过拉普拉斯特征基Φ投影到谱域,卷积操作转化为谱域的线性变换,再投影回空间域。

    2. 代表性方法
    (1)谱 CNN(Spectral CNN, SCNN)
    • 首个严格定义的图卷积网络,直接基于上述谱域卷积公式,将 CNN 的卷积层替换为谱域卷积层,叠加非线性激活;
    • 缺陷:① 特征分解计算复杂度O,无法处理大规模图;② 谱基依赖具体的非欧域,跨域泛化性差,不同图或流形的拉普拉斯特征基不同,训练的滤波器无法复用;③ 需保留全部特征基,参数数量随节点数增加而增长。
    (2)带平滑谱乘子的谱 CNN 

    为解决 SCNN 的参数爆炸和过拟合问题,对谱滤波器做平滑性约束:

    • 将谱乘子参数化为插值核的线性组合,仅学习少量插值系数,实现滤波器的频率域平滑;
    • 平滑性对应空间域的局部性(由帕塞瓦尔恒等式,频率域平滑→空间域衰减),让滤波器仅对局部节点产生作用,接近欧氏 CNN 的局部卷积特性。
    3. 谱方法的核心特点
    • 优点:理论基础严谨,直接继承欧氏卷积的谱域思想,可刻画非欧信号的全局频率特征;
    • 缺点:计算成本高、跨域泛化性差、依赖拉普拉斯特征分解,仅适用于固定域的非欧信号分析。

    三、无谱方法(Spectrum-Free Methods):摆脱特征分解的局部卷积

            谱方法的核心瓶颈是拉普拉斯特征分解,无谱方法通过拉普拉斯算子的多项式近似,将谱域卷积转化为空间域的局部邻居聚合,彻底摆脱特征分解,成为目前图卷积的主流基础方法。

    四、基于局部建图的方法(Charting-Based Methods):面向多域的空间域卷积

            谱方法和无谱方法主要适用于单一固定非欧域,而实际场景中常需处理多个不同的非欧域,基于局部建图的方法通过在非欧域的每个点构建局部欧氏坐标,将非欧卷积转化为局部欧氏坐标下的标准卷积,解决了跨域泛化性问题,是流形学习的核心方法。

    五、空谱结合方法(Combined Spatial/Spectral Methods):融合局部与全局特征

            谱方法擅长刻画全局频率特征,空间域方法擅长刻画局部空间特征,空谱结合方法通过窗口傅里叶变换、小波变换将二者融合,兼顾局部性和全局频率特征,解决单一方法的局限性。

    六、几何深度学习的配套操作:池化与层级特征学习

    CNN 的成功依赖卷积 + 池化的层级特征学习,论文也将欧氏池化推广到非欧空间,形成了 GDL 的完整层级学习框架:

  • 图池化(Graph Coarsening):通过节点聚合、图粗化减少节点数,实现非欧空间的下采样,核心是保持粗化后图的拉普拉斯特征基与原图标定;
  • 流形池化:在局部建图的基础上,对局部欧氏坐标下的特征做统计聚合(均值、协方差),实现流形的下采样,保留局部几何特征;
  • 全局池化:将非欧空间的所有节点或点特征聚合为全局特征向量,如均值、最大值、协方差,适用于图分类、流形分类等任务。
  •         综上,几何深度学习方法体系,本质是几何特征 + 深度学习的融合:以拉普拉斯算子为几何核心,以卷积的泛化为算法核心,针对不同非欧数据类型和场景设计了四类卷积方法,成为后续所有 GDL 研究的理论起点和方法基础 。

    赞(0)
    未经允许不得转载:171主机测评 » 机器学习————几何深度学习
    分享到: 更多 (0)

    评论 抢沙发

    • 昵称 (必填)
    • 邮箱 (必填)
    • 网址