【信息科学与工程学】计算科学与自动化-第八篇 人工智能领域04 大模型算法 第一部分01

大模型中的算法

一、 核心计算图与算子优化体系

1. 注意力机制优化算法

1.1 精确注意力优化

• FlashAttention (v1/v2/v3)

• Memory-Efficient Attention

• Self-Attention with Linear Complexity (Linformer)

• Nyströmformer近似注意力

• Block-Sparse Attention

• Longformer滑动窗口注意力

• BigBird稀疏注意力模式

• Reformer局部敏感哈希注意力

• Performer基于核的线性注意力

• Linear Transformer线性化注意力

• Synthesizer注意力模式学习

• Sparse Transformer因子化注意力

• Axial Attention轴向注意力

• Routing Transformer聚类注意力

• Efficient Attention内存优化注意力

• Causal Attention因果注意力优化

• Cross-Attention交叉注意力优化

• Multi-Query Attention多查询注意力

• Grouped-Query Attention分组查询注意力

1.2 近似注意力算法

• Random Feature Attention随机特征注意力

• Adaptive Attention自适应注意力

• Sinkhorn Sorting注意力排序

• Recurrent Memory Transformer循环记忆注意力

• Compressive Transformer压缩注意力

• Adaptive Span自适应跨度注意力

• Lite Transformer轻量注意力

• Pyramid Transformer金字塔注意力

• Hierarchical Attention层次注意力

• Dilated Attention膨胀注意力

• Sliding Window Attention滑动窗口注意力

• Global-Local Attention全局-局部注意力

• Strided Attention跨步注意力

• Dilated Causal Attention膨胀因果注意力

2. 前馈网络优化

2.1 FFN层优化

• GeLU激活函数优化

• SwiGLU门控线性单元优化

• GLU变体优化

• Fused FFN算子融合

• FFN稀疏化

• Mixture of Experts (MoE) 混合专家

• Switch Transformer开关变换器

• GShard分片MoE

• BASE Layer基础层

• DeepSpeed MoE

• Fast MoE快速MoE

2.2 激活函数优化

• GeLU近似计算

• Swish/SiLU优化

• ReLU系列优化

• LeakyReLU优化

• ELU优化

• GELU导数优化

• Activation Quantization激活量化

3. 层归一化优化

3.1 归一化算法

• LayerNorm算子融合

• RMSNorm优化

• GroupNorm组归一化

• InstanceNorm实例归一化

• BatchNorm批归一化优化

• PowerNorm幂归一化

• Adaptive LayerNorm自适应层归一化

• Fused LayerNorm融合层归一化

• LayerNorm重计算

• LayerNorm量化

3.2 归一化变体

• Pre-Norm预归一化

• Post-Norm后归一化

• Sandwich-Norm三明治归一化

• AdaLN自适应层归一化

• ScaleNorm缩放归一化

• Masked LayerNorm掩码层归一化

4. 残差连接优化

4.1 残差结构

• Pre-Activation残差预激活

• Post-Activation残差后激活

• Highway Networks高速公路网络

• Dense Connections密集连接

• Stochastic Depth随机深度

• LayerDrop层丢弃

• DropPath路径丢弃

• Residual Scaling残差缩放

5. 位置编码优化

5.1 绝对位置编码

• Sinusoidal Position Encoding正弦位置编码

• Learned Position Embedding学习位置嵌入

• Rotary Position Embedding旋转位置编码

• T5 Relative Position Encoding T5相对位置编码

• ALiBi Attention with Linear Biases线性偏置注意力

5.2 相对位置编码

• Transformer-XL相对位置编码

• DeBERTa相对位置编码

• RoPE旋转位置编码优化

• Complex Position Encoding复数位置编码

• XPos扩展旋转位置编码

二、 内存、IO与海量并发管理系统

6. KV缓存管理算法

6.1 内存分配策略

• PagedAttention分页注意力

• Dynamic KV Cache动态KV缓存

• Streaming KV Cache流式KV缓存

• Windowed KV Cache窗口KV缓存

• Sliding Window Cache滑动窗口缓存

• Hierarchical KV Cache层次KV缓存

• Compressed KV Cache压缩KV缓存

• Quantized KV Cache量化KV缓存

• Sparse KV Cache稀疏KV缓存

• Predictive Cache预取缓存

• LRU Cache最近最少使用缓存

• LFU Cache最不经常使用缓存

• ARC Cache自适应替换缓存

• 2Q Cache两队列缓存

• Clock Cache时钟算法缓存

6.2 缓存替换策略

• Random Replacement随机替换

• FIFO先进先出

• LIFO后进先出

• Optimal Replacement最优替换

• Segmented LRU分段LRU

• LIRS低互相关性替换

• MRU最近使用替换

• GDSF贪心对偶大小频率

7. 批处理与并发调度

7.1 动态批处理

• Continuous Batching连续批处理

• Dynamic Batching动态批处理

• Adaptive Batching自适应批处理

• Optimal Batching最优批处理

• Predictive Batching预测批处理

• Heterogeneous Batching异构批处理

• Priority-based Batching基于优先级的批处理

• Deadline-aware Batching截止时间感知批处理

7.2 请求调度

• Round-Robin Scheduling轮询调度

• Shortest Job First最短作业优先

• Longest Job First最长作业优先

• Priority Scheduling优先级调度

• Fair Scheduling公平调度

• Weighted Fair Queueing加权公平队列

• Earliest Deadline First最早截止期优先

• Least Slack Time First最小松弛时间优先

• Highest Response Ratio Next最高响应比优先

• Multi-Level Feedback Queue多级反馈队列

7.3 负载均衡

• Random Load Balancing随机负载均衡

• Round-Robin Load Balancing轮询负载均衡

• Least Connections最少连接

• Least Response Time最小响应时间

• Weighted Load Balancing加权负载均衡

• Consistent Hashing一致性哈希

• Rendezvous Hashing会合哈希

• Power of Two Choices二选一策略

8. 内存优化算法

8.1 内存分配器

• Buddy System伙伴系统

• Slab Allocation板分配器

• Arena Allocation区域分配器

• Pool Allocation池分配器

• TCMalloc线程缓存分配器

• Jemalloc内存分配器

• Mimalloc微软分配器

• Scalable Memory Allocation可扩展内存分配

8.2 内存压缩

• Zstandard Compression Zstandard压缩

• LZ4 Compression LZ4压缩

• Snappy Compression Snappy压缩

• Brotli Compression Brotli压缩

• Dictionary Compression字典压缩

• Delta Compression差异压缩

• Run-Length Encoding游程编码

• Huffman Coding霍夫曼编码

• Arithmetic Coding算术编码

9. 显存优化

9.1 GPU内存管理

• Unified Memory统一内存

• Managed Memory托管内存

• Pinned Memory页锁定内存

• Mapped Memory映射内存

• Zero-Copy Memory零拷贝内存

• UVM Unified Virtual Memory统一虚拟内存

• Multi-GPU Memory多GPU内存

• Peer-to-Peer Memory点对点内存

9.2 显存复用

• Memory Pooling内存池

• Memory Reuse内存复用

• In-Place Computation原地计算

• Gradient Checkpointing梯度检查点

• Activation Checkpointing激活检查点

• Recomputation重计算

• Offloading卸载到CPU

• Offloading卸载到磁盘

三、 模型压缩与量化算法体系

10. 权重量化算法

10.1 均匀量化

• Symmetric Quantization对称量化

• Asymmetric Quantization非对称量化

• Affine Quantization仿射量化

• Scale Quantization缩放量化

• Zero-point Quantization零点量化

• Per-Tensor Quantization每张量量化

• Per-Channel Quantization每通道量化

• Per-Group Quantization每组量化

• Block-wise Quantization分块量化

10.2 非均匀量化

• Logarithmic Quantization对数量化

• Power-of-Two Quantization二次幂量化

• Floating Point Quantization浮点量化

• Bfloat16 Quantization Bfloat16量化

• FP8 Quantization FP8量化

• Mixed Precision混合精度

• Dynamic Quantization动态量化

• Static Quantization静态量化

• QAT Quantization-Aware Training量化感知训练

• PTQ Post-Training Quantization训练后量化

10.3 先进量化方法

• GPTQ GPT量化

• AWQ Activation-aware Weight Quantization激活感知权重量化

• SmoothQuant平滑量化

• ZeroQuant零量化

• LLM.int8() LLM 8位量化

• SpQR Sparse-Quantized Representation稀疏量化表示

• SqueezeLLM压缩LLM

• RPTQ Rethinking Post-Training Quantization重新思考训练后量化

• OWQ Omni-dimensional Weight Quantization全维度权重量化

11. 激活量化

11.1 激活值量化

• Activation Quantization激活量化

• Dynamic Activation Quantization动态激活量化

• Static Activation Quantization静态激活量化

• Per-Token Activation Quantization每令牌激活量化

• Per-Channel Activation Quantization每通道激活量化

• SmoothQuant for Activations激活平滑量化

• Outlier Suppression异常值抑制

• Activation Clipping激活裁剪

• Activation Scaling激活缩放

11.2 激活压缩

• Activation Pruning激活剪枝

• Activation Sparsification激活稀疏化

• Activation Low-Rank激活低秩

• Activation Distillation激活蒸馏

• Activation Sharing激活共享

• Activation Cache激活缓存

• Activation Prediction激活预测

12. 知识蒸馏

12.1 蒸馏方法

• Response Distillation响应蒸馏

• Feature Distillation特征蒸馏

• Attention Distillation注意力蒸馏

• Hidden State Distillation隐藏状态蒸馏

• Layer-wise Distillation逐层蒸馏

• Task-specific Distillation任务特定蒸馏

• Multi-teacher Distillation多教师蒸馏

• Self-Distillation自蒸馏

• Online Distillation在线蒸馏

• Offline Distillation离线蒸馏

12.2 蒸馏优化

• Temperature Scaling温度缩放

• Distillation Loss蒸馏损失

• KL Divergence KL散度

• MSE Distillation均方误差蒸馏

• Cosine Distillation余弦蒸馏

• Contrastive Distillation对比蒸馏

• Adversarial Distillation对抗蒸馏

13. 剪枝算法

13.1 结构化剪枝

• Magnitude Pruning幅度剪枝

• Gradient-based Pruning基于梯度的剪枝

• Hessian-based Pruning基于海森矩阵的剪枝

• Lottery Ticket Hypothesis彩票假设剪枝

• Iterative Pruning迭代剪枝

• One-shot Pruning一次性剪枝

• Channel Pruning通道剪枝

• Layer Pruning层剪枝

• Head Pruning注意力头剪枝

• Neuron Pruning神经元剪枝

13.2 非结构化剪枝

• Random Pruning随机剪枝

• L0 Regularization L0正则化

• L1 Regularization L1正则化

• Group Lasso分组套索

• Structured Sparsity结构化稀疏性

• Unstructured Sparsity非结构化稀疏性

• Semi-structured Sparsity半结构化稀疏性

14. 低秩分解

14.1 矩阵分解

• SVD Singular Value Decomposition奇异值分解

• PCA Principal Component Analysis主成分分析

• LDA Linear Discriminant Analysis线性判别分析

• NMF Non-negative Matrix Factorization非负矩阵分解

• CP Decomposition CP分解

• Tucker Decomposition Tucker分解

• Tensor-Train Decomposition张量链分解

• Tensor-Ring Decomposition张量环分解

14.2 参数共享

• Weight Tying权重绑定

• Cross-layer Parameter Sharing跨层参数共享

• Adaptive Parameter Sharing自适应参数共享

• Factorized Embedding因子化嵌入

• Shared Projection共享投影

• Low-rank Adaptation低秩适配

四、 解码与生成优化算法

15. 自回归解码优化

15.1 贪婪解码

• Greedy Decoding贪婪解码

• Beam Search束搜索

• Diverse Beam Search多样化束搜索

• Length Normalization长度归一化

• Coverage Penalty覆盖惩罚

• Repetition Penalty重复惩罚

• Temperature Sampling温度采样

• Top-k Sampling Top-k采样

• Top-p (Nucleus) Sampling Top-p采样

• Typical Sampling典型采样

• Mirostat Sampling Mirostat采样

• Eta Sampling Eta采样

15.2 采样优化

• Stochastic Sampling随机采样

• Deterministic Sampling确定性采样

• Ancestral Sampling祖先采样

• Importance Sampling重要性采样

• Rejection Sampling拒绝采样

• Metropolis-Hastings Metropolis-Hastings采样

• Gibbs Sampling吉布斯采样

• Slice Sampling切片采样

• Hamiltonian Monte Carlo哈密顿蒙特卡洛

16. 推测解码与PD分离

16.1 推测解码方法

• Speculative Decoding推测解码

• Blockwise Parallel Decoding分块并行解码

• Lookahead Decoding前瞻解码

• Assisted Decoding辅助解码

• Draft-then-Verify起草后验证

• Parallel Decoding并行解码

• Non-autoregressive Decoding非自回归解码

• Mask-Predict掩码预测

• Iterative Refinement迭代细化

• Levelled Decoding分层解码

16.2 草稿模型策略

• Small Draft Model小草稿模型

• Early Exit Draft早期退出草稿

• N-gram Draft N元文法草稿

• Cache-based Draft基于缓存的草稿

• Retrieval-based Draft基于检索的草稿

• Multi-draft Generation多草稿生成

• Draft Model Selection草稿模型选择

• Adaptive Draft自适应草稿

16.3 验证优化

• Parallel Verification并行验证

• Incremental Verification增量验证

• Approximate Verification近似验证

• Early Rejection早期拒绝

• Batch Verification批验证

• Speculative Sampling推测采样

17. 并行生成

17.1 非自回归方法

• NAT Non-Autoregressive Transformer非自回归变换器

• Mask-Predict掩码预测

• Insertion Transformer插入变换器

• LevT Levitated Transformer悬浮变换器

• CMLM Conditional Masked Language Model条件掩码语言模型

• Disco Discontinuous非连续生成

17.2 部分并行方法

• Semi-Autoregressive半自回归

• Block-wise Autoregressive分块自回归

• Latent Variable Models隐变量模型

• Flow-based Models基于流的模型

• Diffusion Models扩散模型

18. 长度控制与约束解码

18.1 长度控制

• Length Penalty长度惩罚

• Length Prediction长度预测

• Length-aware Decoding长度感知解码

• Minimum Length最小长度

• Maximum Length最大长度

• Dynamic Length动态长度

• Early Stopping提前停止

18.2 约束生成

• Constrained Decoding约束解码

• Lexically Constrained Decoding词汇约束解码

• Template-based Generation基于模板的生成

• Schema-guided Generation模式引导生成

• Grammar Constrained Decoding语法约束解码

• Knowledge Constrained Decoding知识约束解码

五、 检索增强与知识关联系统

19. 检索算法

19.1 稠密检索

• Dense Passage Retrieval稠密段落检索

• Dense Vector Retrieval稠密向量检索

• Maximum Inner Product Search最大内积搜索

• Approximate Nearest Neighbor近似最近邻

• FAISS Facebook AI相似性搜索

• ANNOY近似最近邻库

• HNSW Hierarchical Navigable Small World分层可导航小世界

• IVF Inverted File倒排文件

• PQ Product Quantization乘积量化

• LSH Locality-Sensitive Hashing局部敏感哈希

19.2 稀疏检索

• BM25 Best Matching 25最佳匹配25

• TF-IDF Term Frequency-Inverse Document Frequency词频-逆文档频率

• SPLADE Sparse Lexical and Expansion稀疏词汇和扩展

• ColBERT Contextualized Late Interaction over BERT BERT上的上下文化后期交互

• uniCOIL Unified Contextualized Late Interaction统一上下文化后期交互

19.3 混合检索

• Dense-Sparse Hybrid Retrieval稠密-稀疏混合检索

• Reranking重排序

• Reciprocal Rank Fusion互惠排名融合

• Weighted Hybrid加权混合

• Adaptive Hybrid自适应混合

20. 检索优化

20.1 索引优化

• Hierarchical Indexing层次索引

• Compressed Indexing压缩索引

• Dynamic Indexing动态索引

• Incremental Indexing增量索引

• Distributed Indexing分布式索引

• Sharded Indexing分片索引

• Replicated Indexing复制索引

20.2 查询优化

• Query Expansion查询扩展

• Query Reformulation查询重构

• Query Understanding查询理解

• Query Suggestion查询建议

• Query Classification查询分类

• Query Intent Detection查询意图检测

21. 融合与重排序

21.1 融合方法

• Early Fusion早期融合

• Late Fusion晚期融合- Intermediate Fusion中间融合

• Cross-Attention Fusion交叉注意力融合

• Gated Fusion门控融合

• Adaptive Fusion自适应融合

• Weighted Fusion加权融合

• Concatenation Fusion连接融合

• Summation Fusion求和融合

• Max Pooling Fusion最大池化融合

• Average Pooling Fusion平均池化融合

21.2 重排序算法

• Pointwise Reranking点式重排序

• Pairwise Reranking对式重排序

• Listwise Reranking列表式重排序

• Learning to Rank学习排序

• LambdaMART LambdaMART排序

• RankNet排序网络

• ListNet列表网络

• BPR Bayesian Personalized Ranking贝叶斯个性化排序

• Cross-Encoder Reranker交叉编码器重排序器

22. 知识图谱集成

22.1 知识注入

• Knowledge Graph Embedding知识图谱嵌入

• Entity Linking实体链接

• Relation Extraction关系抽取

• Triple Classification三元组分类

• Knowledge Graph Completion知识图谱补全

• Knowledge Graph Reasoning知识图谱推理

• Knowledge Graph Attention知识图谱注意力

22.2 知识增强

• Knowledge-Enhanced Pretraining知识增强预训练

• Knowledge Distillation from KG从知识图谱蒸馏

• Knowledge-guided Generation知识引导生成

• Knowledge-aware Decoding知识感知解码

• Knowledge Constraint知识约束

• Knowledge Verification知识验证

六、 系统调度与分布式推理

23. 分布式并行策略

23.1 数据并行

• Data Parallelism数据并行

• Distributed Data Parallel分布式数据并行

• ZeRO Zero Redundancy Optimizer零冗余优化器

• ZeRO-Offload ZeRO卸载

• ZeRO-Infinity ZeRO无限

• Pipeline Parallelism流水线并行

• Tensor Parallelism张量并行

• Sequence Parallelism序列并行

• Expert Parallelism专家并行

• FSDP Fully Sharded Data Parallel完全分片数据并行

23.2 模型并行

• Layer-wise Parallelism层间并行

• Tensor Model Parallelism张量模型并行

• Pipeline Model Parallelism流水线模型并行

• Hybrid Parallelism混合并行

• 2D Parallelism二维并行

• 3D Parallelism三维并行

• Megatron-LM Megatron语言模型并行

• DeepSpeed DeepSpeed并行

24. 流水线优化

24.1 流水线调度

• GPipe谷歌流水线

• PipeDream管道梦想

• PipeDream-2BW管道梦想2BW

• DAPPLE数据感知管道并行

• Chimera客迈拉流水线

• Terapipe地形流水线

• PipeMare管道母马

• Synchronous Pipeline同步流水线

• Asynchronous Pipeline异步流水线

24.2 微批处理

• Micro-batching微批处理

• Gradient Accumulation梯度累积

• Dynamic Micro-batching动态微批处理

• Adaptive Micro-batching自适应微批处理

• Optimal Micro-batching最优微批处理

25. 通信优化

25.1 集体通信

• All-Reduce全归约

• All-Gather全收集

• Reduce-Scatter归约分散

• Broadcast广播

• Scatter分散

• Gather收集

• Point-to-Point点对点

• Ring All-Reduce环形全归约

• Tree All-Reduce树形全归约

• Halving-Doubling减半加倍

25.2 通信重叠

• Computation-Communication Overlap计算通信重叠

• Gradient Bucketing梯度桶

• Tensor Fusion张量融合

• Communication Scheduling通信调度

• Priority-based Communication基于优先级的通信

• Bandwidth-aware Communication带宽感知通信

26. 容错与弹性

26.1 容错机制

• Checkpointing检查点

• Rollback Recovery回滚恢复

• Forward Recovery前向恢复

• Replication复制

• Erasure Coding纠删码

• Heartbeat心跳

• Failure Detection故障检测

• Failure Prediction故障预测

26.2 弹性训练

• Elastic Training弹性训练

• Dynamic Scaling动态扩缩容

• Live Migration实时迁移

• Preemptive Scheduling抢占式调度

• Resource-aware Scheduling资源感知调度

七、 服务化、监控与安全体系

27. API服务与负载管理

27.1 请求处理

• Request Batching请求批处理

• Request Queuing请求排队

• Request Prioritization请求优先级

• Request Throttling请求限流

• Request Shaping请求整形

• Request Routing请求路由

• Request Load Balancing请求负载均衡

27.2 流式响应

• Streaming Response流式响应

• Chunked Encoding分块编码

• Server-Sent Events服务器发送事件

• WebSocket全双工通信

• Long Polling长轮询

• Event Streaming事件流

28. 监控与可观测性

28.1 指标监控

• Latency Monitoring延迟监控

• Throughput Monitoring吞吐量监控

• Error Rate Monitoring错误率监控

• Resource Utilization Monitoring资源利用率监控

• Cache Hit Rate Monitoring缓存命中率监控

• Memory Usage Monitoring内存使用监控

• GPU Utilization Monitoring GPU利用率监控

28.2 日志与追踪

• Structured Logging结构化日志

• Distributed Tracing分布式追踪

• Span-based Tracing基于跨度的追踪

• Trace Sampling追踪采样

• Log Aggregation日志聚合

• Log Analysis日志分析

• Anomaly Detection异常检测

29. 安全与隐私

29.1 模型安全

• Adversarial Detection对抗检测

• Prompt Injection Detection提示注入检测

• Jailbreak Detection越狱检测

• Output Filtering输出过滤

• Content Moderation内容审核

• Toxicity Detection毒性检测

• Bias Detection偏见检测

• Fairness Monitoring公平性监控

29.2 隐私保护

• Differential Privacy差分隐私

• Federated Learning联邦学习

• Homomorphic Encryption同态加密

• Secure Multi-party Computation安全多方计算

• Model Watermarking模型水印

• Membership Inference Defense成员推理防御

• Model Stealing Protection模型窃取防护

30. 成本优化

30.1 资源优化

• Auto-scaling自动扩缩容

• Spot Instance Utilization抢占式实例利用

• Reserved Instance Optimization预留实例优化

• Resource Scheduling资源调度

• Cost-aware Scheduling成本感知调度

• Energy-efficient Computing能效计算

30.2 计费与计量

• Token-based Billing基于令牌的计费

• Request-based Billing基于请求的计费

• Time-based Billing基于时间的计费

• Usage Metering使用计量

• Cost Allocation成本分配

• Budget Management预算管理

八、 硬件感知优化算法

31. GPU特定优化

31.1 CUDA优化

• Warp-level Optimization线程束级优化

• Shared Memory Optimization共享内存优化

• Register Optimization寄存器优化

• Constant Memory Optimization常量内存优化

• Texture Memory Optimization纹理内存优化

• Memory Coalescing内存合并

• Bank Conflict Avoidance银行冲突避免

• Instruction-level Parallelism指令级并行

31.2 Tensor Core优化

• Mixed Precision混合精度

• Tensor Core Utilization张量核心利用

• Matrix Multiplication Optimization矩阵乘法优化

• GEMM Optimization通用矩阵乘法优化

• Tensor Core Programming张量核心编程

• WMMA Warp Matrix Multiply Accumulate线程束矩阵乘积累加

32. 特定硬件架构优化

32.1 NVIDIA GPU优化

• Ampere Architecture安培架构优化

• Hopper Architecture霍珀架构优化

• Ada Lovelace Architecture艾达·洛夫莱斯架构优化

• CUDA Core Optimization CUDA核心优化

• RT Core Optimization RT核心优化

• Multi-Instance GPU多实例GPU

32.2 AMD GPU优化

• ROCm Optimization ROCm优化

• CDNA Architecture CDNA架构优化

• RDNA Architecture RDNA架构优化

• HIP Programming HIP编程

• MIOpen Library MIOpen库优化

32.3 Intel GPU优化

• oneAPI Optimization oneAPI优化

• Xe Architecture Xe架构优化

• DPAS Dot Product Accumulate Systolic点乘积累加脉动阵列

• SYCL Programming SYCL编程

33. 专用加速器优化

33.1 TPU优化

• Tensor Processing Unit Optimization张量处理单元优化

• XLA Compilation XLA编译

• TPU Pod Optimization TPU Pod优化

• Bfloat16 Optimization Bfloat16优化

33.2 其他加速器

• AWS Inferentia Optimization AWS Inferentia优化

• Habana Gaudi Optimization哈巴纳高迪优化

• Cerebras CS-2 Optimization Cerebras CS-2优化

• Graphcore IPU Optimization Graphcore IPU优化

• SambaNova Optimization桑巴诺瓦优化

九、 编译器与运行时优化

34. 计算图编译优化

34.1 图优化

• Graph Fusion图融合

• Constant Folding常量折叠

• Dead Code Elimination死代码消除

• Common Subexpression Elimination公共子表达式消除

• Loop Unrolling循环展开

• Loop Fusion循环融合

• Loop Tiling循环分块

• Loop Interchange循环交换

• Loop Distribution循环分布

34.2 内存优化

• Memory Allocation Optimization内存分配优化

• Memory Layout Optimization内存布局优化

• Memory Access Pattern Optimization内存访问模式优化

• Data Layout Transformation数据布局变换

• Memory Coalescing内存合并

• Memory Prefetching内存预取

35. 内核生成与优化

35.1 内核生成

• Auto-tuning自动调优

• Template-based Kernel Generation基于模板的内核生成

• Polyhedral Compilation多面体编译

• MLIR-based Kernel Generation基于MLIR的内核生成

• TVM Tensor Virtual Machine张量虚拟机

• Triton GPU编程语言

35.2 内核优化

• Kernel Fusion内核融合

• Kernel Specialization内核特化

• Kernel Parameter Tuning内核参数调优

• Grid and Block Optimization网格和块优化

• Warp-level Optimization线程束级优化

• Instruction-level Optimization指令级优化

36. 运行时系统优化

36.1 运行时调度

• Dynamic Scheduling动态调度

• Work Stealing工作窃取

• Task-based Scheduling基于任务的调度

• Dataflow Scheduling数据流调度

• Priority-based Scheduling基于优先级的调度

36.2 内存管理

• Memory Pool内存池

• Memory Allocator内存分配器

• Garbage Collection垃圾回收

• Reference Counting引用计数

• Memory Compaction内存压缩

十、 新兴算法与前沿研究

37. 高效架构设计

37.1 稀疏架构

• Mixture of Sparse Experts稀疏专家混合

• Conditional Computation条件计算

• Adaptive Computation自适应计算

• Sparse Transformer稀疏变换器

• Block-Sparse Transformer分块稀疏变换器

37.2 循环架构

• State Space Models状态空间模型

• Linear Recurrent Units线性循环单元

• RWKV Receptance Weighted Key Value接收加权键值

• RetNet Retention Networks保持网络

• Hawk Architecture鹰架构

• Griffin Architecture狮鹫架构

37.3 其他高效架构

• Mamba Selective State Space Models选择性状态空间模型

• H3 Hungry Hungry Hippos

• Hyena Hyena架构

• Monarch Matrix君主矩阵

• Butterfly Matrix蝴蝶矩阵

38. 持续学习与适应

38.1 持续学习

• Elastic Weight Consolidation弹性权重巩固

• Learning without Forgetting无遗忘学习

• Gradient Episodic Memory梯度情景记忆

• Experience Replay经验回放

• Progressive Neural Networks渐进神经网络

38.2 快速适应

• Prompt Tuning提示调优

• Prefix Tuning前缀调优

• Adapter Tuning适配器调优

• LoRA Low-Rank Adaptation低秩适配

• QLoRA量化低秩适配

• IA3 Infused Adapter by Inhibiting and Amplifying Inner Activations通过抑制和放大内部激活的注入适配器

十一、 模型架构优化算法

39. 参数高效微调（PEFT）

39.1 适配器方法

• AdapterDrop

• AdapterFusion

• AdapterHub

• Compacter

• Low-Rank Adapters (LoRA)

• Prefix Tuning

• Prompt Tuning

• P-Tuning

• P-Tuning v2

• Multi-task PEFT

• Sparse Adapters

39.2 其他PEFT方法

• BitFit

• DiffPruning

• Intrinsic SAID

• LST: Ladder Side-Tuning

• MAM Adapters

• OFA: One-shot Adapters

• Sparse Fine-tuning

40. 模型扩展与缩放

40.1 缩放定律

• Compute-Optimal Scaling (Chinchilla)

• Data Scaling

• Model Scaling

• Inference-Time Scaling

• Efficient Scaling Laws

40.2 模型扩展方法

• Depth Scaling

• Width Scaling

• Resolution Scaling

• Attention Head Scaling

• FFN Scaling

• Multi-dimensional Scaling

十二、 推理加速算法

41. 提前退出机制

41.1 基于置信度的退出

• PABEE

• DeeBERT

• FastBERT

• BERxiT

• CALM

• Early Exit BERT

• Dynamic Exit

41.2 自适应计算时间

• Adaptive Computation Time (ACT)

• Pondering Networks

• Universal Transformers

• Depth-Adaptive Transformer

• Skip Layers

42. 条件计算

42.1 动态路由

• Mixture of Experts (MoE)

• Switch Transformers

• BASE Layers

• Expert Choice Routing

• Load Balancing in MoE

• Efficient MoE Routing

42.2 稀疏激活

• Sparsely-Gated MoE

• Top-k Routing

• Noisy Top-k Routing

• GShard

• Hash Layers

十三、 多模态推理优化

43. 视觉-语言模型推理

43.1 多模态融合

• Late Fusion

• Early Fusion

• Cross-Attention Fusion

• Gated Fusion

• Multimodal Transformer

• Two-Stream Networks

43.2 视觉编码优化

• Vision Transformer (ViT) Optimization

• EfficientViT

• MobileViT

• DeiT

• Swin Transformer Optimization

44. 跨模态检索

44.1 联合嵌入

• CLIP Optimization

• ALIGN Optimization

• BLIP Optimization

• Florence Optimization

• Image-Text Matching

44.2 跨模态生成

• Text-to-Image Generation Optimization

• Image Captioning Optimization

• VQA Optimization

• Multimodal Decoding

十四、 序列化与反序列化优化

45. 数据序列化

45.1 高效序列化格式

• Protocol Buffers

• Apache Avro

• MessagePack

• Cap'n Proto

• FlatBuffers

• JSON Compression

• BSON

45.2 针对张量的序列化

• TensorFlow Serving Protocol

• ONNX Serialization

• PyTorch Model Serialization

• NumPy Array Serialization

• Zarr Serialization

46. 网络传输优化

46.1 压缩传输

• Gzip Compression

• Brotli Compression

• Zstandard Compression

• Delta Compression

• Binary Encoding

46.2 协议优化

• HTTP/2

• HTTP/3

• gRPC Optimization

• WebSocket Optimization

• QUIC Protocol

十五、 缓存与预取策略

47. 结果缓存

47.1 语义缓存

• Exact Match Caching

• Similarity-based Caching

• Semantic Hashing

• Locality-Sensitive Hashing Caching

• Neural Cache

• k-NN Cache

47.2 动态缓存

• LRU Cache

• LFU Cache

• ARC Cache

• 2Q Cache

• TinyLFU Cache

• Clock Cache

48. 预取策略

48.1 数据预取

• Next Sequence Prefetching

• Pattern-based Prefetching

• Markov Chain Prefetching

• Deep Learning Prefetching

• Prefetching for Recommender Systems

48.2 模型预取

• Model Warm-up

• Preloading Weights

• Precomputing Embeddings

• Pre-generating Responses

十六、 能源效率优化

49. 节能计算

49.1 动态电压频率调整

• DVFS for GPU

• DVFS for CPU

• Power Capping

• Thermal Management

49.2 能效模型

• Energy-aware Scheduling

• Power Modeling

• Energy Profiling

• Carbon-aware Computing

50. 绿色AI

50.1 可持续计算

• Model Efficiency

• Data Efficiency

• Renewable Energy Usage

• Carbon Footprint Reduction

50.2 高效硬件使用

• Server Consolidation

• Virtualization

• Containerization

• Edge Computing

十七、 测试与验证

51. 模型测试

51.1 推理正确性测试

• Unit Testing for Models

• Integration Testing

• Regression Testing

• Golden Output Testing

51.2 鲁棒性测试

• Adversarial Testing

• Stress Testing

• Load Testing

• Fuzz Testing

52. 性能测试

52.1 基准测试

• MLPerf Inference

• AI Benchmark

• Custom Benchmarks

• Comparative Testing

52.2 profiling

• Performance Profiling

• Memory Profiling

• GPU Profiling

• Network Profiling

十八、 部署与运维

53. 部署策略

53.1 蓝绿部署

• Blue-Green Deployment

• Canary Deployment

• Rolling Deployment

• A/B Testing Deployment

53.2 模型版本管理

• Model Versioning

• Model Registry

• Model Metadata Management

• Model Lineage Tracking

54. 自动化运维

54.1 自动化扩缩容

• Horizontal Pod Autoscaler

• Vertical Pod Autoscaler

• Cluster Autoscaler

• Predictive Autoscaling

54.2 自我修复

• Health Checks

• Liveness Probes

• Readiness Probes

• Automatic Rollback

十九、 用户交互优化

55. 交互式推理

55.1 实时交互

• Streaming Inference

• Interactive Debugging

• Step-through Inference

• Visualization of Attention

55.2 用户反馈集成

• Reinforcement Learning from Human Feedback (RLHF)

• Direct Preference Optimization (DPO)

• Online Learning from Feedback

• Active Learning for Inference

56. 个性化推理

56.1 用户适配

• User-specific Fine-tuning

• Personalization Layers

• Federated Personalization

• Privacy-preserving Personalization

56.2 上下文记忆

• Long-term Memory

• Short-term Memory

• Episodic Memory

• Semantic Memory

二十、 跨平台与移动端优化

57. 移动端推理

57.1 模型移动端适配

• Model Quantization for Mobile

• Model Pruning for Mobile

• Knowledge Distillation for Mobile

• Mobile-specific Architectures

57.2 移动端加速

• GPU Acceleration on Mobile

• NPU Acceleration

• DSP Acceleration

• CPU Optimization for Mobile

58. 边缘计算

58.1 边缘设备推理

• Raspberry Pi Optimization

• Jetson Optimization

• Edge TPU Optimization

• FPGA Acceleration for Edge

58.2 边缘-云协同

• Edge-Cloud Split Inference

• Offloading Strategies

• Synergistic Inference

• Adaptive Edge-Cloud

二十一、 开源框架与工具

59. 推理框架

59.1 专用推理框架

• TensorRT

• OpenVINO

• ONNX Runtime

• TorchServe

• TensorFlow Serving

• Triton Inference Server

• vLLM

• TGI (Text Generation Inference)

59.2 多框架支持

• Model Conversion Tools

• Interoperability Tools

• Framework Abstraction Layers

60. 监控与调试工具

60.1 性能监控工具

• Prometheus

• Grafana

• ELK Stack

• Jaeger

• OpenTelemetry

60.2 模型调试工具

• Captum

• SHAP

• LIME

• TensorBoard

• Weights & Biases

二十二、 法律与合规算法

61. 合规性检查

61.1 数据合规

• GDPR Compliance

• CCPA Compliance

• Data Anonymization

• Data Retention Policies

61.2 模型合规

• Model Fairness Audits

• Bias Detection and Mitigation

• Transparency Reports

• Ethical AI Guidelines

62. 版权与知识产权

62.1 版权保护

• Digital Rights Management (DRM)

• Watermarking for Models

• License Compliance

• Intellectual Property Tracking

62.2 开源合规

• Open Source License Compliance

• Dependency Scanning

• Vulnerability Scanning

• Legal Risk Assessment

二十三、 经济与市场优化

63. 定价策略

63.1 动态定价

• Usage-based Pricing

• Tiered Pricing

• Subscription Models

• Pay-as-you-go

63.2 成本优化

• Cost-Benefit Analysis

• Return on Investment (ROI) Calculation

• Total Cost of Ownership (TCO)

64. 市场预测

64.1 需求预测

• Time Series Forecasting

• Regression Models

• Deep Learning Forecasters

64.2 竞争分析

• Competitor Benchmarking

• Market Trend Analysis

• Sentiment Analysis

二十四、 教育与培训

65. 培训与教育工具

65.1 交互式学习

• Jupyter Notebooks

• Online Courses

• Interactive Tutorials

• Simulation Environments

65.2 技能评估

• Automated Grading

• Skill Gap Analysis

• Competency Tracking

• Certification Programs

66. 知识传播

66.1 文档生成

• Automated Documentation

• Code Comments Generation

• Tutorial Generation

• API Documentation

66.2 最佳实践

• Style Guides

• Design Patterns

• Anti-patterns

• Case Studies

二十五、 未来趋势与研究方向

67. 新型硬件探索

67.1 量子计算

• Quantum Machine Learning

• Quantum Inference

• Hybrid Quantum-Classical

67.2 神经形态计算

• Spiking Neural Networks

• Neuromorphic Hardware

• Brain-inspired Computing

68. 算法理论突破

68.1 新架构探索

• Capsule Networks

• Attention-Free Architectures

• New Activation Functions

• Alternative Normalization Methods

68.2 学习理论

• Meta-Learning

• Few-shot Learning

• Zero-shot Learning

• Self-supervised Learning

二十六、 自适应与在线学习算法

69. 在线学习与适应

69.1 在线参数调整

• Online Gradient Descent在线梯度下降

• Follow-the-Regularized-Leader跟随正则化领导者

• Online Mirror Descent在线镜像下降

• Adaptive Online Learning自适应在线学习

• Hedge Algorithm对冲算法

• Exponentiated Gradient指数梯度

• Perceptron Algorithm感知器算法

• Passive-Aggressive Algorithm被动攻击算法

• Confidence-Weighted Learning置信度加权学习

• Adaptive Regularization of Weights自适应权重正则化

69.2 增量学习

• Incremental Learning增量学习

• Progressive Learning渐进学习

• Lifelong Learning终身学习

• Never-Ending Learning永不停止学习

• Elastic Weight Consolidation弹性权重巩固

• Gradient Episodic Memory梯度情景记忆

• iCaRL增量分类和表示学习

• Experience Replay经验回放

• Generative Replay生成回放

70. 元学习与快速适应

70.1 元学习方法

• MAML Model-Agnostic Meta-Learning模型无关元学习

• Reptile一阶元学习

• Meta-SGD元随机梯度下降

• Latent Embedding Optimization隐嵌入优化

• Probabilistic MAML概率MAML

• Bayesian Meta-Learning贝叶斯元学习

• Metric-based Meta-Learning基于度量的元学习

• Prototypical Networks原型网络

• Matching Networks匹配网络

• Relation Networks关系网络

70.2 少样本学习

• Few-Shot Learning少样本学习

• One-Shot Learning单样本学习

• Zero-Shot Learning零样本学习

• Cross-Domain Few-Shot Learning跨领域少样本学习

• Task-Agnostic Meta-Learning任务无关元学习

• Meta-Transfer Learning元迁移学习

• Self-Supervised Meta-Learning自监督元学习

二十七、 鲁棒性与对抗防御算法

71. 对抗攻击防御

71.1 对抗训练

• Adversarial Training对抗训练

• Projected Gradient Descent对抗训练

• TRADES可转移的对抗训练

• MART对标签噪声鲁棒的对抗训练

• Friendly Adversarial Training友好对抗训练

• Self-Supervised Adversarial Training自监督对抗训练

• Adversarial Logit Pairing对抗逻辑配对

• Ensemble Adversarial Training集成对抗训练

71.2 输入净化

• Input Purification输入净化

• Denoising Autoencoders去噪自编码器

• Randomized Smoothing随机平滑

• Defense-GAN防御生成对抗网络

• Feature Squeezing特征压缩

• JPEG Compression JPEG压缩防御

• Bit-Depth Reduction比特深度降低

• Spatial Smoothing空间平滑

72. 模型鲁棒性增强

72.1 鲁棒架构设计

• Robust Architectures鲁棒架构

• Lipschitz-Constrained Networks利普希茨约束网络

• Parseval Networks帕塞瓦尔网络

• Spectral Normalization谱归一化

• Gradient Penalty梯度惩罚

• Smooth Activation Functions平滑激活函数

• Adversarially Robust Training对抗鲁棒训练

• Certifiably Robust Training可证明鲁棒训练

72.2 不确定性量化

• Bayesian Neural Networks贝叶斯神经网络

• Monte Carlo Dropout蒙特卡洛丢弃

• Deep Ensembles深度集成

• Temperature Scaling温度缩放

• Platt Scaling普拉特缩放

• Isotonic Regression保序回归

• Evidential Deep Learning证据深度学习

• Ensemble Distribution Distillation集成分布蒸馏

二十八、 多目标优化算法

73. 帕累托优化

73.1 多目标优化方法

• Pareto Optimization帕累托优化

• Multi-Objective Gradient Descent多目标梯度下降

• Multiple Gradient Descent Algorithm多梯度下降算法

• Pareto Stationary Solutions帕累托平稳解

• Scalarization Methods标量化方法

• Weighted Sum Method加权和法

• ε-Constraint Method ε约束法

• Normal Boundary Intersection法向边界交会

• Goal Programming目标规划

73.2 多目标演化算法

• NSGA-II非支配排序遗传算法II

• SPEA2强度帕累托进化算法2

• MOEA/D基于分解的多目标进化算法

• Pareto Archived Evolution Strategy帕累托归档进化策略

• Multi-Objective Particle Swarm Optimization多目标粒子群优化

• Multi-Objective Simulated Annealing多目标模拟退火

• Hypervolume-based Algorithms基于超体积的算法

74. 权衡优化

74.1 精度-效率权衡

• Accuracy-Efficiency Trade-off精度-效率权衡

• Pareto Frontier Optimization帕累托前沿优化

• Multi-Objective Bayesian Optimization多目标贝叶斯优化

• Quality-Diversity Optimization质量-多样性优化

• Adaptive Trade-off Adaptation自适应权衡调整

• Dynamic Resource Allocation动态资源分配

• Cost-Sensitive Learning成本敏感学习

74.2 多约束优化

• Constrained Optimization约束优化

• Lagrangian Methods拉格朗日方法

• Penalty Methods惩罚方法

• Barrier Methods障碍方法

• Primal-Dual Methods原始-对偶方法

• Augmented Lagrangian增广拉格朗日

• Sequential Quadratic Programming序列二次规划

• Interior Point Methods内点法

二十九、 可解释性与透明度算法

75. 特征重要性分析

75.1 基于梯度的解释

• Gradient-based Explanations基于梯度的解释

• Saliency Maps显著性图

• Guided Backpropagation导向反向传播

• Integrated Gradients积分梯度

• SmoothGrad平滑梯度

• Grad-CAM梯度加权类激活映射

• FullGrad全梯度

• DeepLIFT深度提升

75.2 扰动方法

• LIME局部可解释模型无关解释

• SHAP SHapley Additive exPlanations沙普利加性解释

• Anchors锚点解释

• Counterfactual Explanations反事实解释

• Contrastive Explanations对比解释

• Prototype-based Explanations基于原型的解释

• Influence Functions影响函数

76. 注意力可视化

76.1 注意力分析

• Attention Visualization注意力可视化

• Attention Flow注意力流

• Attention Rollout注意力展开

• Attention Attribution注意力归因

• Multi-head Attention Analysis多头注意力分析

• Cross-Attention Analysis交叉注意力分析

• Causal Attention Analysis因果注意力分析

76.2 注意力模式挖掘

• Attention Pattern Mining注意力模式挖掘

• Clustering Attention Patterns聚类注意力模式

• Attention Grammar注意力语法

• Syntax-Aware Attention句法感知注意力

• Semantic Attention Patterns语义注意力模式

• Temporal Attention Patterns时序注意力模式

三十、 数据流与流水线优化

77. 数据流编程模型

77.1 数据流图优化

• Dataflow Graph Optimization数据流图优化

• Static Dataflow静态数据流

• Dynamic Dataflow动态数据流

• Synchronous Dataflow同步数据流

• Asynchronous Dataflow异步数据流

• Kahn Process Networks卡恩进程网络

• Dataflow Supercomputing数据流超级计算

77.2 流处理框架

• Apache Flink流处理

• Apache Spark Streaming火花流处理

• Apache Storm风暴流处理

• Apache Samza萨姆扎流处理

• Google Dataflow谷歌数据流

• Kafka Streams卡夫卡流

• TensorFlow Data API TensorFlow数据API

• PyTorch DataLoader PyTorch数据加载器

78. 流水线并行优化

78.1 流水线设计

• Pipeline Design流水线设计

• Pipeline Balancing流水线平衡

• Pipeline Throughput Optimization流水线吞吐优化

• Pipeline Latency Reduction流水线延迟减少

• Pipeline Bubble Reduction流水线气泡减少

• Pipeline Stalling Prevention流水线停顿预防

• Pipeline Hazard Detection流水线冒险检测

78.2 流水线控制

• Pipeline Control流水线控制

• Flow Control流控制

• Back Pressure背压控制

• Credit-based Flow Control基于信用的流控制

• Rate-based Flow Control基于速率的流控制

• Adaptive Flow Control自适应流控制

• Congestion Control拥塞控制

三十一、 资源预测与分配算法

79. 资源需求预测

79.1 时间序列预测

• ARIMA自回归综合移动平均

• SARIMA季节性ARIMA

• Exponential Smoothing指数平滑

• Prophet时间序列预测

• DeepAR深度自回归

• Temporal Convolutional Networks时序卷积网络

• Transformer for Time Series时间序列Transformer

• N-BEATS神经基础扩展分析时间序列

79.2 机器学习预测

• Regression Models回归模型

• Random Forests随机森林

• Gradient Boosting梯度提升

• XGBoost极限梯度提升

• LightGBM轻量梯度提升机

• CatBoost类别提升

• Neural Networks for Prediction预测神经网络

• Ensemble Methods for Prediction预测集成方法

80. 资源分配优化

80.1 动态分配

• Dynamic Resource Allocation动态资源分配

• Bin Packing装箱问题

• Knapsack Problem背包问题

• Resource-Constrained Scheduling资源约束调度

• Multi-Resource Allocation多资源分配

• Fair Resource Allocation公平资源分配

• Efficient Resource Allocation高效资源分配

• Online Resource Allocation在线资源分配

80.2 调度优化

• Job Scheduling作业调度

• Task Scheduling任务调度

• Workflow Scheduling工作流调度

• DAG Scheduling有向无环图调度

• Heterogeneous Resource Scheduling异构资源调度

• Energy-aware Scheduling能量感知调度

• Cost-aware Scheduling成本感知调度

• Deadline-aware Scheduling截止时间感知调度

三十二、 能耗与热管理算法

81. 能耗优化

81.1 功耗建模

• Power Modeling功耗建模

• Static Power Modeling静态功耗建模

• Dynamic Power Modeling动态功耗建模

• Thermal Modeling热建模

• Energy Profiling能量剖析

• Power Estimation功耗估计

• Energy Efficiency Analysis能效分析

• Carbon Footprint Modeling碳足迹建模

81.2 节能技术

• Dynamic Voltage and Frequency Scaling动态电压频率调整

• Power Gating电源门控

• Clock Gating时钟门控

• Adaptive Voltage Scaling自适应电压调整

• Near-Threshold Computing近阈值计算

• Sub-Threshold Computing亚阈值计算

• Approximate Computing近似计算

• Energy Harvesting能量收集

82. 热管理

82.1 温度控制

• Thermal Management热管理

• Dynamic Thermal Management动态热管理

• Predictive Thermal Management预测性热管理

• Proactive Thermal Management主动热管理

• Reactive Thermal Management反应式热管理

• Temperature-aware Scheduling温度感知调度

• Thermal-aware Placement热感知布局

• Cooling-aware Design冷却感知设计

82.2 散热优化

• Heat Dissipation Optimization散热优化

• Air Cooling Optimization空气冷却优化

• Liquid Cooling Optimization液体冷却优化

• Phase Change Cooling相变冷却

• Thermoelectric Cooling热电冷却

• Heat Pipe Optimization热管优化

• Cooling System Design冷却系统设计

• Thermal Interface Materials热界面材料

三十三、 故障预测与健康管理

83. 故障预测

83.1 预测性维护

• Predictive Maintenance预测性维护

• Remaining Useful Life Estimation剩余使用寿命估计

• Failure Prediction故障预测

• Anomaly Detection异常检测

• Fault Diagnosis故障诊断

• Health Monitoring健康监控

• Prognostics and Health Management预测与健康管理

• Condition-Based Maintenance基于状态的维护

83.2 可靠性分析

• Reliability Analysis可靠性分析

• Failure Mode and Effects Analysis故障模式与影响分析

• Fault Tree Analysis故障树分析

• Event Tree Analysis事件树分析

• Reliability Block Diagrams可靠性框图

• Markov Chains for Reliability马尔可夫链可靠性

• Weibull Analysis威布尔分析

• Accelerated Life Testing加速寿命测试

84. 系统健康管理

84.1 健康评估

• Health Assessment健康评估

• Health Indicators健康指标

• Health Index健康指数

• Degradation Modeling退化建模

• Performance Degradation性能退化

• Aging Effects老化效应

• Wear-out Modeling磨损建模

• Lifetime Prediction寿命预测

84.2 恢复策略

• Recovery Strategies恢复策略

• Self-Healing Systems自愈系统

• Fault Tolerance容错

• Error Correction错误纠正

• Redundancy Management冗余管理

• Repair Strategies修复策略

• Reconfiguration Strategies重配置策略

• Graceful Degradation优雅降级

三十四、 量子启发算法

85. 量子计算启发

85.1 量子算法模拟

• Quantum-inspired Algorithms量子启发算法

• Quantum Annealing量子退火

• Simulated Annealing模拟退火

• Quantum Walk量子行走

• Grover's Algorithm格罗弗算法

• Quantum Fourier Transform量子傅里叶变换

• Variational Quantum Algorithms变分量子算法

• Quantum Machine Learning量子机器学习

85.2 量子经典混合

• Hybrid Quantum-Classical Algorithms量子经典混合算法

• Quantum Neural Networks量子神经网络

• Quantum Support Vector Machines量子支持向量机

• Quantum Principal Component Analysis量子主成分分析

• Quantum Generative Models量子生成模型

• Quantum Reinforcement Learning量子强化学习

• Quantum Natural Language Processing量子自然语言处理

• Quantum Computer Vision量子计算机视觉

86. 量子优化

86.1 量子优化算法

• Quantum Optimization Algorithms量子优化算法

• Quantum Approximate Optimization Algorithm量子近似优化算法

• Quantum Alternating Operator Ansatz量子交替算子拟设

• Quantum Linear Systems Algorithm量子线性系统算法

• Quantum Semidefinite Programming量子半定规划

• Quantum Integer Programming量子整数规划

• Quantum Convex Optimization量子凸优化

• Quantum Non-convex Optimization量子非凸优化

86.2 经典量子接口

• Classical-Quantum Interfaces经典量子接口

• Quantum Compilers量子编译器

• Quantum Circuit Optimization量子电路优化

• Quantum Error Correction量子错误纠正

• Quantum Noise Mitigation量子噪声缓解

• Quantum State Tomography量子态层析

• Quantum Process Tomography量子过程层析

• Quantum Benchmarking量子基准测试

三十五、 生物启发算法

87. 神经网络生物学启发

87.1 生物神经网络模型

• Spiking Neural Networks脉冲神经网络

• Hodgkin-Huxley Model霍奇金-赫胥黎模型

• Integrate-and-Fire Model整合发放模型

• Leaky Integrate-and-Fire Model泄露整合发放模型

• Izhikevich Model伊兹克维奇模型

• Neural Mass Models神经质量模型

• Wilson-Cowan Model威尔逊-考恩模型

• Mean Field Models平均场模型

87.2 神经可塑性

• Synaptic Plasticity突触可塑性

• Hebbian Learning赫布学习

• Spike-Timing-Dependent Plasticity脉冲时序依赖可塑性

• Bienenstock-Cooper-Munro Rule BCM规则

• Homeostatic Plasticity稳态可塑性

• Structural Plasticity结构可塑性

• Metaplasticity元可塑性

• Neuromodulation神经调节

88. 进化计算

88.1 进化算法

• Genetic Algorithms遗传算法

• Genetic Programming遗传编程

• Evolutionary Strategies进化策略

• Evolutionary Programming进化编程

• Differential Evolution差分进化

• Particle Swarm Optimization粒子群优化

• Ant Colony Optimization蚁群优化

• Artificial Bee Colony人工蜂群算法

88.2 生物启发优化

• Biologically-inspired Optimization生物启发优化

• Immune System Algorithms免疫系统算法

• Bacterial Foraging Optimization细菌觅食优化

• Firefly Algorithm萤火虫算法

• Cuckoo Search布谷鸟搜索

• Bat Algorithm蝙蝠算法

• Flower Pollination Algorithm花朵授粉算法

• Whale Optimization Algorithm鲸鱼优化算法

三十六、 社会计算与群体智能

89. 群体智能

89.1 群体算法

• Swarm Intelligence群体智能

• Multi-Agent Systems多智能体系统

• Collective Intelligence集体智能

• Distributed Artificial Intelligence分布式人工智能

• Collaborative Filtering协同过滤

• Consensus Algorithms共识算法

• Voting Systems投票系统

• Wisdom of Crowds群体智慧

89.2 社会网络分析

• Social Network Analysis社会网络分析

• Network Centrality网络中心性

• Community Detection社区检测

• Influence Maximization影响力最大化

• Information Diffusion信息传播

• Social Influence Models社会影响模型

• Homophily Analysis同质性分析

• Structural Holes结构洞

90. 协作学习

90.1 分布式学习

• Collaborative Learning协作学习

• Federated Learning联邦学习

• Distributed Learning分布式学习

• Peer-to-Peer Learning点对点学习

• Knowledge Distillation among Peers同伴间知识蒸馏

• Model Aggregation模型聚合

• Secure Aggregation安全聚合

• Differential Privacy in Collaboration协作中的差分隐私

90.2 集体决策

• Collective Decision Making集体决策

• Group Decision Support Systems群体决策支持系统

• Delphi Method德尔菲法

• Nominal Group Technique名义群体技术

• Brainstorming头脑风暴

• Multi-criteria Decision Analysis多准则决策分析

• Analytic Hierarchy Process层次分析法

• Decision Trees for Groups群体决策树

三十七、 人机交互与界面算法

91. 自然用户界面

91.1 语音交互

• Speech Recognition语音识别

• Automatic Speech Recognition自动语音识别

• Speech Synthesis语音合成

• Text-to-Speech文本转语音

• Voice Activity Detection语音活动检测

• Speaker Recognition说话人识别

• Emotion Recognition from Speech语音情感识别

• Conversational AI对话人工智能

91.2 手势与姿态

• Gesture Recognition手势识别

• Hand Tracking手部追踪

• Body Pose Estimation身体姿态估计

• Facial Expression Recognition面部表情识别

• Eye Tracking眼动追踪

• Gaze Estimation视线估计

• Motion Capture动作捕捉

• Activity Recognition活动识别

92. 脑机接口

92.1 神经信号处理

• Brain-Computer Interfaces脑机接口

• Electroencephalography脑电图

• Magnetoencephalography脑磁图

• Functional Near-Infrared Spectroscopy功能近红外光谱

• Electrocorticography皮层脑电图

• Signal Processing for BCIs脑机接口信号处理

• Feature Extraction特征提取

• Classification Algorithms分类算法

92.2 神经解码

• Neural Decoding神经解码

• Motor Imagery Decoding运动想象解码

• Visual Evoked Potentials视觉诱发电位

• P300 Speller P300拼写器

• Steady-State Visually Evoked Potentials稳态视觉诱发电位

• Neural Representation Learning神经表示学习

• Neural Manifolds神经流形

• Neural Population Dynamics神经群体动力学

三十八、 环境感知与上下文理解

93. 上下文感知计算

93.1 上下文建模

• Context-Aware Computing上下文感知计算

• Context Modeling上下文建模

• Context Acquisition上下文获取

• Context Reasoning上下文推理

• Context Adaptation上下文适应

• Context Prediction上下文预测

• Context-Aware Recommender Systems上下文感知推荐系统

• Location-Based Services基于位置的服务

93.2 环境理解

• Environmental Understanding环境理解

• Scene Understanding场景理解

• Semantic Segmentation语义分割

• Instance Segmentation实例分割

• Panoptic Segmentation全景分割

• Depth Estimation深度估计

• Optical Flow光流

• 3D Reconstruction三维重建

94. 多模态感知融合

94.1 传感器融合

• Sensor Fusion传感器融合

• Multi-modal Fusion多模态融合

• Early Fusion早期融合

• Late Fusion晚期融合

• Intermediate Fusion中间融合

• Attention-based Fusion基于注意力的融合

• Transformer-based Fusion基于Transformer的融合

• Adaptive Fusion自适应融合

94.2 时空建模

• Spatiotemporal Modeling时空建模

• Temporal Modeling时序建模

• Spatial Modeling空间建模

• Graph Neural Networks for Spatiotemporal Data时空数据图神经网络

• Recurrent Neural Networks for Time Series时序循环神经网络

• Convolutional Neural Networks for Spatial Data空间数据卷积神经网络

• Spatiotemporal Attention时空注意力

• Dynamic Graphs动态图

三十九、 伦理与公平性算法

95. 公平性保证

95.1 偏差检测与缓解

• Bias Detection偏差检测

• Fairness Metrics公平性指标

• Demographic Parity人口统计平等

• Equalized Odds均衡几率

• Equal Opportunity平等机会

• Counterfactual Fairness反事实公平性

• Individual Fairness个体公平性

• Group Fairness群体公平性

95.2 公平机器学习

• Fair Machine Learning公平机器学习

• Pre-processing Methods预处理方法

• In-processing Methods处理中方法

• Post-processing Methods后处理方法

• Adversarial Debiasing对抗去偏

• Fair Representation Learning公平表示学习

• Fair Data Augmentation公平数据增强

• Fair Regularization公平正则化

96. 透明性与问责制

96.1 可解释性方法

• Explainable AI可解释人工智能

• Interpretability Methods可解释性方法

• Model Cards模型卡

• Datasheets for Datasets数据集数据表

• Algorithmic Impact Assessments算法影响评估

• Audit Trails审计追踪

• Provenance Tracking来源追踪

• Responsibility Assignment责任分配

96.2 伦理决策

• Ethical Decision Making伦理决策

• Value Alignment价值对齐

• Normative Ethics规范伦理

• Consequentialism结果主义

• Deontology义务论

• Virtue Ethics德行伦理

• Ethical Frameworks伦理框架

• Moral Reasoning道德推理

四十、 可持续计算算法

97. 绿色计算

97.1 能效优化

• Green Computing绿色计算

• Energy-efficient Algorithms能效算法

• Carbon-aware Computing碳感知计算

• Renewable Energy Integration可再生能源集成

• Energy Harvesting Systems能量收集系统

• Low-power Design低功耗设计

• Energy-proportional Computing能量比例计算

• Sustainable Software Engineering可持续软件工程

97.2 生命周期评估

• Life Cycle Assessment生命周期评估

• Environmental Impact Assessment环境影响评估

• Carbon Footprint Calculation碳足迹计算

• Water Usage Tracking用水跟踪

• E-waste Management电子废物管理

• Circular Economy Principles循环经济原则

• Sustainable Supply Chains可持续供应链

• Green Procurement绿色采购

98. 资源循环利用

98.1 循环计算

• Circular Computing循环计算

• Hardware Reuse硬件重用

• Component Recycling组件回收

• Material Recovery材料回收

• Remanufacturing再制造

• Refurbishment翻新

• Extended Producer Responsibility延伸生产者责任

• Take-back Programs回收计划

98.2 可持续设计

• Sustainable Design可持续设计

• Design for Environment环境设计

• Design for Disassembly可拆卸设计

• Design for Recycling可回收设计

• Modular Design模块化设计

• Upgradeability可升级性

• Repair-friendly Design易维修设计

• Longevity Design长寿设计

四十一、 异构计算与跨平台优化

99. 跨架构移植优化

99.1 平台抽象层

• Hardware Abstraction Layer硬件抽象层

• Compute Unified Device Architecture计算统一设备架构

• OpenCL Open Computing Language开放计算语言

• Vulkan高性能图形和计算API

• SYCL C++单源异构编程

• OneAPI统一编程模型

• ROCm Radeon开放计算平台

• CUDA Compatibility CUDA兼容性

99.2 跨平台编译

• Cross-platform Compilation跨平台编译

• LLVM Intermediate Representation LLVM中间表示

• SPIR-V标准便携式中间表示

• WebGPU Web图形API

• Cross-compilation交叉编译

• Just-in-Time Compilation即时编译

• Ahead-of-Time Compilation预先编译

• Fat Binaries胖二进制文件

100. 异构资源管理

100.1 资源虚拟化

• Resource Virtualization资源虚拟化

• Virtual GPUs虚拟GPU

• GPU Partitioning GPU分区

• Time-sharing GPU分时GPU

• Space-sharing GPU分空间GPU

• Multi-tenant GPU Multi-tenancy多租户GPU

• Resource Isolation资源隔离

• Quality of Service服务质量

100.2 任务卸载

• Task Offloading任务卸载

• Computation Offloading计算卸载

• Data Offloading数据卸载

• Dynamic Offloading动态卸载

• Adaptive Offloading自适应卸载

• Energy-aware Offloading能量感知卸载

• Latency-aware Offloading延迟感知卸载

• Cost-aware Offloading成本感知卸载

四十二、 实时系统与低延迟算法

101. 实时调度算法

101.1 硬实时调度

• Rate Monotonic Scheduling速率单调调度

• Earliest Deadline First最早截止期优先

• Least Laxity First最小松弛度优先

• Deadline Monotonic截止期单调

• Response Time Analysis响应时间分析

• Utilization Bound Test利用率边界测试

• Processor Demand Analysis处理器需求分析

• Hyperperiod Analysis超周期分析

101.2 软实时调度

• Proportional Share Scheduling比例共享调度

• Weighted Fair Queueing加权公平队列

• Lottery Scheduling彩票调度

• Stride Scheduling步幅调度

• Virtual Clock虚拟时钟

• Earliest Eligible Virtual Deadline First最早合格虚拟截止期优先

• Constant Bandwidth Server恒定带宽服务器

• Total Bandwidth Server总带宽服务器

102. 低延迟通信

102.1 网络优化

• Low-latency Networking低延迟网络

• RDMA Remote Direct Memory Access远程直接内存访问

• RoCE RDMA over Converged Ethernet融合以太网上的RDMA

• InfiniBand无限带宽

• DPDK Data Plane Development Kit数据平面开发套件

• Kernel Bypass内核旁路

• Zero-copy Networking零拷贝网络

• User-space Networking用户空间网络

102.2 消息传递优化

• Message Passing Interface消息传递接口

• MPI Optimization MPI优化

• Non-blocking Communication非阻塞通信

• Persistent Communication持久通信

• One-sided Communication单边通信

• Collective Communication Optimization集体通信优化

• Point-to-point Optimization点对点优化

• Communication Scheduling通信调度

四十三、 容错与高可用性算法

103. 容错计算

103.1 检查点与恢复

• Checkpointing Algorithms检查点算法

• Incremental Checkpointing增量检查点

• Coordinated Checkpointing协调检查点

• Uncoordinated Checkpointing非协调检查点

• Hybrid Checkpointing混合检查点

• Disk-based Checkpointing基于磁盘的检查点

• Memory-based Checkpointing基于内存的检查点

• Application-level Checkpointing应用级检查点

103.2 复制与冗余

• Replication Algorithms复制算法

• Active Replication主动复制

• Passive Replication被动复制

• Semi-active Replication半主动复制

• State Machine Replication状态机复制

• Primary-backup Replication主备份复制

• Chain Replication链式复制

• Quorum-based Replication基于仲裁的复制

104. 拜占庭容错

104.1 共识算法

• Byzantine Fault Tolerance拜占庭容错

• Practical Byzantine Fault Tolerance实用拜占庭容错

• Federated Byzantine Agreement联邦拜占庭协议

• HoneyBadgerBFT蜜獾拜占庭容错

• Tendermint Tendermint共识

• HotStuff热点共识

• Algorand阿罗共识

• Raft共识算法

104.2 分布式一致性

• Distributed Consensus分布式共识

• Paxos算法

• Multi-Paxos多Paxos

• Fast Paxos快速Paxos

• EPaxos弹性Paxos

• Zab原子广播协议

• Viewstamped Replication视图戳复制

• Atomic Broadcast原子广播

四十四、 安全多方计算与隐私保护

105. 安全计算协议

105.1 多方安全计算

• Secure Multi-party Computation安全多方计算

• Garbled Circuits混淆电路

• Yao's Protocol姚氏协议

• GMW Protocol GMW协议

• BGW Protocol BGW协议

• SPDZ Protocol SPDZ协议

• ABY Framework ABY框架

• Oblivious Transfer不经意传输

105.2 同态加密

• Homomorphic Encryption同态加密

• Partially Homomorphic Encryption部分同态加密

• Somewhat Homomorphic Encryption近似同态加密

• Fully Homomorphic Encryption全同态加密

• BFV Scheme BFV方案

• BGV Scheme BGV方案

• CKKS Scheme CKKS方案

• TFHE快速全同态加密

106. 差分隐私实现

106.1 差分隐私机制

• Differential Privacy Mechanisms差分隐私机制

• Laplace Mechanism拉普拉斯机制

• Exponential Mechanism指数机制

• Gaussian Mechanism高斯机制

• Randomized Response随机响应

• Local Differential Privacy本地差分隐私

• Central Differential Privacy中心差分隐私

• Distributed Differential Privacy分布式差分隐私

106.2 隐私预算管理

• Privacy Budget Management隐私预算管理

• Composition Theorems组合定理

• Advanced Composition高级组合

• Renyi Differential Privacy Renyi差分隐私

• Zero-concentrated Differential Privacy零集中差分隐私

• Privacy Accounting隐私会计

• Privacy Amplification隐私放大

• Privacy Loss Distribution隐私损失分布

四十五、 形式化验证与正确性证明

107. 模型验证

107.1 形式化方法

• Formal Verification形式化验证

• Model Checking模型检测

• Theorem Proving定理证明

• Static Analysis静态分析

• Dynamic Analysis动态分析

• Symbolic Execution符号执行

• Abstract Interpretation抽象解释

• Bounded Model Checking有界模型检测

107.2 程序验证

• Program Verification程序验证

• Hoare Logic霍尔逻辑

• Separation Logic分离逻辑

• Temporal Logic时序逻辑

• Linear Temporal Logic线性时序逻辑

• Computational Tree Logic计算树逻辑

• Symbolic Model Checking符号模型检测

• Counterexample-guided Abstraction Refinement反例引导抽象精化

108. 神经网络验证

108.1 鲁棒性验证

• Neural Network Verification神经网络验证

• Reachability Analysis可达性分析

• Interval Analysis区间分析

• Polyhedral Analysis多面体分析

• Satisfiability Modulo Theories可满足性模理论

• Linear Programming线性规划

• Semidefinite Programming半定规划

• Mixed-integer Linear Programming混合整数线性规划

108.2 安全性证明

• Safety Verification安全性验证

• Adversarial Robustness Verification对抗鲁棒性验证

• Certified Defenses认证防御

• Provable Security可证明安全

• Formal Guarantees形式化保证

• Correctness Proof正确性证明

• Soundness Proof可靠性证明

• Completeness Proof完备性证明

四十六、 神经架构搜索与自动化设计

109. 搜索空间设计

109.1 架构搜索空间

• Neural Architecture Search Spaces神经架构搜索空间

• Cell-based Search Spaces基于单元的搜索空间

• Macro Search Spaces宏观搜索空间

• Hierarchical Search Spaces层次搜索空间

• Continuous Search Spaces连续搜索空间

• Discrete Search Spaces离散搜索空间

• Mixed Search Spaces混合搜索空间

• Multi-objective Search Spaces多目标搜索空间

109.2 超参数搜索空间

• Hyperparameter Search Spaces超参数搜索空间

• Categorical Parameters类别参数

• Continuous Parameters连续参数

• Integer Parameters整数参数

• Conditional Parameters条件参数

• Dependent Parameters依赖参数

• Hierarchical Parameters层次参数

• Multi-fidelity Parameters多保真度参数

110. 搜索算法

110.1 优化算法

• Bayesian Optimization贝叶斯优化

• Gaussian Processes高斯过程

• Tree-structured Parzen Estimator树结构Parzen估计器

• Sequential Model-based Optimization序列模型优化

• Hyperband超频带

• BOHB Bayesian Optimization Hyperband贝叶斯优化超频带

• Random Search随机搜索

• Grid Search网格搜索

110.2 演化算法

• Evolutionary Algorithms for NAS NAS演化算法

• Genetic Algorithms遗传算法

• Neuroevolution of Augmenting Topologies增强拓扑神经演化

• Regularized Evolution正则化演化

• Aging Evolution衰老演化

• Tournament Selection锦标赛选择

• Mutation Operators变异算子

• Crossover Operators交叉算子

四十七、 神经符号推理与混合系统

111. 符号推理集成

111.1 神经符号系统

• Neural-symbolic Integration神经符号集成

• Logic Tensor Networks逻辑张量网络

• Differentiable Inductive Logic Programming可微归纳逻辑编程

• Neural Theorem Provers神经定理证明器

• Symbolic Knowledge Distillation符号知识蒸馏

• Neural Logic Machines神经逻辑机器

• DeepProbLog深度概率逻辑

• TensorLog张量逻辑

111.2 知识注入

• Knowledge Injection知识注入

• Rule Injection规则注入

• Constraint Injection约束注入

• Logic Injection逻辑注入

• Symbolic Prior Injection符号先验注入

• Knowledge Graph Injection知识图谱注入

• Ontology Injection本体注入

• Semantic Injection语义注入

112. 可微逻辑

112.1 可微推理

• Differentiable Reasoning可微推理

• Fuzzy Logic模糊逻辑

• Probabilistic Logic概率逻辑

• Markov Logic Networks马尔可夫逻辑网络

• Probabilistic Soft Logic概率软逻辑

• Differentiable Fuzzy Logic可微模糊逻辑

• Neural Logic Networks神经逻辑网络

• Differentiable Theorem Proving可微定理证明

112.2 逻辑编程扩展

• Differentiable Logic Programming可微逻辑编程

• Deep Problog深度概率逻辑编程

• Neural Datalog神经数据日志

• Differentiable Answer Set Programming可微答案集编程

• Neural Logic Programming神经逻辑编程

• Differentiable Constraint Programming可微约束编程

• Neural Satisfiability Modulo Theories神经可满足性模理论

• Differentiable Automated Reasoning可微自动推理

四十八、 因果推理与干预分析

113. 因果发现

113.1 因果结构学习

• Causal Discovery因果发现

• Constraint-based Methods基于约束的方法

• PC Algorithm PC算法

• FCI Algorithm FCI算法

• Score-based Methods基于评分的方法

• Greedy Equivalence Search贪婪等价搜索

• Bayesian Network Structure Learning贝叶斯网络结构学习

• Causal DAG Discovery因果有向无环图发现

113.2 因果推断

• Causal Inference因果推断

• Potential Outcomes潜在结果

• Rubin Causal Model鲁宾因果模型

• Do-calculus do-演算

• Backdoor Adjustment后门调整

• Frontdoor Adjustment前门调整

• Instrumental Variables工具变量

• Difference-in-differences双重差分

114. 因果机器学习

114.1 因果表示学习

• Causal Representation Learning因果表示学习

• Invariant Risk Minimization不变风险最小化

• Causal Invariant Learning因果不变学习

• Independent Causal Mechanisms独立因果机制

• Disentangled Representation Learning解耦表示学习

• CausalVAE因果变分自编码器

• Causal Generative Models因果生成模型

• Causal Autoencoders因果自编码器

114.2 反事实推理

• Counterfactual Reasoning反事实推理

• Counterfactual Fairness反事实公平性

• Counterfactual Explanations反事实解释

• Counterfactual Data Augmentation反事实数据增强

• Counterfactual Evaluation反事实评估

• Counterfactual Policy Learning反事实策略学习

• Counterfactual Risk Minimization反事实风险最小化

• Counterfactual Regret Minimization反事实遗憾最小化

四十九、 不确定性量化与校准

115. 不确定性估计

115.1 贝叶斯方法

• Bayesian Neural Networks贝叶斯神经网络

• Variational Inference变分推断

• Monte Carlo Dropout蒙特卡洛丢弃

• Stochastic Gradient Langevin Dynamics随机梯度朗之万动力学

• Hamiltonian Monte Carlo哈密顿蒙特卡洛

• Markov Chain Monte Carlo马尔可夫链蒙特卡洛

• Laplace Approximation拉普拉斯近似

• Expectation Propagation期望传播

115.2 集成方法

• Deep Ensembles深度集成

• Bootstrap Ensembles自助法集成

• Snapshot Ensembles快照集成

• Batch Ensembles批集成

• Hyper-deep Ensembles超深度集成

• Diversity-promoting Ensembles多样性促进集成

• Bayesian Ensembles贝叶斯集成

• Randomization-based Ensembles基于随机化的集成

116. 校准方法

116.1 后处理校准

• Post-hoc Calibration事后校准

• Temperature Scaling温度缩放

• Platt Scaling普拉特缩放

• Isotonic Regression保序回归

• Histogram Binning直方图分箱

• Bayesian Binning into Quantiles贝叶斯分位数分箱

• Ensemble Temperature Scaling集成温度缩放

• Matrix Scaling矩阵缩放

116.2 训练时校准

• Training-time Calibration训练时校准

• Label Smoothing标签平滑

• Focal Loss焦点损失

• Calibration Regularization校准正则化

• Confidence Penalty置信度惩罚

• Entropy Regularization熵正则化

• Mixup Mixup数据增强

• Manifold Mixup流形Mixup

五十、 联邦学习与去中心化训练

117. 联邦优化算法

117.1 联邦平均

• Federated Averaging联邦平均

• FedAvg联邦平均

• FedProx联邦近端

• FedNova联邦归一化平均

• SCAFFOLD控制变量联邦优化

• FedMA联邦匹配平均

• FedBN联邦批归一化

• Personalized Federated Learning个性化联邦学习

117.2 异步联邦学习

• Asynchronous Federated Learning异步联邦学习

• FedAsync联邦异步

• Asynchronous Stochastic Gradient Descent异步随机梯度下降

• Stale Synchronous Parallelism过期同步并行

• Elastic Averaging弹性平均

• Decentralized Federated Learning去中心化联邦学习

• Gossip Learning八卦学习

• Peer-to-Peer Federated Learning点对点联邦学习

118. 隐私保护联邦学习

118.1 安全聚合

• Secure Aggregation安全聚合

• Differential Privacy差分隐私

• Homomorphic Encryption同态加密

• Multi-party Computation多方计算

• Secret Sharing秘密共享

• Random Masking随机掩码

• Secure Multi-party Aggregation安全多方聚合

• Privacy-preserving Aggregation隐私保护聚合

118.2 通信优化

• Communication-efficient Federated Learning通信高效的联邦学习

• Gradient Compression梯度压缩

• Quantized Communication量化通信

• Sparse Communication稀疏通信

• Local Updates本地更新

• Periodic Averaging周期性平均

• Adaptive Communication自适应通信

• Compression-aware Federated Learning压缩感知联邦学习

五十一、 边缘计算与移动端部署优化

119. 模型轻量化技术

119.1 移动端优化

• Mobile Transformer Optimization移动端Transformer优化

• MobileBERT移动BERT

• TinyBERT微型BERT

• DistilBERT蒸馏BERT

• SqueezeBERT压缩BERT

• EdgeBERT边缘BERT

• Lite Transformer轻量Transformer

• MobileViT移动视觉Transformer

119.2 设备适应性优化

• Device-aware Optimization设备感知优化

• Dynamic Computation动态计算

• Adaptive Computation自适应计算

• Conditional Computation条件计算

• Early Exit早期退出

• Multi-scale Processing多尺度处理

• Resolution-adaptive Processing分辨率自适应处理

• Complexity-adaptive Processing复杂度自适应处理

120. 边缘推理框架

120.1 边缘框架

• TensorFlow Lite TensorFlow精简版

• PyTorch Mobile PyTorch移动版

• ONNX Runtime ONNX运行时

• TVM for Edge TVM边缘版

• MNN移动神经网络

• NCNN腾讯神经网络推理框架

• Paddle Lite百度飞桨精简版

• Core ML苹果核心机器学习

120.2 模型转换与优化

• Model Conversion模型转换

• Quantization-aware Training量化感知训练

• Post-training Quantization训练后量化

• Dynamic Range Quantization动态范围量化

• Integer-only Quantization纯整数量化

• Pruning-aware Training剪枝感知训练

• Knowledge Distillation for Edge边缘知识蒸馏

• Hardware-aware Neural Architecture Search硬件感知神经架构搜索

五十二、 增量学习与终身学习系统

121. 灾难性遗忘缓解

121.1 正则化方法

• Elastic Weight Consolidation弹性权重巩固

• Synaptic Intelligence突触智能

• Memory Aware Synapses记忆感知突触

• Learning without Forgetting无遗忘学习

• Incremental Moment Matching增量矩匹配

• Orthogonal Gradient Descent正交梯度下降

• Riemannian Walk黎曼漫步

• Gradient Episodic Memory梯度情景记忆

121.2 架构方法

• Progressive Neural Networks渐进神经网络

• Dynamically Expandable Networks动态扩展网络

• PackNet打包网络

• PathNet路径网络

• Expert Gate专家门控

• iCaRL增量分类和表示学习

• End-to-end Incremental Learning端到端增量学习

• Class-incremental Learning类别增量学习

122. 记忆回放技术

122.1 样本选择

• Experience Replay经验回放

• Reservoir Sampling水库采样

• Ring Buffer环形缓冲区

• Greedy Sampling贪婪采样

• Diversity-based Sampling基于多样性的采样

• Uncertainty-based Sampling基于不确定性的采样

• Gradient-based Sampling基于梯度的采样

• Core-set Selection核心集选择

122.2 生成回放

• Generative Replay生成回放

• Deep Generative Replay深度生成回放

• Conditional Generative Replay条件生成回放

• Latent Replay潜在回放

• Dreaming重放

• Pseudo-rehearsal伪排练

• Memory-based Generative Models基于记忆的生成模型

• Continual Generative Modeling持续生成建模

五十三、 元优化与超参数优化

123. 超参数优化算法

123.1 黑盒优化

• Black-box Optimization黑盒优化

• Random Search随机搜索

• Grid Search网格搜索

• Bayesian Optimization贝叶斯优化

• Tree-structured Parzen Estimator树结构Parzen估计器

• Sequential Model-based Optimization序列模型优化

• Hyperband超频带

• BOHB贝叶斯优化超频带

123.2 基于梯度的优化

• Gradient-based Hyperparameter Optimization基于梯度的超参数优化

• Hypergradient Descent超梯度下降

• Reverse-mode Automatic Differentiation反向模式自动微分

• Forward-mode Automatic Differentiation前向模式自动微分

• Implicit Differentiation隐式微分

• Neumann Series诺依曼级数

• Approximate Gradient Approximation近似梯度近似

• Differentiable Hyperparameter Optimization可微超参数优化

124. 学习率调度策略

124.1 固定策略

• Fixed Learning Rate固定学习率

• Step Decay步长衰减

• Exponential Decay指数衰减

• Polynomial Decay多项式衰减

• Inverse Time Decay逆时间衰减

• Cosine Decay余弦衰减

• Linear Decay线性衰减

• Sqrt Decay平方根衰减

124.2 自适应策略

• Adaptive Learning Rate自适应学习率

• AdaGrad自适应梯度

• RMSProp均方根传播

• Adam自适应矩估计

• AdaDelta自适应增量

• Nadam Nesterov加速自适应矩估计

• AdamW带权重衰减的Adam

• LAMB分层自适应矩估计

五十四、 强化学习优化算法

125. 策略优化方法

125.1 策略梯度

• Policy Gradient策略梯度

• REINFORCE增强学习

• Actor-Critic演员-评论家

• Advantage Actor-Critic优势演员-评论家

• Trust Region Policy Optimization信赖域策略优化

• Proximal Policy Optimization近端策略优化

• Soft Actor-Critic软演员-评论家

• Deterministic Policy Gradient确定性策略梯度

125.2 值函数方法

• Value-based Methods基于值的方法

• Q-Learning Q学习

• Deep Q-Network深度Q网络

• Double DQN双DQN

• Dueling DQN对决DQN

• Prioritized Experience Replay优先级经验回放

• Distributional RL分布强化学习

• Rainbow彩虹方法

126. 探索策略

126.1 探索方法

• Exploration Strategies探索策略

• ε-Greedy ε-贪婪

• Boltzmann Exploration玻尔兹曼探索

• Upper Confidence Bound上置信界

• Thompson Sampling汤普森采样

• Intrinsic Motivation内在动机

• Curiosity-driven Exploration好奇心驱动探索

• Random Network Distillation随机网络蒸馏

126.2 课程学习

• Curriculum Learning课程学习

• Self-paced Learning自定进度学习

• Teacher-student Curriculum师生课程

• Goal-conditioned Curriculum目标条件课程

• Automatic Curriculum Learning自动课程学习

• Reverse Curriculum Generation逆向课程生成

• Adversarial Curriculum Learning对抗课程学习

• Progressive Neural Networks for Curriculum渐进神经网络课程

五十五、 自监督与无监督预训练

127. 掩码语言建模

127.1 掩码策略

• Masked Language Modeling掩码语言建模

• BERT-style Masking BERT风格掩码

• Span Masking跨度掩码

• Dynamic Masking动态掩码

• Whole Word Masking全词掩码

• Sentence Permutation句子置换

• Document Rotation文档旋转

• Text Infilling文本填充

127.2 替代预测任务

• Alternative Prediction Tasks替代预测任务

• Next Sentence Prediction下一句预测

• Sentence Order Prediction句子顺序预测

• Replaced Token Detection替换令牌检测

• Deleted Token Detection删除令牌检测

• Permutation Language Modeling置换语言建模

• Electra-style Pre-training Electra风格预训练

• AlBert交替BERT

128. 对比学习预训练

128.1 对比方法

• Contrastive Learning对比学习

• SimCLR简单对比学习

• MoCo动量对比

• BYOL引导你自己的潜在

• SwAV交换分配视图

• Barlow Twins巴洛孪生

• VicReg方差-不变性-协方差正则化

• SimSiam简单孪生

128.2 自监督目标

• Self-supervised Objectives自监督目标

• InfoNCE信息噪声对比估计

• Triplet Loss三元组损失

• N-pair Loss N对损失

• Margin-based Loss基于间隔的损失

• Circle Loss圆形损失

• SupCon监督对比损失

• ProtoNCE原型噪声对比估计

五十六、 多任务学习与迁移学习

129. 多任务学习架构

129.1 参数共享

• Multi-task Learning Architectures多任务学习架构

• Hard Parameter Sharing硬参数共享

• Soft Parameter Sharing软参数共享

• Task-specific Layers任务特定层

• Shared Bottleneck共享瓶颈

• Cross-stitch Networks交叉缝合网络

• Sluice Networks水闸网络

• Multi-gate Mixture-of-Experts多门混合专家

129.2 任务平衡

• Task Balancing任务平衡

• Uncertainty Weighting不确定性加权

• GradNorm梯度归一化

• Dynamic Weight Averaging动态权重平均

• Pareto Optimality帕累托最优

• Multiple Gradient Descent多梯度下降

• Conflict-averse Gradient Descent避免冲突梯度下降

• Gradient Surgery梯度外科

130. 迁移学习策略

130.1 迁移方法

• Transfer Learning Strategies迁移学习策略

• Feature Extraction特征提取

• Fine-tuning微调

• Layer-wise Fine-tuning逐层微调

• Progressive Fine-tuning渐进微调

• Discriminative Fine-tuning判别微调

• Slanted Triangular Learning Rates倾斜三角学习率

• Differential Learning Rates差分学习率

130.2 领域适应

• Domain Adaptation领域适应

• Domain Adversarial Training领域对抗训练

• Domain Separation Networks领域分离网络

• Maximum Mean Discrepancy最大均值差异

• CORAL相关对齐

• MMD Maximum Mean Discrepancy最大均值差异

• DANN域对抗神经网络

• ADDA对抗判别领域适应

五十七、 几何深度学习与图神经网络

131. 图Transformer

131.1 图注意力网络

• Graph Attention Networks图注意力网络

• Graph Transformer图Transformer

• Graphormer图转换器

• Graph-BERT图BERT

• Graph-based Transformer基于图的Transformer

• Positional Encoding for Graphs图位置编码

• Structural Encoding for Graphs图结构编码

• Edge Encoding边编码

131.2 图神经网络变体

• Graph Neural Network Variants图神经网络变体

• Graph Convolutional Networks图卷积网络

• GraphSAGE图采样聚合

• Graph Isomorphism Network图同构网络

• Message Passing Neural Networks消息传递神经网络

• Differentiable Pooling可微分池化

• Graph U-Nets图U型网络

• Graph Autoencoders图自编码器

132. 几何等变网络

132.1 等变架构

• Equivariant Architectures等变架构

• Steerable CNNs可转向卷积神经网络

• Spherical CNNs球面卷积神经网络

• Group Equivariant CNNs群等变卷积神经网络

• Tensor Field Networks张量场网络

• SE(3)-Transformers SE(3)变换器

• Equivariant Attention等变注意力

• Lie Transformer李变换器

132.2 几何表示学习

• Geometric Representation Learning几何表示学习

• Point Cloud Processing点云处理

• 3D Graph Networks三维图网络

• Geometric Deep Learning几何深度学习

• Manifold Learning流形学习

• Hyperbolic Neural Networks双曲神经网络

• Spherical Neural Networks球面神经网络

• Geometric Algebra Networks几何代数网络

五十八、 时间序列预测与序列建模

133. 时序Transformer

133.1 时序注意力

• Temporal Attention时序注意力

• Informer时序预测Transformer

• Autoformer自相关Transformer

• FEDformer频率增强分解Transformer

• Pyraformer金字塔Transformer

• LogSparse Transformer对数稀疏Transformer

• Reformer for Time Series时序Reformer

• Longformer for Time Series时序Longformer

133.2 时序位置编码

• Temporal Positional Encoding时序位置编码

• Learnable Positional Encoding可学习位置编码

• Fixed Positional Encoding固定位置编码

• Relative Positional Encoding相对位置编码

• Rotary Positional Encoding旋转位置编码

• Time2Vec时间向量

• Periodic Encoding周期性编码

• Hierarchical Encoding层次编码

134. 多变量时序

134.1 多变量方法

• Multivariate Time Series多变量时间序列

• Cross-variable Attention跨变量注意力

• Variable Selection Network变量选择网络

• Multivariate Transformer多变量Transformer

• Temporal Fusion Transformer时序融合Transformer

• Channel-wise Attention通道注意力

• Variable-wise Attention变量注意力

• Cross-correlation Attention互相关注意力

134.2 频域方法

• Frequency Domain Methods频域方法

• Fourier Transform傅里叶变换

• Wavelet Transform小波变换

• Spectral Attention谱注意力

• Frequency-enhanced Networks频率增强网络

• Multi-scale Frequency Analysis多尺度频率分析

• Time-Frequency Analysis时频分析

• Spectral Graph Convolution谱图卷积

五十九、 多模态融合与跨模态学习

135. 多模态Transformer

135.1 模态融合

• Multimodal Fusion多模态融合

• Early Fusion早期融合

• Late Fusion晚期融合

• Hybrid Fusion混合融合

• Cross-modal Attention跨模态注意力

• Co-attention协同注意力

• Self-attention across Modalities跨模态自注意力

• Modality-specific Encoding模态特定编码

135.2 多模态架构

• Multimodal Architectures多模态架构

• ViT Vision Transformer视觉Transformer

• CLIP对比语言-图像预训练

• DALL-E文本到图像生成

• Flamingo多模态少样本学习

• Perceiver通用感知器

• Unified Transformer统一Transformer

• Multimodal BERT多模态BERT

136. 跨模态对齐

136.1 对齐方法

• Cross-modal Alignment跨模态对齐

• Contrastive Alignment对比对齐

• Cycle Consistency循环一致性

• Cross-modal Retrieval跨模态检索

• Modality Translation模态转换

• Shared Representation Learning共享表示学习

• Modality-invariant Features模态不变特征

• Cross-modal Generation跨模态生成

136.2 多模态预训练

• Multimodal Pre-training多模态预训练

• Masked Multimodal Modeling掩码多模态建模

• Cross-modal Prediction跨模态预测

• Multimodal Contrastive Learning多模态对比学习

• Multitask Multimodal Pre-training多任务多模态预训练

• Self-supervised Multimodal Learning自监督多模态学习

• Weakly-supervised Alignment弱监督对齐

• Unsupervised Alignment无监督对齐

六十、 推理优化编译器技术

137. 计算图编译优化

137.1 图级优化

• Graph-level Optimizations图级优化

• Common Subexpression Elimination公共子表达式消除

• Dead Code Elimination死代码消除

• Constant Folding常量折叠

• Operator Fusion算子融合

• Layout Optimization布局优化

• Memory Optimization内存优化

• Kernel Fusion内核融合

137.2 中间表示优化

• Intermediate Representation Optimization中间表示优化

• LLVM IR Optimization LLVM中间表示优化

• MLIR Optimization MLIR优化

• TensorIR Optimization张量中间表示优化

• Relay IR Optimization Relay中间表示优化

• XLA HLO Optimization XLA高级优化器优化

• TVM IR Optimization TVM中间表示优化

• Triton IR Optimization Triton中间表示优化

138. 自动代码生成

138.1 内核生成

• Kernel Generation内核生成

• Template-based Code Generation基于模板的代码生成

• Auto-tuning自动调优

• Polyhedral Compilation多面体编译

• Halide-based Code Generation基于Halide的代码生成

• TVM Auto-scheduler TVM自动调度器

• Ansor Ansor自动调度

• FlexTensor FlexTensor张量调度

138.2 硬件特定优化

• Hardware-specific Optimizations硬件特定优化

• GPU-specific Optimizations GPU特定优化

• CPU-specific Optimizations CPU特定优化

• TPU-specific Optimizations TPU特定优化

• NPU-specific Optimizations NPU特定优化

• FPGA-specific Optimizations FPGA特定优化

• ASIC-specific Optimizations ASIC特定优化

• Cross-platform Optimization跨平台优化

六十一、 稀疏化与激活稀疏计算

139. 结构化稀疏算法

139.1 权重稀疏化

• Structured Weight Sparsification结构化权重稀疏化

• Block-wise Sparsity分块稀疏

• N:M Sparsity N:M稀疏模式

• 2:4 Sparsity 2:4稀疏

• Channel-wise Sparsity通道稀疏

• Layer-wise Sparsity层稀疏

• Structured Pruning结构化剪枝

• Group Lasso稀疏化组套索

139.2 模式稀疏

• Pattern-based Sparsity基于模式的稀疏

• Checkerboard Sparsity棋盘稀疏

• Diagonal Sparsity对角稀疏

• Random Structured Sparsity随机结构化稀疏

• Learned Sparsity Patterns学习稀疏模式

• Dynamic Sparsity Patterns动态稀疏模式

• Task-aware Sparsity任务感知稀疏

• Hardware-aware Sparsity硬件感知稀疏

140. 非结构化稀疏优化

140.1 动态稀疏

• Dynamic Sparsity动态稀疏

• Activation Sparsity激活稀疏

• Input-dependent Sparsity输入相关稀疏

• Runtime Sparsity Detection运行时稀疏检测

• Gating Mechanisms门控机制

• Sparse Attention稀疏注意力

• Mixture of Experts稀疏激活

• Top-k Routing Top-k路由

140.2 稀疏计算加速

• Sparse Computation Acceleration稀疏计算加速

• Sparse Matrix Multiplication稀疏矩阵乘法

• Sparse Tensor Cores稀疏张量核心

• Sparse Convolution稀疏卷积

• Sparse Transformer Inference稀疏Transformer推理

• Zero-skipping Algorithms零跳过算法

• Compressed Sparse Row压缩稀疏行格式

• Compressed Sparse Column压缩稀疏列格式

六十二、 动态计算与自适应推理

141. 条件计算机制

141.1 动态深度

• Dynamic Depth动态深度

• Early Exit早期退出

• Adaptive Depth自适应深度

• Depth-adaptive Inference深度自适应推理

• Multi-scale Exit多尺度退出

• Confidence-based Early Exit基于置信度的早期退出

• Uncertainty-aware Exit不确定性感知退出

• Layer-wise Dropout层间丢弃

141.2 动态宽度

• Dynamic Width动态宽度

• Width-adaptive Networks宽度自适应网络

• Channel Gating通道门控

• Feature Gating特征门控

• Dynamic Channel Selection动态通道选择

• Width Multiplier宽度乘数

• Slimmable Networks可瘦身网络

• Runtime Width Adjustment运行时宽度调整

142. 输入自适应计算

142.1 复杂度预测

• Input-adaptive Computation输入自适应计算

• Complexity Prediction复杂度预测

• Difficulty Estimation难度估计

• Content-aware Processing内容感知处理

• Resolution-adaptive Processing分辨率自适应处理

• Patch-based Adaptive Processing基于图像块的自适应处理

• Token-based Adaptive Processing基于令牌的自适应处理

• Sequence-length Adaptive Processing序列长度自适应处理

142.2 动态路由

• Dynamic Routing动态路由

• Mixture of Experts Routing混合专家路由

• Learned Routing学习路由

• Gumbel-Softmax Routing Gumbel-Softmax路由

• Top-k Expert Selection Top-k专家选择

• Load-balanced Routing负载均衡路由

• Capacity-aware Routing容量感知路由

• Sparse Routing稀疏路由

六十三、 模型蒸馏与知识传递

143. 响应蒸馏方法

143.1 软标签蒸馏

• Response Distillation响应蒸馏

• Soft Target Distillation软目标蒸馏

• Temperature Scaling蒸馏温度缩放

• Knowledge Distillation知识蒸馏

• Teacher-Student Distillation师生蒸馏

• Online Distillation在线蒸馏

• Offline Distillation离线蒸馏

• Self-distillation自蒸馏

143.2 关系蒸馏

• Relational Knowledge Distillation关系知识蒸馏

• Attention Distillation注意力蒸馏

• Hint-based Distillation基于提示的蒸馏

• Feature-based Distillation基于特征的蒸馏

• Correlation Distillation相关性蒸馏

• Similarity-preserving Distillation相似性保持蒸馏

• Mutual Information Distillation互信息蒸馏

• Contrastive Distillation对比蒸馏

144. 结构化蒸馏

144.1 架构感知蒸馏

• Architecture-aware Distillation架构感知蒸馏

• Layer-wise Distillation层间蒸馏

• Block-wise Distillation块间蒸馏

• Attention Map Distillation注意力图蒸馏

• Hidden State Distillation隐藏状态蒸馏

• Intermediate Feature Distillation中间特征蒸馏

• Gram Matrix Distillation格拉姆矩阵蒸馏

• Distribution Distillation分布蒸馏

144.2 数据高效蒸馏

• Data-efficient Distillation数据高效蒸馏

• Unlabeled Data Distillation无标签数据蒸馏

• Synthetic Data Distillation合成数据蒸馏

• Adversarial Distillation对抗蒸馏

• Mixup Distillation Mixup蒸馏

• Curriculum Distillation课程蒸馏

• Multi-teacher Distillation多教师蒸馏

• Cross-modal Distillation跨模态蒸馏

六十四、 注意力机制创新与变体

145. 高效注意力设计

145.1 线性复杂度注意力

• Linear-complexity Attention线性复杂度注意力

• Linformer线性Transformer

• Performer性能型Transformer

• Linear Transformer线性Transformer

• Synthesizer合成器注意力

• Sparse Transformer稀疏Transformer

• Longformer长文本Transformer

• BigBird大型鸟注意力

145.2 局部注意力机制

• Local Attention Mechanisms局部注意力机制

• Sliding Window Attention滑动窗口注意力

• Dilated Attention空洞注意力

• Block Local Attention分块局部注意力

• Strided Attention跨步注意力

• Random Local Attention随机局部注意力

• Compressive Attention压缩注意力

• Memory-compressed Attention记忆压缩注意力

146. 注意力模式创新

146.1 内容感知注意力

• Content-aware Attention内容感知注意力

• Dynamic Attention动态注意力

• Conditional Attention条件注意力

• Input-dependent Attention输入相关注意力

• Gated Attention门控注意力

• Multi-scale Attention多尺度注意力

• Hierarchical Attention层次注意力

• Sparse Attention Patterns稀疏注意力模式

146.2 结构增强注意力

• Structure-enhanced Attention结构增强注意力

• Syntax-aware Attention句法感知注意力

• Dependency-based Attention基于依存关系的注意力

• Graph Attention图注意力

• Tree-structured Attention树结构注意力

• Position-aware Attention位置感知注意力

• Temporal Attention时序注意力

• Spatial Attention空间注意力

六十五、 位置编码创新方案

147. 相对位置编码

147.1 相对距离编码

• Relative Position Encoding相对位置编码

• Transformer-XL相对位置编码

• T5 Relative Bias T5相对偏置

• DeBERTa相对位置编码

• Rotary Position Embedding旋转位置嵌入

• Complex Position Embedding复数位置嵌入

• XPos扩展旋转位置编码

• ALiBi注意力线性偏置

147.2 可学习位置编码

• Learnable Positional Encoding可学习位置编码

• Absolute Position Embedding绝对位置嵌入

• Sinusoidal Position Encoding正弦位置编码

• Learned Relative Position Encoding可学习相对位置编码

• Conditional Position Encoding条件位置编码

• Hierarchical Position Encoding层次位置编码

• Cross-attention Position Encoding交叉注意力位置编码

• Task-specific Position Encoding任务特定位置编码

148. 长度外推方法

148.1 外推技术

• Length Extrapolation长度外推

• Position Interpolation位置插值

• NTK-aware Scaled RoPE NTK感知缩放旋转位置编码

• YaRN另一个RoPE扩展

• PI位置插值

• Dynamic NTK动态NTK

• StreamingLLM流式LLM位置编码

• Attention Sink注意力汇

148.2 相对位置外推

• Relative Position Extrapolation相对位置外推

• Train Short, Test Long训练短测试长

• Progressive Training渐进训练

• Curriculum Position Encoding课程位置编码

• Random Position Training随机位置训练

• Sliding Window Training滑动窗口训练

• Chunk-wise Training分块训练

• Recurrent Position Encoding循环位置编码

六十六、 归一化与标准化创新

149. 归一化层变体

149.1 层归一化改进

• Layer Normalization Variants层归一化变体

• RMSNorm均方根归一化

• ScaleNorm缩放归一化

• PowerNorm幂归一化

• Adaptive Layer Norm自适应层归一化

• Conditional Layer Norm条件层归一化

• Instance Normalization实例归一化

• Group Normalization组归一化

149.2 激活归一化

• Activation Normalization激活归一化

• Batch Normalization批归一化

• Weight Normalization权重归一化

• Spectral Normalization谱归一化

• Filter Response Normalization滤波器响应归一化

• EvoNorm进化归一化

• Switchable Normalization可切换归一化

• Dynamic Normalization动态归一化

150. 归一化位置优化

150.1 预归一化架构

• Pre-normalization Architectures预归一化架构

• Pre-LN Transformer预层归一化Transformer

• Post-LN Transformer后层归一化Transformer

• Sandwich Normalization三明治归一化

• DeepNorm深度归一化

• Admin自适应模型初始化

• T-Fixup T初始化修复

• ReZero重新归零

150.2 归一化稳定性

• Normalization Stability归一化稳定性

• Gradient Clipping梯度裁剪

• Warmup Strategies预热策略

• Learning Rate Scheduling学习率调度

• Weight Initialization权重初始化

• Residual Connections残差连接

• Skip Connections跳跃连接

• Highway Connections高速公路连接

六十七、 初始化与优化策略

151. 权重初始化方法

151.1 现代初始化策略

• Weight Initialization Methods权重初始化方法

• Xavier Initialization Xavier初始化

• He Initialization He初始化

• LeCun Initialization LeCun初始化

• Orthogonal Initialization正交初始化

• Sparse Initialization稀疏初始化

• Delta Orthogonal Initialization Delta正交初始化

• T-Fixup Initialization T-Fixup初始化

151.2 自适应初始化

• Adaptive Initialization自适应初始化

• Data-dependent Initialization数据相关初始化

• Layer-sequential Unit-variance层序单位方差

• Meta-initialization元初始化

• Learned Initialization学习初始化

• Pretrained Initialization预训练初始化

• Transfer Initialization迁移初始化

• Curriculum Initialization课程初始化

152. 优化器创新

152.1 自适应优化器

• Adaptive Optimizers自适应优化器

• Adam优化器

• AdamW带权重衰减的Adam

• AdaGrad自适应梯度

• RMSProp均方根传播

• AdaDelta自适应增量

• Nadam Nesterov加速自适应矩估计

• RAdam矫正Adam

152.2 二阶优化方法

• Second-order Optimization Methods二阶优化方法

• Natural Gradient自然梯度

• K-FAC克罗内克因子近似曲率

• Shampoo洗发水优化器

• Sophia二阶优化器

• Gauss-Newton高斯-牛顿法

• L-BFGS有限内存BFGS

• Conjugate Gradient共轭梯度

六十八、 正则化与泛化技术

153. 结构化正则化

153.1 权重正则化

• Weight Regularization权重正则化

• L1 Regularization L1正则化

• L2 Regularization L2正则化

• Elastic Net弹性网络

• Weight Decay权重衰减

• Max-norm Constraints最大范数约束

• Orthogonal Regularization正交正则化

• Spectral Regularization谱正则化

153.2 激活正则化

• Activation Regularization激活正则化

• Dropout丢弃

• Spatial Dropout空间丢弃

• DropBlock丢弃块

• Stochastic Depth随机深度

• LayerDrop层丢弃

• Shake-Shake正则化

• ShakeDrop正则化

154. 数据增强正则化

154.1 输入增强

• Input Augmentation输入增强

• Mixup数据混合

• Cutmix剪接混合

• RandAugment随机增强

• AutoAugment自动增强

• AugMix增强混合

• TrivialAugment简单增强

• Random Erasing随机擦除

154.2 特征空间增强

• Feature Space Augmentation特征空间增强

• Manifold Mixup流形混合

• Feature Mixup特征混合

• Adversarial Training对抗训练

• Virtual Adversarial Training虚拟对抗训练

• Information Bottleneck信息瓶颈

• Contrastive Learning对比学习

• Self-supervised Learning自监督学习

六十九、 损失函数设计与优化

155. 分类损失函数

155.1 交叉熵变体

• Classification Loss Functions分类损失函数

• Cross-Entropy Loss交叉熵损失

• Label Smoothing标签平滑

• Focal Loss焦点损失

• Class-balanced Loss类别平衡损失

• Asymmetric Loss非对称损失

• Symmetric Cross Entropy对称交叉熵

• Generalized Cross Entropy广义交叉熵

155.2 边界损失

• Margin-based Losses基于间隔的损失

• Triplet Loss三元组损失

• Contrastive Loss对比损失

• Center Loss中心损失

• ArcFace损失

• CosFace损失

• SphereFace损失

• Additive Angular Margin Loss加性角度间隔损失

156. 回归与排序损失

156.1 回归损失

• Regression Loss Functions回归损失函数

• Mean Squared Error均方误差

• Mean Absolute Error平均绝对误差

• Huber Loss Huber损失

• Log-Cosh Loss对数双曲余弦损失

• Quantile Loss分位数损失

• Poisson Loss泊松损失

• Tweedie Loss Tweedie损失

156.2 排序损失

• Ranking Loss Functions排序损失函数

• Pairwise Ranking Loss成对排序损失

• Listwise Ranking Loss列表排序损失

• ApproxNDCG近似归一化折损累积增益

• LambdaRank Lambda排序

• LambdaMART Lambda梯度提升树

• SoftRank软排序

• ListNet列表网络损失

七十、 评估指标与基准测试

157. 语言模型评估

157.1 内在评估指标

• Intrinsic Evaluation Metrics内在评估指标

• Perplexity困惑度

• Bits-per-character每字符比特数

• Cross-entropy交叉熵

• Token-level Accuracy令牌级准确率

• Next-word Prediction Accuracy下一词预测准确率

• Language Modeling Score语言建模分数

• Coherence Score连贯性分数

• Diversity Score多样性分数

157.2 外在评估指标

• Extrinsic Evaluation Metrics外在评估指标

• Task-specific Accuracy任务特定准确率

• BLEU Score BLEU分数

• ROUGE Score ROUGE分数

• METEOR Score METEOR分数

• CIDEr Score CIDEr分数

• SPICE Score SPICE分数

• BERTScore BERT分数

• BLEURT BLEURT评估

158. 推理效率评估

158.1 性能指标

• Efficiency Metrics效率指标

• Latency延迟

• Throughput吞吐量

• Memory Usage内存使用

• FLOPs浮点运算次数

• MACs乘加运算次数

• Energy Consumption能量消耗

• Carbon Emissions碳排放

• Cost per Inference每次推理成本

158.2 基准测试套件

• Benchmark Suites基准测试套件

• MLPerf Inference MLPerf推理基准

• AI Benchmark AI基准

• DeepBench深度基准

• Fathom基准

• DAWNBench黎明基准

• EEMBC Embedded Benchmark嵌入式基准

• SPEC ACCEL SPEC加速基准

七十一、 强化学习推理优化

159. 推理策略学习

159.1 自适应推理策略

• Adaptive Inference Policies自适应推理策略

• Reinforcement Learning for Inference推理强化学习

• Policy Gradient for Inference策略梯度推理优化

• Q-learning for Computation Budgeting计算预算Q学习

• Actor-Critic for Dynamic Computation动态计算演员-评论家

• Monte Carlo Tree Search for Exit Decisions退出决策蒙特卡洛树搜索

• Bandit Algorithms for Early Exit早期退出多臂赌博机算法

• Contextual Bandits for Adaptive Computation上下文赌博机自适应计算

159.2 资源分配学习

• Learned Resource Allocation学习资源分配

• Dynamic Computation Allocation动态计算分配

• Attention Allocation Learning注意力分配学习

• Layer Allocation Policies层分配策略

• Token Selection Policies令牌选择策略

• Budget-aware Inference预算感知推理

• Quality-Speed Trade-off Learning质量-速度权衡学习

• Pareto-optimal Policy Learning帕累托最优策略学习

160. 推理过程优化

160.1 决策序列优化

• Decision Sequence Optimization决策序列优化

• Markov Decision Processes for Inference推理马尔可夫决策过程

• Partially Observable MDPs部分可观测MDP

• Hierarchical Reinforcement Learning层次强化学习

• Option Discovery for Inference推理选项发现

• Skill Learning for Computation计算技能学习

• Curriculum Learning for Inference推理课程学习

• Meta-learning Inference Policies元学习推理策略

160.2 奖励设计

• Reward Design for Inference推理奖励设计

• Accuracy-Reward Mapping准确率-奖励映射

• Latency-Reward Formulation延迟-奖励公式

• Multi-objective Reward Functions多目标奖励函数

• Sparse Reward Handling稀疏奖励处理

• Intrinsic Reward Design内在奖励设计

• Curiosity-driven Exploration好奇心驱动探索

• Self-play for Policy Improvement自我对弈策略改进

七十二、 神经架构搜索推理优化

161. NAS推理专用架构

161.1 推理感知架构搜索

• Inference-aware Neural Architecture Search推理感知神经架构搜索

• Hardware-aware NAS硬件感知NAS

• Latency-predictive NAS延迟预测NAS

• Energy-aware NAS能量感知NAS

• Memory-constrained NAS内存约束NAS

• Accuracy-Latency Pareto Search准确率-延迟帕累托搜索

• Multi-objective NAS多目标NAS

• Once-for-all Networks一次训练多架构网络

161.2 推理子网络搜索

• Inference Subnetwork Search推理子网络搜索

• Slimmable Network Search可瘦身网络搜索

• Dynamic Network Search动态网络搜索

• Supernet Training超网训练

• Weight Sharing for NAS NAS权重共享

• Differentiable Architecture Search可微架构搜索

• Progressive NAS渐进NAS

• Efficient NAS高效NAS

162. 自动化推理优化

162.1 自动化超参数优化

• Automated Hyperparameter Optimization自动化超参数优化

• Bayesian Optimization for Inference推理贝叶斯优化

• Hyperband for Inference Inference超频带

• Population-based Training基于种群的训练

• Gradient-based Hyperparameter Optimization基于梯度的超参数优化

• Meta-learning Hyperparameters元学习超参数

• Transfer Learning for Hyperparameters超参数迁移学习

• Multi-fidelity Optimization多保真度优化

162.2 自动化剪枝量化

• Automated Pruning and Quantization自动化剪枝量化

• Differentiable Pruning可微剪枝

• Learned Thresholds学习阈值

• Automated Bit-width Selection自动比特宽度选择

• Mixed-precision NAS混合精度NAS

• Compression-aware NAS压缩感知NAS

• Joint Architecture-Compression Search联合架构-压缩搜索

• Pareto-optimal Compression帕累托最优压缩

七十三、 模型监控与调试

163. 推理监控系统

163.1 实时性能监控

• Real-time Performance Monitoring实时性能监控

• Latency Monitoring延迟监控

• Throughput Monitoring吞吐量监控

• Memory Usage Tracking内存使用跟踪

• GPU Utilization Monitoring GPU利用率监控

• Power Consumption Monitoring功耗监控

• Temperature Monitoring温度监控

• Error Rate Monitoring错误率监控

163.2 质量监控

• Quality Monitoring质量监控

• Accuracy Drift Detection准确率漂移检测

• Distribution Shift Detection分布偏移检测

• Out-of-distribution Detection分布外检测

• Anomaly Detection异常检测

• Concept Drift Detection概念漂移检测

• Data Drift Detection数据漂移检测

• Model Degradation Detection模型退化检测

164. 调试与诊断

164.1 错误诊断

• Error Diagnosis错误诊断

• Root Cause Analysis根本原因分析

• Failure Mode Analysis故障模式分析

• Performance Bottleneck Identification性能瓶颈识别

• Memory Leak Detection内存泄漏检测

• Deadlock Detection死锁检测

• Race Condition Detection竞争条件检测

• Resource Contention Analysis资源竞争分析

164.2 可视化调试

• Visualization for Debugging可视化调试

• Attention Visualization注意力可视化

• Gradient Flow Visualization梯度流可视化

• Activation Visualization激活可视化

• Feature Map Visualization特征图可视化

• Decision Boundary Visualization决策边界可视化

• Confidence Visualization置信度可视化

• Error Analysis Visualization错误分析可视化

七十四、 自动微分与梯度计算

165. 自动微分系统

165.1 微分算法

• Automatic Differentiation Algorithms自动微分算法

• Forward-mode Automatic Differentiation前向模式自动微分

• Reverse-mode Automatic Differentiation反向模式自动微分

• Hybrid Automatic Differentiation混合自动微分

• Checkpointing for AD自动微分检查点

• Jacobian-Vector Products雅可比向量积

• Vector-Jacobian Products向量雅可比积

• Hessian-Vector Products海森向量积

165.2 微分实现

• AD Implementations自动微分实现

• Tape-based Automatic Differentiation基于磁带的自动微分

• Source-code Transformation源代码转换

• Operator Overloading算子重载

• Dual Numbers对偶数

• Symbolic Differentiation符号微分

• Numerical Differentiation数值微分

• Manual Differentiation手动微分

166. 梯度优化技术

166.1 梯度计算优化

• Gradient Computation Optimization梯度计算优化

• Gradient Checkpointing梯度检查点

• Recomputation Strategies重计算策略

• Memory-efficient Backpropagation内存高效反向传播

• In-place Operations原地操作

• Gradient Compression梯度压缩

• Sparse Gradient Computation稀疏梯度计算

• Approximate Gradient Computation近似梯度计算

166.2 高阶导数

• Higher-order Derivatives高阶导数

• Hessian Computation海森矩阵计算

• Jacobian Computation雅可比矩阵计算

• Third-order Derivatives三阶导数

• Implicit Differentiation隐式微分

• Hypergradient Computation超梯度计算

• Meta-gradient Computation元梯度计算

• Curvature Information曲率信息

七十五、 张量计算与线性代数优化

167. 矩阵运算加速

167.1 矩阵乘法优化

• Matrix Multiplication Optimization矩阵乘法优化

• Strassen Algorithm斯特拉森算法

• Coppersmith-Winograd Algorithm科珀史密斯-维诺格拉德算法

• Tiled Matrix Multiplication分块矩阵乘法

• Cache-aware Algorithms缓存感知算法

• Register-aware Algorithms寄存器感知算法

• SIMD Optimization SIMD优化

• Fused Multiply-Add融合乘加

167.2 特殊矩阵运算

• Specialized Matrix Operations特殊矩阵运算

• Sparse Matrix Multiplication稀疏矩阵乘法

• Banded Matrix Operations带状矩阵运算

• Triangular Matrix Operations三角矩阵运算

• Symmetric Matrix Operations对称矩阵运算

• Toeplitz Matrix Operations托普利茨矩阵运算

• Circulant Matrix Operations循环矩阵运算

• Vandermonde Matrix Operations范德蒙矩阵运算

168. 张量运算框架

168.1 张量分解

• Tensor Decomposition张量分解

• CP Decomposition CP分解

• Tucker Decomposition塔克分解

• Tensor Train Decomposition张量链分解

• Tensor Ring Decomposition张量环分解

• Hierarchical Tucker Decomposition层次塔克分解

• Block Term Decomposition块项分解

• PARAFAC平行因子分析

168.2 张量压缩

• Tensor Compression张量压缩

• Quantized Tensor Operations量化张量运算

• Low-rank Tensor Approximation低秩张量近似

• Tensor Sketching张量素描

• Tensor Hashing张量哈希

• Tensor Quantization张量化化

• Tensor Pruning张量剪枝

• Tensor Sparsification张量稀疏化

七十六、 数值稳定性与精度控制

169. 数值稳定性方法

169.1 稳定性优化

• Numerical Stability Optimization数值稳定性优化

• Mixed Precision Training混合精度训练

• Gradient Scaling梯度缩放

• Loss Scaling损失缩放

• Dynamic Loss Scaling动态损失缩放

• Automatic Mixed Precision自动混合精度

• BFloat16 Optimization BFloat16优化

• FP8 Training FP8训练

169.2 误差控制

• Error Control误差控制

• Rounding Error Analysis舍入误差分析

• Truncation Error Analysis截断误差分析

• Propagation Error Analysis传播误差分析

• Condition Number Analysis条件数分析

• Numerical Range Analysis数值范围分析

• Overflow Prevention溢出预防

• Underflow Prevention下溢预防

170. 高精度计算

170.1 高精度算法

• High-precision Algorithms高精度算法

• Double Precision双精度

• Quadruple Precision四倍精度

• Arbitrary Precision任意精度

• Multiple Precision多精度

• Error-correcting Codes纠错码

• Residual Number Systems剩余数系统

• Logarithmic Number Systems对数数系统

170.2 稳定性增强

• Stability Enhancement稳定性增强

• Jacobi Preconditioning雅可比预处理

• Ill-conditioned Problem Handling病态问题处理

• Regularization for Stability稳定性正则化

• Numerical Differentiation稳定性数值微分

• Stable Softmax稳定Softmax

• Stable LayerNorm稳定层归一化

• Stable Attention稳定注意力

七十七、 概率推理与不确定性传播

171. 贝叶斯推理方法

171.1 变分推理

• Variational Inference变分推理

• Mean Field Variational Inference平均场变分推理

• Stochastic Variational Inference随机变分推理

• Amortized Variational Inference分摊变分推理

• Normalizing Flows正规化流

• Variational Autoencoders变分自编码器

• Bayesian Neural Networks贝叶斯神经网络

• Monte Carlo Dropout蒙特卡洛丢弃

171.2 采样方法

• Sampling Methods采样方法

• Markov Chain Monte Carlo马尔可夫链蒙特卡洛

• Hamiltonian Monte Carlo哈密顿蒙特卡洛

• No-U-Turn Sampler无U转采样器

• Stochastic Gradient Langevin Dynamics随机梯度朗之万动力学

• Sequential Monte Carlo序列蒙特卡洛

• Importance Sampling重要性采样

• Rejection Sampling拒绝采样

172. 不确定性量化

172.1 不确定性估计

• Uncertainty Estimation不确定性估计

• Epistemic Uncertainty认知不确定性

• Aleatoric Uncertainty偶然不确定性

• Predictive Uncertainty预测不确定性

• Model Uncertainty模型不确定性

• Data Uncertainty数据不确定性

• Ensemble Uncertainty集成不确定性

• Calibrated Uncertainty校准不确定性

172.2 不确定性传播

• Uncertainty Propagation不确定性传播

• Monte Carlo Propagation蒙特卡洛传播

• Taylor Expansion泰勒展开

• Unscented Transform无味变换

• Polynomial Chaos Expansion多项式混沌展开

• Gaussian Process Regression高斯过程回归

• Bayesian Linear Regression贝叶斯线性回归

• Probabilistic Circuits概率电路

七十八、 符号计算与代数系统

173. 符号微分系统

173.1 符号计算

• Symbolic Computation符号计算

• Computer Algebra Systems计算机代数系统

• Symbolic Differentiation符号微分

• Symbolic Integration符号积分

• Equation Solving方程求解

• Expression Simplification表达式简化

• Pattern Matching模式匹配

• Rule-based Transformation基于规则的变换

173.2 代数推理

• Algebraic Reasoning代数推理

• Theorem Proving定理证明

• Automated Reasoning自动推理

• Satisfiability Modulo Theories可满足性模理论

• Constraint Satisfaction约束满足

• Symbolic Execution符号执行

• Formal Verification形式验证

• Model Checking模型检查

174. 符号-神经结合

174.1 混合系统

• Neuro-symbolic Integration神经符号集成

• Differentiable Symbolic Reasoning可微符号推理

• Neural Theorem Provers神经定理证明器

• Symbolic Knowledge Injection符号知识注入

• Logic Tensor Networks逻辑张量网络

• Neural Logic Programming神经逻辑编程

• Differentiable Inductive Logic Programming可微归纳逻辑编程

• DeepProbLog深度概率逻辑

174.2 约束满足

• Constraint Satisfaction约束满足

• Differentiable Constraint Solving可微约束求解

• Neural Constraint Solvers神经约束求解器

• Satisfiability Neural Networks可满足性神经网络

• Logic Constraint Networks逻辑约束网络

• Constraint-based Regularization基于约束的正则化

• Soft Constraints软约束

• Hard Constraints硬约束

七十九、 图计算与关系推理

175. 图神经网络推理

175.1 图推理优化

• Graph Neural Network Inference图神经网络推理

• Subgraph Sampling子图采样

• Neighborhood Sampling邻居采样

• Graph Partitioning图划分

• Distributed Graph Inference分布式图推理

• Incremental Graph Updates增量图更新

• Dynamic Graph Inference动态图推理

• Streaming Graph Processing流图处理

175.2 大规模图处理

• Large-scale Graph Processing大规模图处理

• Graph Coarsening图粗化

• Graph Sparsification图稀疏化

• Graph Compression图压缩

• Approximate Graph Algorithms近似图算法

• Parallel Graph Processing并行图处理

• Out-of-core Graph Processing外存图处理

• Graph Database Integration图数据库集成

176. 关系推理算法

176.1 逻辑推理

• Logical Reasoning逻辑推理

• First-order Logic一阶逻辑

• Description Logic描述逻辑

• Horn Logic霍恩逻辑

• Datalog数据日志

• Answer Set Programming答案集编程

• Constraint Logic Programming约束逻辑编程

• Inductive Logic Programming归纳逻辑编程

176.2 关系学习

• Relational Learning关系学习

• Statistical Relational Learning统计关系学习

• Relational Neural Networks关系神经网络

• Graph Representation Learning图表示学习

• Knowledge Graph Embedding知识图谱嵌入

• Relational Database Mining关系数据库挖掘

• Link Prediction链接预测

• Relational Clustering关系聚类

八十、 代码生成与程序合成

177. 神经代码生成

177.1 代码推理

• Neural Code Generation神经代码生成

• Program Synthesis程序合成

• Code Completion代码补全

• Code Repair代码修复

• Code Translation代码翻译

• Code Summarization代码摘要

• Code Search代码搜索

• Code Clone Detection代码克隆检测

177.2 程序分析

• Program Analysis程序分析

• Abstract Syntax Trees抽象语法树

• Control Flow Graphs控制流图

• Data Flow Analysis数据流分析

• Program Dependence Graphs程序依赖图

• Symbolic Execution符号执行

• Concolic Execution具体符号执行

• Fuzzing模糊测试

178. 形式化方法集成

178.1 程序验证

• Program Verification程序验证

• Hoare Logic霍尔逻辑

• Separation Logic分离逻辑

• Model Checking模型检查

• Bounded Model Checking有界模型检查

• Abstract Interpretation抽象解释

• Symbolic Model Checking符号模型检查

• Runtime Verification运行时验证

178.2 测试生成

• Test Generation测试生成

• Unit Test Generation单元测试生成

• Integration Test Generation集成测试生成

• Property-based Testing基于属性的测试

• Fuzz Testing模糊测试

• Concolic Testing具体符号测试

• Mutation Testing变异测试

• Regression Test Generation回归测试生成

八十一、近似计算与随机算法

179. 近似计算技术

179.1 近似算术

• Approximate Arithmetic近似算术

• Approximate Adders近似加法器

• Approximate Multipliers近似乘法器

• Approximate Dividers近似除法器

• Inexact Computing不精确计算

• Stochastic Computing随机计算

• Logarithmic Number System对数数字系统

• Residue Number System余数数字系统

179.2 精度可调计算

• Precision-scalable Computing精度可调计算

• Dynamic Precision Scaling动态精度缩放

• Bit-width Optimization比特宽度优化

• Approximate Storage近似存储

• Approximate Memory近似内存

• Voltage Scaling for Approximation电压缩放近似

• Frequency Scaling for Approximation频率缩放近似

• Energy-quality Trade-offs能量-质量权衡

180. 随机算法

180.1 随机化算法

• Randomized Algorithms随机化算法

• Monte Carlo Methods蒙特卡洛方法

• Las Vegas Algorithms拉斯维加斯算法

• Random Sampling随机采样

• Random Projections随机投影

• Random Forests随机森林

• Randomized Linear Algebra随机线性代数

• Randomized Numerical Linear Algebra随机数值线性代数

180.2 概率数据结构

• Probabilistic Data Structures概率数据结构

• Bloom Filters布隆过滤器

• Count-Min Sketch计数最小草图

• HyperLogLog HyperLogLog基数估计

• MinHash最小哈希

• Locality-sensitive Hashing局部敏感哈希

• Skip Lists跳跃表

• Random Binary Search Trees随机二叉搜索树

八十二、生物启发与仿生优化算法

181. 进化算法

181.1 遗传算法变体

• Genetic Algorithm Variants遗传算法变体

• Steady-state Genetic Algorithms稳态遗传算法

• Generational Genetic Algorithms代际遗传算法

• Elitist Genetic Algorithms精英遗传算法

• Messy Genetic Algorithms messy遗传算法

• Adaptive Genetic Algorithms自适应遗传算法

• Parallel Genetic Algorithms并行遗传算法

• Distributed Genetic Algorithms分布式遗传算法

181.2 进化策略

• Evolution Strategies进化策略

• (μ+λ)-ES (μ+λ)进化策略

• (μ,λ)-ES (μ,λ)进化策略

• Covariance Matrix Adaptation协方差矩阵自适应

• Natural Evolution Strategies自然进化策略

• Exponential Natural Evolution Strategies指数自然进化策略

• Separable Natural Evolution Strategies可分离自然进化策略

• Restricted Boltzmann Machine based Evolution基于受限玻尔兹曼机的进化

182. 群体智能算法

182.1 基于群体的优化

• Swarm Intelligence Algorithms群体智能算法

• Ant Colony Optimization蚁群优化

• Particle Swarm Optimization粒子群优化

• Artificial Bee Colony人工蜂群算法

• Firefly Algorithm萤火虫算法

• Cuckoo Search布谷鸟搜索算法

• Bat Algorithm蝙蝠算法

• Gray Wolf Optimizer灰狼优化算法

182.2 生物启发算法

• Bio-inspired Algorithms生物启发算法

• Bacterial Foraging Optimization细菌觅食优化

• Artificial Immune Systems人工免疫系统

• Shuffled Frog Leaping Algorithm混合蛙跳算法

• Krill Herd Algorithm磷虾群算法

• Whale Optimization Algorithm鲸鱼优化算法

• Moth-flame Optimization飞蛾火焰优化

• Social Spider Optimization社会蜘蛛优化

八十三、密码学与安全协议

183. 加密算法

183.1 对称加密

• Symmetric Encryption对称加密

• Advanced Encryption Standard高级加密标准

• Data Encryption Standard数据加密标准

• Blowfish加密算法

• Twofish加密算法

• Serpent加密算法

• RC4流密码

• ChaCha20流密码

183.2 非对称加密

• Asymmetric Encryption非对称加密

• RSA加密算法

• Elliptic Curve Cryptography椭圆曲线加密

• Diffie-Hellman密钥交换

• ElGamal加密系统

• Paillier加密系统

• Lattice-based Cryptography基于格的密码学

• Post-quantum Cryptography后量子密码学

184. 安全协议

184.1 认证协议

• Authentication Protocols认证协议

• Kerberos协议

• OAuth开放授权

• OpenID Connect开放ID连接

• SAML安全断言标记语言

• FIDO Fast Identity Online快速在线身份认证

• Zero-knowledge Proofs零知识证明

• Multi-factor Authentication多因素认证

184.2 安全计算协议

• Secure Computation Protocols安全计算协议

• Secure Multi-party Computation安全多方计算

• Homomorphic Encryption同态加密

• Garbled Circuits混淆电路

• Secret Sharing秘密共享

• Oblivious Transfer不经意传输

• Private Information Retrieval私有信息检索

• Differential Privacy差分隐私

八十四、控制理论与反馈系统

185. 经典控制理论

185.1 PID控制

• PID Control PID控制

• Proportional Control比例控制

• Integral Control积分控制

• Derivative Control微分控制

• PID Tuning Methods PID调参方法

• Ziegler-Nichols Method齐格勒-尼科尔斯方法

• Cohen-Coon Method科恩-库恩方法

• Model-based Tuning基于模型的调参

185.2 现代控制理论

• Modern Control Theory现代控制理论

• State-space Representation状态空间表示

• Observability可观性

• Controllability可控性

• Pole Placement极点配置

• Linear Quadratic Regulator线性二次型调节器

• Kalman Filter卡尔曼滤波器

• Linear Quadratic Gaussian线性二次高斯

186. 鲁棒控制

186.1 鲁棒控制方法

• Robust Control Methods鲁棒控制方法

• H-infinity Control H无穷控制

• Mu-synthesis Mu综合

• Sliding Mode Control滑模控制

• Adaptive Control自适应控制

• Model Predictive Control模型预测控制

• Fuzzy Control模糊控制

• Neural Network Control神经网络控制

186.2 非线性控制

• Nonlinear Control非线性控制

• Feedback Linearization反馈线性化

• Backstepping反步法

• Lyapunov-based Control基于李雅普诺夫的控制

• Passivity-based Control基于无源性的控制

• Nonlinear Model Predictive Control非线性模型预测控制

• Robust Adaptive Control鲁棒自适应控制

• Intelligent Control智能控制

八十五、信号处理与滤波算法

187. 数字滤波

187.1 滤波器设计

• Digital Filter Design数字滤波器设计

• Finite Impulse Response有限冲激响应

• Infinite Impulse Response无限冲激响应

• Butterworth Filter巴特沃斯滤波器

• Chebyshev Filter切比雪夫滤波器

• Elliptic Filter椭圆滤波器

• Bessel Filter贝塞尔滤波器

• Window Method窗函数法

187.2 自适应滤波

• Adaptive Filtering自适应滤波

• Least Mean Squares最小均方算法

• Recursive Least Squares递归最小二乘法

• Normalized Least Mean Squares归一化最小均方算法

• Kalman Filter卡尔曼滤波器

• Extended Kalman Filter扩展卡尔曼滤波器

• Unscented Kalman Filter无迹卡尔曼滤波器

• Particle Filter粒子滤波器

188. 频谱分析

188.1 变换方法

• Spectral Analysis频谱分析

• Fourier Transform傅里叶变换

• Fast Fourier Transform快速傅里叶变换

• Discrete Fourier Transform离散傅里叶变换

• Short-time Fourier Transform短时傅里叶变换

• Wavelet Transform小波变换

• Hilbert-Huang Transform希尔伯特-黄变换

• Spectrogram Analysis谱图分析

188.2 谱估计

• Spectral Estimation谱估计

• Periodogram周期图法

• Bartlett Method巴特利特方法

• Welch Method韦尔奇方法

• Blackman-Tukey Method布莱克曼-图基方法

• Maximum Entropy Spectral Estimation最大熵谱估计

• Multiple Signal Classification多重信号分类

• Estimation of Signal Parameters via Rotational Invariance Techniques旋转不变技术信号参数估计

八十六、数值仿真与模拟方法

189. 有限元方法

189.1 有限元分析

• Finite Element Method有限元方法

• Galerkin Method伽辽金方法

• Rayleigh-Ritz Method瑞利-里兹方法

• Isoparametric Elements等参元

• h-Refinement h细化

• p-Refinement p细化

• hp-Refinement hp细化

• Adaptive Mesh Refinement自适应网格细化

189.2 计算流体动力学

• Computational Fluid Dynamics计算流体动力学

• Navier-Stokes Equations纳维-斯托克斯方程

• Finite Volume Method有限体积法

• Lattice Boltzmann Method格子玻尔兹曼方法

• Smooth Particle Hydrodynamics光滑粒子流体动力学

• Direct Numerical Simulation直接数值模拟

• Large Eddy Simulation大涡模拟

• Reynolds-averaged Navier-Stokes雷诺平均纳维-斯托克斯方程

190. 蒙特卡洛模拟

190.1 随机模拟

• Monte Carlo Simulation蒙特卡洛模拟

• Importance Sampling重要性采样

• Stratified Sampling分层采样

• Latin Hypercube Sampling拉丁超立方采样

• Quasi-Monte Carlo准蒙特卡洛

• Markov Chain Monte Carlo马尔可夫链蒙特卡洛

• Gibbs Sampling吉布斯采样

• Metropolis-Hastings Algorithm Metropolis-Hastings算法

190.2 分子模拟

• Molecular Simulation分子模拟

• Molecular Dynamics分子动力学

• Force Fields力场

• Quantum Mechanics/Molecular Mechanics量子力学/分子力学

• Monte Carlo Molecular Simulation蒙特卡洛分子模拟

• Brownian Dynamics布朗动力学

• Dissipative Particle Dynamics耗散粒子动力学

• Coarse-grained Molecular Dynamics粗粒度分子动力学

八十七、实验设计与优化

191. 实验设计方法

191.1 经典实验设计

• Design of Experiments实验设计

• Factorial Designs析因设计

• Fractional Factorial Designs部分析因设计

• Response Surface Methodology响应曲面方法

• Central Composite Design中心复合设计

• Box-Behnken Design Box-Behnken设计

• Taguchi Methods田口方法

• Latin Square Design拉丁方设计

191.2 自适应实验设计

• Adaptive Design of Experiments自适应实验设计

• Sequential Experimentation序贯实验

• Bayesian Experimental Design贝叶斯实验设计

• Optimal Design最优设计

• D-optimal Design D最优设计

• A-optimal Design A最优设计

• G-optimal Design G最优设计

• I-optimal Design I最优设计

192. 优化实验

192.1 响应面优化

• Response Surface Optimization响应面优化

• Steepest Ascent最速上升法

• Gradient Descent梯度下降法

• Newton's Method牛顿法

• Quasi-Newton Methods拟牛顿法

• Conjugate Gradient Method共轭梯度法

• Trust Region Method信赖域方法

• Pattern Search模式搜索

192.2 黑箱优化

• Black-box Optimization黑箱优化

• Surrogate Modeling代理模型

• Kriging克里金法

• Radial Basis Functions径向基函数

• Gaussian Processes高斯过程

• Expected Improvement期望改进

• Probability of Improvement改进概率

• Entropy Search熵搜索

八十八、统计分析与假设检验

193. 统计检验

193.1 参数检验

• Parametric Tests参数检验

• t-test t检验

• z-test z检验

• ANOVA方差分析

• MANOVA多变量方差分析

• Chi-squared Test卡方检验

• F-test F检验

• Wald Test Wald检验

193.2 非参数检验

• Non-parametric Tests非参数检验

• Mann-Whitney U Test曼-惠特尼U检验

• Wilcoxon Signed-rank Test威尔科克森符号秩检验

• Kruskal-Wallis Test克鲁斯卡尔-沃利斯检验

• Friedman Test弗里德曼检验

• Kolmogorov-Smirnov Test柯尔莫哥洛夫-斯米尔诺夫检验

• Spearman's Rank Correlation斯皮尔曼等级相关

• Kendall's Tau肯德尔τ相关系数

194. 多变量分析

194.1 多变量方法

• Multivariate Analysis多变量分析

• Principal Component Analysis主成分分析

• Factor Analysis因子分析

• Cluster Analysis聚类分析

• Discriminant Analysis判别分析

• Canonical Correlation典型相关

• Multidimensional Scaling多维尺度分析

• Correspondence Analysis对应分析

194.2 回归分析

• Regression Analysis回归分析

• Linear Regression线性回归

• Logistic Regression逻辑回归

• Poisson Regression泊松回归

• Cox Regression Cox回归

• Ridge Regression岭回归

• Lasso Regression套索回归

• Elastic Net弹性网络

八十九、最优化理论中的经典算法

195. 凸优化算法

195.1 线性规划

• Linear Programming线性规划

• Simplex Method单纯形法

• Interior Point Method内点法

• Ellipsoid Method椭球法

• Cutting-plane Method割平面法

• Column Generation列生成

• Dantzig-Wolfe Decomposition丹齐格-沃尔夫分解

• Benders Decomposition本德斯分解

195.2 非线性规划

• Nonlinear Programming非线性规划

• Karush-Kuhn-Tucker Conditions KKT条件

• Lagrangian Duality拉格朗日对偶

• Quadratic Programming二次规划

• Convex Optimization凸优化

• Semidefinite Programming半定规划

• Cone Programming锥规划

• Geometric Programming几何规划

196. 整数规划

196.1 精确算法

• Integer Programming整数规划

• Branch and Bound分支定界法

• Branch and Cut分支切割法

• Branch and Price分支定价法

• Cutting Planes割平面法

• Dynamic Programming动态规划

• Constraint Programming约束规划

• Satisfiability Modulo Theories可满足性模理论

196.2 启发式算法

• Heuristic Algorithms启发式算法

• Greedy Algorithms贪婪算法

• Local Search局部搜索

• Simulated Annealing模拟退火

• Tabu Search禁忌搜索

• Genetic Algorithms遗传算法

• Ant Colony Optimization蚁群优化

• Particle Swarm Optimization粒子群优化

九十、信息论与编码理论

197. 信息度量

197.1 信息测度

• Information Measures信息测度

• Entropy熵

• Joint Entropy联合熵

• Conditional Entropy条件熵

• Mutual Information互信息

• Kullback-Leibler Divergence KL散度

• Jensen-Shannon Divergence JS散度

• Cross-Entropy交叉熵

197.2 复杂度度量

• Complexity Measures复杂度度量

• Kolmogorov Complexity柯尔莫哥洛夫复杂度

• Algorithmic Information Theory算法信息论

• Minimum Description Length最小描述长度

• Fisher Information费雪信息

• Renyi Entropy Renyi熵

• Tsallis Entropy Tsallis熵

• Hartley Information哈特利信息

198. 编码理论

198.1 源编码

• Source Coding源编码

• Huffman Coding霍夫曼编码

• Arithmetic Coding算术编码

• Lempel-Ziv-Welch LZW编码

• Run-length Encoding游程编码

• Burrows-Wheeler Transform伯罗斯-惠勒变换

• Predictive Coding预测编码

• Transform Coding变换编码

198.2 信道编码

• Channel Coding信道编码

• Hamming Code汉明码

• Reed-Solomon Code里德-所罗门码

• Convolutional Code卷积码

• Turbo Code Turbo码

• Low-density Parity-check Code低密度奇偶校验码

• Polar Code极化码

• Fountain Code喷泉码

九十一、 数据并行与模型并行优化

199. 数据并行策略

199.1 同步数据并行

• Synchronous Data Parallelism同步数据并行

• Distributed Data Parallel分布式数据并行

• All-Reduce Optimization全归约优化

• Ring All-Reduce环形全归约

• Tree All-Reduce树形全归约

• Double Binary Trees双二叉树

• Halving-Doubling Algorithm减半加倍算法

• Bucket All-Reduce桶全归约

199.2 异步数据并行

• Asynchronous Data Parallelism异步数据并行

• HogWild!异步SGD

• Asynchronous SGD异步随机梯度下降

• Delayed Gradient异步延迟梯度

• Stale Synchronous Parallelism过期同步并行

• Bucket Synchronization桶同步

• Parameter Server参数服务器

• Decentralized Parallelism去中心化并行

200. 模型并行策略

200.1 张量模型并行

• Tensor Model Parallelism张量模型并行

• Column-wise Parallelism列向并行

• Row-wise Parallelism行向并行

• Checkpointing Model Parallel检查点模型并行

• Memory-efficient Model Parallel内存高效模型并行

• Pipeline Model Parallel流水线模型并行

• Hybrid Parallelism混合并行

• 2.5D Parallelism 2.5维并行

200.2 流水线并行

• Pipeline Parallelism流水线并行

• GPipe谷歌流水线

• PipeDream管道梦想

• PipeDream-2BW管道梦想2BW

• Chimera客迈拉流水线

• DAPPLE数据感知管道并行

• Terapipe地形流水线

• Interleaved Pipeline交错流水线

九十二、 混合精度训练与推理

201. 混合精度算法

201.1 精度管理

• Mixed Precision Training混合精度训练

• Automatic Mixed Precision自动混合精度

• Dynamic Loss Scaling动态损失缩放

• Static Loss Scaling静态损失缩放

• Gradient Scaling梯度缩放

• Master Weights主权重

• FP32 Master Copy FP32主副本

• Mixed Precision Optimizers混合精度优化器

201.2 精度转换

• Precision Conversion精度转换

• Casting Operations类型转换

• Loss Scaling损失缩放

• Gradient Clipping梯度裁剪

• Overflow Detection溢出检测

• Underflow Detection下溢检测

• Precision-aware Scheduling精度感知调度

• Mixed Precision Communication混合精度通信

202. 低精度推理

202.1 推理精度

• Inference Precision推理精度

• INT8 Inference INT8推理

• INT4 Inference INT4推理

• Binary Inference二值推理

• Ternary Inference三值推理

• FP16 Inference FP16推理

• BF16 Inference BF16推理

• TF32 Inference TF32推理

• FP8 Inference FP8推理

202.2 精度恢复

• Precision Recovery精度恢复

• Quantization-aware Training量化感知训练

• Post-training Quantization训练后量化

• Dynamic Quantization动态量化

• Static Quantization静态量化

• Quantization Calibration量化校准

• Quantization Error Correction量化误差校正

• Precision-aware Activation精度感知激活

九十三、 梯度压缩与通信优化

203. 梯度压缩算法

203.1 稀疏化压缩

• Gradient Sparsification梯度稀疏化

• Top-k Gradient稀疏化Top-k梯度

• Random-k Gradient稀疏化随机k梯度

• Threshold-based Sparsification基于阈值的稀疏化

• Error Compensation误差补偿

• Momentum Correction动量校正

• Local Gradient Clipping本地梯度裁剪

• Global Gradient Clipping全局梯度裁剪

203.2 量化压缩

• Gradient Quantization梯度量化

• 1-bit Quantization 1位量化

• SignSGD符号SGD

• TernGrad三值梯度

• QSGD量化SGD

• Error Feedback误差反馈

• Quantized SGD量化SGD

• Stochastic Quantization随机量化

204. 通信优化策略

204.1 通信调度

• Communication Scheduling通信调度

• Communication-computation Overlap计算通信重叠

• Gradient Bucketing梯度桶

• Tensor Fusion张量融合

• Parameter Server Communication参数服务器通信

• Peer-to-Peer Communication点对点通信

• All-to-All Communication全对全通信

• Collective Communication Optimization集体通信优化

204.2 压缩通信

• Compressed Communication压缩通信

• Gradient Compression梯度压缩

• Model Compression模型压缩

• Activation Compression激活压缩

• Communication Compression通信压缩

• Lossless Compression无损压缩

• Lossy Compression有损压缩

• Adaptive Compression自适应压缩

九十四、 检查点与容错恢复

205. 检查点策略

205.1 检查点算法

• Checkpointing Algorithms检查点算法

• Coordinated Checkpointing协调检查点

• Uncoordinated Checkpointing非协调检查点

• Message Logging消息日志

• Incremental Checkpointing增量检查点

• Disk-based Checkpointing基于磁盘的检查点

• Memory-based Checkpointing基于内存的检查点

• Hybrid Checkpointing混合检查点

205.2 检查点优化

• Checkpoint Optimization检查点优化

• Optimal Checkpointing最优检查点

• Adaptive Checkpointing自适应检查点

• Application-aware Checkpointing应用感知检查点

• Compression for Checkpoints检查点压缩

• Deduplication for Checkpoints检查点去重

• Incremental Checkpointing增量检查点

• Differential Checkpointing差异检查点

206. 容错机制

206.1 故障检测

• Fault Detection故障检测

• Heartbeat Mechanism心跳机制

• Watchdog Timer看门狗定时器

• Health Monitoring健康监控

• Anomaly Detection异常检测

• Failure Prediction故障预测

• Proactive Fault Handling主动故障处理

• Reactive Fault Handling反应式故障处理

206.2 恢复策略

• Recovery Strategies恢复策略

• Rollback Recovery回滚恢复

• Forward Recovery前向恢复

• Checkpoint-based Recovery基于检查点的恢复

• Replication-based Recovery基于复制的恢复

• Erasure Coding纠删码恢复

• Redundant Computing冗余计算

• Fault-tolerant Scheduling容错调度

九十五、 内存层次优化

207. 缓存优化策略

207.1 缓存管理

• Cache Management缓存管理

• Cache-aware Algorithms缓存感知算法

• Cache-oblivious Algorithms缓存无关算法

• Cache-blocking Techniques缓存分块技术

• Tiling for Cache Optimization缓存优化分块

• Cache Prefetching缓存预取

• Cache Replacement Policies缓存替换策略

• Cache Coherency Protocols缓存一致性协议

207.2 数据布局优化

• Data Layout Optimization数据布局优化

• Array Padding数组填充

• Data Alignment数据对齐

• Structure of Arrays数组结构

• Array of Structures结构数组

• Memory Layout Transformations内存布局变换

• Data Reordering数据重排序

• Memory Access Patterns内存访问模式

208. 内存访问优化

208.1 访问模式优化

• Memory Access Optimization内存访问优化

• Spatial Locality空间局部性

• Temporal Locality时间局部性

• Memory Coalescing内存合并

• Bank Conflict Avoidance银行冲突避免

• Memory Interleaving内存交错

• NUMA-aware Memory Allocation NUMA感知内存分配

• Page Coloring页着色

208.2 预取技术

• Prefetching Techniques预取技术

• Hardware Prefetching硬件预取

• Software Prefetching软件预取

• Stream-based Prefetching基于流的预取

• Stride-based Prefetching基于步长的预取

• Pointer-based Prefetching基于指针的预取

• Machine Learning Prefetching机器学习预取

• Adaptive Prefetching自适应预取

九十六、 向量化与SIMD优化

209. SIMD指令优化

209.1 SIMD编程

• SIMD Programming SIMD编程

• SSE指令集优化

• AVX指令集优化

• AVX-512指令集优化

• NEON指令集优化

• SVE可扩展向量扩展

• RVV RISC-V向量扩展

• GPU SIMT单指令多线程

209.2 向量化算法

• Vectorization Algorithms向量化算法

• Auto-vectorization自动向量化

• Manual Vectorization手动向量化

• Loop Vectorization循环向量化

• Superword Level Parallelism超字级并行

• Vector Length Selection向量长度选择

• Masked Vector Operations掩码向量操作

• Gather/Scatter Operations收集/分散操作

210. 数据并行架构

210.1 SIMD架构

• SIMD Architectures SIMD架构

• Vector Processors向量处理器

• Array Processors阵列处理器

• Graphics Processing Units图形处理单元

• Tensor Processing Units张量处理单元

• Neural Processing Units神经处理单元

• Digital Signal Processors数字信号处理器

• Many-core Processors众核处理器

210.2 并行模式

• Parallel Patterns并行模式

• Map映射

• Reduce归约

• Scan扫描

• Filter过滤

• Stencil模板

• Partition划分

• Gather收集

• Scatter分散

九十七、 编译器优化技术

211. 循环优化

211.1 循环变换

• Loop Transformations循环变换

• Loop Unrolling循环展开

• Loop Tiling循环分块

• Loop Fusion循环融合

• Loop Fission循环分裂

• Loop Interchange循环交换

• Loop Skewing循环倾斜

• Loop Permutation循环置换

211.2 循环优化

• Loop Optimization循环优化

• Loop-invariant Code Motion循环不变代码外提

• Induction Variable Optimization归纳变量优化

• Loop Unswitching循环非切换

• Loop Versioning循环版本化

• Loop Peeling循环剥离

• Loop Splitting循环分割

• Loop Distribution循环分布

212. 指令级优化

212.1 指令调度

• Instruction Scheduling指令调度

• Instruction-level Parallelism指令级并行

• Superscalar Execution超标量执行

• VLIW超长指令字

• Out-of-order Execution乱序执行

• Speculative Execution推测执行

• Branch Prediction分支预测

• Instruction Cache Optimization指令缓存优化

212.2 寄存器分配

• Register Allocation寄存器分配

• Graph Coloring Register Allocation图着色寄存器分配

• Linear Scan Register Allocation线性扫描寄存器分配

• Register Spilling寄存器溢出

• Register Renaming寄存器重命名

• Register Pressure Register压力

• Live Range Analysis活跃区间分析

• Interference Graph干扰图

九十八、 动态二进制翻译与优化

213. 二进制翻译

213.1 翻译技术

• Binary Translation二进制翻译

• Dynamic Binary Translation动态二进制翻译

• Static Binary Translation静态二进制翻译

• Just-in-time Translation即时翻译

• Ahead-of-time Translation提前翻译

• Cross-architecture Translation跨架构翻译

• Emulation仿真

• Virtualization虚拟化

213.2 优化翻译

• Optimized Translation优化翻译

• Profile-guided Optimization轮廓引导优化

• Hotspot Detection热点检测

• Trace-based Optimization基于轨迹的优化

• Region-based Optimization基于区域的优化

• Superblock Formation超块形成

• Code Cache Management代码缓存管理

• Translation Cache Optimization翻译缓存优化

214. 运行时优化

214.1 动态优化

• Dynamic Optimization动态优化

• Runtime Optimization运行时优化

• Adaptive Recompilation自适应重编译

• Deoptimization去优化

• On-stack Replacement栈上替换

• Polymorphic Inline Caching多态内联缓存

• Method Inlining方法内联

• Escape Analysis逃逸分析

214.2 性能分析

• Performance Profiling性能剖析

• Sampling Profiling采样剖析

• Instrumentation Profiling插桩剖析

• Hardware Performance Counters硬件性能计数器

• Statistical Profiling统计剖析

• Call Graph Profiling调用图剖析

• Memory Profiling内存剖析

• Cache Profiling缓存剖析

九十九、 硬件模拟与仿真

215. 硬件模拟器

215.1 功能模拟

• Functional Simulators功能模拟器

• Cycle-accurate Simulators周期精确模拟器

• Instruction Set Simulators指令集模拟器

• Full System Simulators全系统模拟器

• Virtual Platforms虚拟平台

• Emulators仿真器

• Interpreters解释器

• Binary Translators二进制翻译器

215.2 性能模拟

• Performance Simulators性能模拟器

• Trace-driven Simulation轨迹驱动模拟

• Execution-driven Simulation执行驱动模拟

• Statistical Simulation统计模拟

• Analytical Modeling分析建模

• Queuing Models排队模型

• Markov Models马尔可夫模型

• Petri Nets佩特里网

216. 设计空间探索

216.1 参数探索

• Design Space Exploration设计空间探索

• Parameter Sweeping参数扫描

• Design of Experiments实验设计

• Response Surface Methodology响应面方法

• Pareto Frontier Analysis帕累托前沿分析

• Sensitivity Analysis敏感性分析

• Uncertainty Quantification不确定性量化

• Robust Design鲁棒设计

216.2 优化探索

• Optimization Exploration优化探索

• Multi-objective Optimization多目标优化

• Constrained Optimization约束优化

• Surrogate Modeling代理模型

• Bayesian Optimization贝叶斯优化

• Genetic Algorithms遗传算法

• Simulated Annealing模拟退火

• Particle Swarm Optimization粒子群优化

一百、 形式化方法与验证

217. 形式化规范

217.1 规范语言

• Formal Specification Languages形式化规范语言

• Z Notation Z表示法

• B Method B方法

• Alloy Alloy语言

• TLA+时序逻辑动作

• Coq证明助手

• Isabelle伊莎贝尔证明助手

• HOL高阶逻辑

217.2 建模方法

• Modeling Methods建模方法

• Finite State Machines有限状态机

• Petri Nets佩特里网

• Process Calculi进程演算

• Timed Automata时间自动机

• Hybrid Automata混合自动机

• Markov Chains马尔可夫链

• Queueing Networks排队网络

218. 验证技术

218.1 模型检测

• Model Checking模型检测

• Temporal Logic时序逻辑

• CTL计算树逻辑

• LTL线性时序逻辑

• μ-calculus μ演算

• Bounded Model Checking有界模型检测

• Symbolic Model Checking符号模型检测

• Explicit State Model Checking显式状态模型检测

218.2 定理证明

• Theorem Proving定理证明

• First-order Logic一阶逻辑

• Higher-order Logic高阶逻辑

• Type Theory类型论

• Proof Assistants证明助手

• Automated Theorem Proving自动定理证明

• Interactive Theorem Proving交互式定理证明

• Verification Conditions验证条件

一百零一、 可持续AI与绿色计算

219. 能效感知优化

219.1 能耗建模与分析

• Energy Consumption Modeling能耗建模

• Power Profiling Tools功耗剖析工具

• Thermal Modeling热建模

• Energy Efficiency Metrics能效指标（如FLOPS/Watt）

• Carbon Footprint Estimation碳足迹估算

• Life Cycle Assessment生命周期评估

• Hardware-Software Co-design能效软硬件协同设计

• Dynamic Power Management动态功耗管理

219.2 节能推理策略

• Energy-aware Inference Strategies能量感知推理策略

• Computation Offloading Based on Energy Budget基于能耗预算的计算卸载

• Dynamic Voltage and Frequency Scaling (DVFS) for AI Chips AI芯片动态电压频率调节

• Energy-Proportional Computing能量比例计算

• Approximate Computing for Energy Savings节能近似计算

• Adaptive Batch Size for Energy Efficiency能效自适应批大小

• Green Scheduling Algorithms绿色调度算法

• Renewable Energy-aware Inference可再生能源感知推理

220. 资源效率与循环利用

220.1 高效资源利用

• Resource Efficiency Algorithms资源效率算法

• Multi-Tenant Resource Sharing多租户资源共享

• Elastic Resource Provisioning弹性资源供应

• Server Consolidation服务器整合

• Virtualization for Resource Efficiency资源效率虚拟化

• Workload Prediction for Proactive Provisioning主动供应的负载预测

• Container Orchestration for Efficiency效率容器编排

• Microservices-based Efficient Deployment基于微服务的高效部署

220.2 硬件生命周期管理

• Hardware Lifecycle Management硬件生命周期管理

• Predictive Maintenance for AI Hardware AI硬件预测性维护

• Hardware Degradation Modeling硬件退化建模

• Remaining Useful Life Estimation剩余使用寿命估计

• Responsible E-waste Management负责任电子废物管理

• Hardware Refurbishment and Reuse硬件翻新与重用

• Component-level Recycling组件级回收

• Circular Economy Models for AI Hardware AI硬件循环经济模型

一百零二、 AI安全与对抗防御

221. 对抗攻击与防御

221.1 高级对抗攻击

• Advanced Adversarial Attacks高级对抗攻击

• Gradient-based Attacks (FGSM, PGD)基于梯度的攻击

• Optimization-based Attacks (C&W)基于优化的攻击

• Black-box Attacks (Square Attack, Boundary Attack)黑盒攻击

• Universal Adversarial Perturbations通用对抗扰动

• Physical World Attacks (Adversarial Patches)物理世界攻击

• Backdoor Attacks后门攻击

• Trojan Attacks木马攻击

221.2 鲁棒防御机制

• Robust Defense Mechanisms鲁棒防御机制

• Adversarial Training with Improved Objectives改进目标的对抗训练

• Certified Defenses (Randomized Smoothing)认证防御

• Gradient Masking & Obfuscation梯度掩码与混淆

• Input Reconstruction & Purification输入重建与净化

• Feature Squeezing & Discretization特征压缩与离散化

• Ensemble-based Defenses基于集成的防御

• Detection-based Defenses基于检测的防御

222. 隐私保护推理

222.1 隐私攻击与防护

• Privacy Attacks and Protections隐私攻击与防护

• Membership Inference Attacks成员推理攻击

• Model Inversion Attacks模型反演攻击

• Property Inference Attacks属性推理攻击

• Differential Privacy with Tight Bounds严格界限差分隐私

• Local Differential Privacy本地差分隐私

• Federated Learning with Privacy Guarantees隐私保证的联邦学习

• Secure Multi-Party Computation for Inference推理安全多方计算

222.2 可信执行环境

• Trusted Execution Environments可信执行环境

• Intel SGX for Model Protection英特尔SGX模型保护

• AMD SEV for Confidential Computing AMD SEV机密计算

• ARM TrustZone for Edge AI ARM TrustZone边缘AI

• Homomorphic Encryption based Inference同态加密推理

• Encrypted Neural Networks加密神经网络

• Oblivious Inference不经意推理

• Zero-Knowledge Proofs for Inference推理零知识证明

一百零三、 可解释AI（XAI）与透明度

223. 事后解释方法

223.1 特征归因

• Feature Attribution Methods特征归因方法

• SHAP (SHapley Additive exPlanations)沙普利加性解释

• LIME (Local Interpretable Model-agnostic Explanations)局部可解释模型无关解释

• Integrated Gradients积分梯度

• DeepLIFT深度提升

• Gradient * Input梯度*输入

• Layer-wise Relevance Propagation逐层相关性传播

• Attention Visualization and Analysis注意力可视化分析

223.2 概念与原型

• Concept-based Explanations基于概念的解释

• Testing with Concept Activation Vectors概念激活向量测试

• ProtoPNet原型网络

• Interpretable Concept Bottlenecks可解释概念瓶颈

• Disentangled Representation Explanations解耦表示解释

• Causal Concept Explanations因果概念解释

• Human-in-the-loop Explanations人机回圈解释

• Counterfactual Explanations反事实解释

224. 自解释模型设计

224.1 内在可解释架构

• Self-explaining Models自解释模型

• Interpretable Attention Mechanisms可解释注意力机制

• Sparse Transformers with Explainable Patterns可解释模式的稀疏Transformer

• Rule-based Layer Integration基于规则的层集成

• Decision Trees combined with Transformers决策树结合Transformer

• Monotonic Transformers单调Transformer

• Generalized Additive Models with Transformers Transformer广义加性模型

• Neuro-Symbolic Explainable Models神经符号可解释模型

224.2 解释评估与验证

• Explanation Evaluation and Validation解释评估与验证

• Faithfulness Metrics (Comprehensiveness, Sufficiency)忠实度指标

• Stability and Robustness of Explanations解释稳定性与鲁棒性

• Human Alignment Evaluation人类对齐评估

• Explanation User Studies解释用户研究

• A/B Testing for Explanation Effectiveness解释有效性A/B测试

• Explanation Quality Benchmarks解释质量基准

• Automated Explanation Validation自动解释验证