自动化超参搜索(Optuna)在分布式集群中的剪枝(Pruning)工程实战
/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在...
/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在...
Transformer 骨架精讲:Self-Attention 公式、参数量,为什么要除以 √d 【大模型面试通关手册 · 第 02 篇】 本篇覆盖:self-...
/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在...
归一化三兄弟:LayerNorm、RMSNorm、DeepNorm,以及 Pre-LN 为什么赢了 【大模型面试通关手册 · 第 03 篇】 本篇覆盖:Laye...

在构建高质量大模型微调(SFT)和持续预训练语料库时,很多团队在通过了启发式规则与信息熵过滤网后,以为数...

在消费级单卡(如 RTX 4090 24GB)或单张 A100 上微调 70B 级别大模型时,**QLoRA 分页优...

文本摘要 抽取式系统告诉你文档说了什么。生成式系统告诉你作者的意思。不同的任务,不同的陷阱。 类型: 构建 语言: Python 前置条件: Phase 5 ·...
复杂 Web 前端高频异步重绘(DOM Mutation)对智能体定位的竞态失效排查在利用多模态视觉智能体(Web A...
百亿级多模态图文对齐语料库中的视觉信息熵过滤与图文细粒度对齐清洗流水线在训练万亿参数多模态大语言模型(Multimodal LLMs / VLMs...
断点续训(Resume Training)中优化器状态与学习率调度器的无损对齐在进行长达数周甚至数月的大语言模型(LL...