文本摘要
抽取式系统告诉你文档说了什么。生成式系统告诉你作者的意思。不同的任务,不同的陷阱。
类型: 构建 语言: Python 前置条件: Phase 5 · 02(BoW + TF-IDF),Phase 5 · 11(机器翻译) 预计用时: ~75 分钟
问题
一篇 2000 字的新闻文章出现在你的信息流中。你需要 120 字来概括它。你可以从文章中挑选三个最重要的句子(抽取式),也可以用自己的话重写内容(生成式)。两者都叫摘要。但它们是完全不同的问题。
抽取式摘要是一个排序问题。为每个句子打分,返回前 k 个。输出总是语法正确的,因为它是逐字提取的。风险是遗漏分散在文章各处的内容。
生成式摘要是一个生成问题。Transformer 根据输入生成新文本。输出流畅且压缩性强,但可能虚构源文中不存在的事实。风险是自信地编造。
本课构建两者,并讨论各自特有的失败模式。
核心概念

抽取式。 将文章视为图,节点是句子,边是相似度。在图上运行 Pag


