Embedding与向量数据库:从基础概念到实战应用
目录
#mermaid-svg-FiSjZeYTyctPg1U5{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-FiSjZeYTyctPg1U5 .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-FiSjZeYTyctPg1U5 .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-FiSjZeYTyctPg1U5 .error-icon{fill:#552222;}#mermaid-svg-FiSjZeYTyctPg1U5 .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-FiSjZeYTyctPg1U5 .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-FiSjZeYTyctPg1U5 .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-FiSjZeYTyctPg1U5 .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-FiSjZeYTyctPg1U5 .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-FiSjZeYTyctPg1U5 .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-FiSjZeYTyctPg1U5 .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-FiSjZeYTyctPg1U5 .marker{fill:#333333;stroke:#333333;}#mermaid-svg-FiSjZeYTyctPg1U5 .marker.cross{stroke:#333333;}#mermaid-svg-FiSjZeYTyctPg1U5 svg{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-FiSjZeYTyctPg1U5 p{margin:0;}#mermaid-svg-FiSjZeYTyctPg1U5 .label{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;color:#333;}#mermaid-svg-FiSjZeYTyctPg1U5 .cluster-label text{fill:#333;}#mermaid-svg-FiSjZeYTyctPg1U5 .cluster-label span{color:#333;}#mermaid-svg-FiSjZeYTyctPg1U5 .cluster-label span p{background-color:transparent;}#mermaid-svg-FiSjZeYTyctPg1U5 .label text,#mermaid-svg-FiSjZeYTyctPg1U5 span{fill:#333;color:#333;}#mermaid-svg-FiSjZeYTyctPg1U5 .node rect,#mermaid-svg-FiSjZeYTyctPg1U5 .node circle,#mermaid-svg-FiSjZeYTyctPg1U5 .node ellipse,#mermaid-svg-FiSjZeYTyctPg1U5 .node polygon,#mermaid-svg-FiSjZeYTyctPg1U5 .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-FiSjZeYTyctPg1U5 .rough-node .label text,#mermaid-svg-FiSjZeYTyctPg1U5 .node .label text,#mermaid-svg-FiSjZeYTyctPg1U5 .image-shape .label,#mermaid-svg-FiSjZeYTyctPg1U5 .icon-shape .label{text-anchor:middle;}#mermaid-svg-FiSjZeYTyctPg1U5 .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-FiSjZeYTyctPg1U5 .rough-node .label,#mermaid-svg-FiSjZeYTyctPg1U5 .node .label,#mermaid-svg-FiSjZeYTyctPg1U5 .image-shape .label,#mermaid-svg-FiSjZeYTyctPg1U5 .icon-shape .label{text-align:center;}#mermaid-svg-FiSjZeYTyctPg1U5 .node.clickable{cursor:pointer;}#mermaid-svg-FiSjZeYTyctPg1U5 .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-FiSjZeYTyctPg1U5 .arrowheadPath{fill:#333333;}#mermaid-svg-FiSjZeYTyctPg1U5 .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-FiSjZeYTyctPg1U5 .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-FiSjZeYTyctPg1U5 .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-FiSjZeYTyctPg1U5 .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-FiSjZeYTyctPg1U5 .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-FiSjZeYTyctPg1U5 .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-FiSjZeYTyctPg1U5 .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-FiSjZeYTyctPg1U5 .cluster text{fill:#333;}#mermaid-svg-FiSjZeYTyctPg1U5 .cluster span{color:#333;}#mermaid-svg-FiSjZeYTyctPg1U5 div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-FiSjZeYTyctPg1U5 .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-FiSjZeYTyctPg1U5 rect.text{fill:none;stroke-width:0;}#mermaid-svg-FiSjZeYTyctPg1U5 .icon-shape,#mermaid-svg-FiSjZeYTyctPg1U5 .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-FiSjZeYTyctPg1U5 .icon-shape p,#mermaid-svg-FiSjZeYTyctPg1U5 .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-FiSjZeYTyctPg1U5 .icon-shape rect,#mermaid-svg-FiSjZeYTyctPg1U5 .image-shape rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-FiSjZeYTyctPg1U5 .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-FiSjZeYTyctPg1U5 .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-FiSjZeYTyctPg1U5 :root{–mermaid-font-family:\”trebuchet ms\”,verdana,arial,sans-serif;}
什么是Embedding?
专业解释
大白话解释
生活案例
为什么要用Embedding?
专业解释
大白话解释
生活案例
什么是向量数据库?
专业解释
大白话解释
生活案例
为什么要用向量数据库?
专业解释
大白话解释
生活案例
如何使用Embedding和向量数据库?
余弦相似度计算
N-Gram技术
酒店推荐系统实战
主流向量数据库比较
FAISS
Elasticsearch
Milvus
Pinecone
如何选择适合的方案?
Embedding模型选择
向量数据库选择
- 什么是Embedding?
- 为什么要用Embedding?
- 什么是向量数据库?
- 为什么要用向量数据库?
- 如何使用Embedding和向量数据库?
- 余弦相似度计算
- N-Gram技术
- 酒店推荐系统实战
- 主流向量数据库比较
- 如何选择适合的方案?
什么是Embedding?
专业解释
Embedding(嵌入)是一种将高维、离散的数据(如文本、图像、音频等)转换为低维、连续的向量表示的技术。在这个过程中,语义相似的数据会被映射到向量空间中距离相近的位置。Embedding技术能够捕捉数据的语义信息,使得计算机能够更好地理解和处理非结构化数据。
大白话解释
想象一下,我们要让电脑理解人类的语言。如果直接把文字输入电脑,它只会把每个字看作一个独立的符号,不知道"猫"和"狗"都是动物,"高兴"和"开心"意思相近。
Embedding就像是给电脑一个"翻译器",把文字转换成一组数字(向量),相似的文字对应相似的数字组合。比如,"猫"可能变成[0.2, 0.5, 0.3],"狗"变成[0.3, 0.4, 0.3],它们的数字组合很像,电脑就能知道它们是一类东西。
生活案例
假设你是一个图书管理员,需要给图书馆里的所有书籍分类。如果只用书名来分类,可能会很困难,因为很多书名看不出内容。
Embedding就像是让你先读每本书的内容,然后根据内容给每本书打几个标签(比如"科幻"、“爱情”、"悬疑"等),每个标签对应一个数值。这样,内容相似的书就会有相似的标签组合,你就能轻松地把它们放在一起了。
为什么要用Embedding?
专业解释
大白话解释
生活案例
想象一下,你要在网上购物,输入"黑色运动鞋",如果没有Embedding,系统可能只会给你显示标题里包含"黑色运动鞋"这几个字的商品,而不会给你推荐"黑色跑鞋"、"黑色训练鞋"等相似的商品。
有了Embedding,系统就能理解"黑色运动鞋"、“黑色跑鞋”、"黑色训练鞋"的意思相近,会给你推荐更多符合你需求的商品,让你的购物体验更好。
什么是向量数据库?
专业解释
向量数据库是一种专门用于存储、索引和查询向量数据的数据库。它能够高效地处理大规模向量数据,支持各种相似度搜索算法(如余弦相似度、欧氏距离等),并提供快速的向量检索能力。向量数据库通常用于AI应用中,如语义搜索、推荐系统、图像检索等。
大白话解释
向量数据库就像是一个专门存放"数字组合"的仓库,它不仅能存这些数字,还能快速找到与某个数字组合相似的其他数字组合。
比如,你有一个数字组合[0.2, 0.5, 0.3](代表"猫"),向量数据库能快速帮你找到所有与它相似的数字组合,也就是所有代表动物的词汇。
生活案例
想象一下,你去超市买东西,超市里有成千上万种商品。如果超市没有分类,你要找一瓶可乐可能需要逛遍整个超市。
向量数据库就像是超市的分类系统,它把相似的商品放在一起,你只要告诉它你要找"可乐",它就能马上带你到饮料区,甚至告诉你哪些饮料和可乐相似,推荐给你。
为什么要用向量数据库?
专业解释
大白话解释
生活案例
假设你是一个短视频平台的用户,平台上有上亿个视频。当你看完一个搞笑视频后,平台想要给你推荐更多相似的搞笑视频。
如果没有向量数据库,平台需要把你看的视频和所有上亿个视频都比较一遍,这需要很长时间,可能等你都刷完其他视频了,推荐还没出来。
有了向量数据库,平台可以快速找到与你看的视频相似的其他视频,几乎瞬间就能给你推荐结果,让你一直有好看的视频可以刷。
如何使用Embedding和向量数据库?
余弦相似度计算
专业解释
余弦相似度是一种用于衡量两个向量在方向上的相似性的度量方法。它通过计算两个向量夹角的余弦值来判断它们的相似程度,取值范围为[-1, 1]。当两个向量方向完全相同时,余弦相似度为1;当两个向量方向完全相反时,余弦相似度为-1;当两个向量垂直时,余弦相似度为0。
余弦相似度的计算公式为:
similarity = cos(θ) = (A · B) / (||A|| × ||B||)
其中,A·B是向量A和向量B的点积,||A||和||B||分别是向量A和向量B的模长。
大白话解释
余弦相似度就像是在比较两个东西的"方向"是否相似,而不考虑它们的"大小"。
比如,有两个句子:“这个程序代码太乱,那个代码规范"和"这个程序代码不规范,那个更规范”。虽然它们的用词不完全相同,但表达的意思相似,它们的向量方向就会比较接近,余弦相似度就会比较高。
计算示例
分词:
- 句子A:这个/程序/代码/太乱,那个/代码/规范
- 句子B:这个/程序/代码/不/规范,那个/更/规范
列出所有的词: 这个,程序,代码,太乱,那个,规范,不,更
计算词频:
- 句子A:[1, 1, 2, 1, 1, 1, 0, 0]
- 句子B:[1, 1, 1, 0, 1, 2, 1, 1]
计算余弦相似度:
similarity = (1×1 + 1×1 + 2×1 + 1×0 + 1×1 + 1×2 + 0×1 + 0×1) / (√(1+1+4+1+1+1+0+0) × √(1+1+1+0+1+4+1+1))
= 7 / (√9 × √10)
= 7 / (3 × 3.162)
= 0.738
结果接近1,说明句子A和句子B是相似的。
N-Gram技术
专业解释
N-Gram是一种基于统计语言模型的技术,它假设第n个词的出现只与前n-1个词相关。N-Gram指的是文本中连续的n个item(如词、字符等)的序列。常见的N-Gram有:
- N=1:unigram(一元语法)
- N=2:bigram(二元语法)
- N=3:trigram(三元语法)
N-Gram可以用于提取文本的特征,当一阶特征不够用时,可以用N-Gram作为新的特征。
大白话解释
N-Gram就像是在看文字时,不仅看单个字,还看相邻的几个字,这样能更好地理解上下文。
比如,“我爱中国"这个句子,用bigram(二元语法)分析就是"我/爱”、“爱/中”、“中/国”,这样能更好地捕捉句子的语义信息。
生活案例
假设你在搜索"北京天气",如果只用unigram,系统可能会给你推荐关于"北京"的所有内容和关于"天气"的所有内容,而不是你想要的"北京的天气"。
用bigram的话,系统会把"北京天气"作为一个整体来理解,就能更准确地给你推荐北京的天气信息。
酒店推荐系统实战
专业解释
基于Embedding和向量数据库的酒店推荐系统的实现步骤如下:
大白话解释
实现示例
# 1. 导入必要的库
import pandas as pd
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.metrics.pairwise import cosine_similarity
# 2. 读取酒店数据
df = pd.read_csv('Seattle_Hotels.csv', encoding="latin-1")
# 3. 提取N-Gram特征
vec = CountVectorizer(ngram_range=(1, 2), stop_words='english').fit(df['desc'])
# 4. 将酒店描述转换为向量
hotel_vectors = vec.transform(df['desc'])
# 5. 计算酒店之间的相似度
similarity_matrix = cosine_similarity(hotel_vectors, hotel_vectors)
# 6. 推荐相似酒店
def recommend_hotels(hotel_name, top_k=10):
# 找到酒店的索引
idx = df[df['name'] == hotel_name].index[0]
# 找到最相似的top_k个酒店
sim_scores = list(enumerate(similarity_matrix[idx]))
sim_scores = sorted(sim_scores, key=lambda x: x[1], reverse=True)
sim_scores = sim_scores[1:top_k+1]
# 返回推荐结果
hotel_indices = [i[0] for i in sim_scores]
return df['name'].iloc[hotel_indices]
# 7. 测试推荐功能
recommend_hotels('The Westin Seattle', top_k=5)
主流向量数据库比较
| FAISS | 速度快, 轻量级, 适合单机部署 | 缺乏分布式支持, 功能相对简单 | |
| Elasticsearch | Elastic | 支持全文搜索和向量搜索, 生态成熟 | 向量搜索性能相对较弱 |
| Milvus | Zilliz | 分布式架构, 高可扩展性, 丰富的索引类型 | 部署和维护相对复杂 |
| Pinecone | Pinecone | 全托管服务, 易用性高, 自动扩展 | 价格较高, 依赖外部服务 |
如何选择适合的方案?
Embedding模型选择
向量数据库选择
互动讨论
看完这篇文章,你对Embedding和向量数据库有了什么新的认识吗?欢迎在评论区分享你的想法和问题!
期待你的参与和讨论!



