【Python × AI】LlamaIndex 实战：结构化数据与复杂文档的高效处理方案

专栏前言：RAG 的上限不在于模型多强，而在于检索到的数据有多准。LlamaIndex 的核心价值在于：它将“数据连接”做到了极致，特别是对于那些散落在 SQL、Excel、PDF 中的非结构化与半结构化数据。

🚀 为什么在处理复杂数据时，LangChain 不够用？
索引单一：LangChain 默认多为简单的向量检索，面对“对比 2024 与 2025 财报”这类任务，纯向量搜索会因语义重合而失效。

数据孤岛：SQL 数据库和非结构化 PDF 很难在同一逻辑下被检索。

解析力弱：普通的 PDF 加载器经常会把表格解析成一团乱码。

LlamaIndex 的杀手锏：LlamaParse + 路由检索（Router Query）。

一、 核心架构：数据连接器与智能索引

LlamaIndex 将 RAG 的过程细化为：数据源（Data Connectors） -> 索引（Indices） -> 查询机（Query Engines）。

from llama_parse import LlamaParse
from llama_index.core import SimpleDirectoryReader

parser = LlamaParse(
result_type="markdown", # 将表格转为 Markdown 格式，大模型最易理解
verbose=True
)

file_extractor = {".pdf": parser}
documents = SimpleDirectoryReader("./data", file_extractor=file_extractor).load_data()

二、 混合动力：Text-to-SQL 与非结构化融合

LlamaIndex 最强大的功能之一是 SQLAutoVectorQueryEngine。它可以同时查询结构化数据库（SQL）和非结构化文档。

场景描述：

用户提问：“帮我看看去年销售额最高的产品（SQL），并解释其背后的市场调研分析（PDF）。”

Python

from llama_index.core.query_engine import SQLAutoVectorQueryEngine

sql_query_engine = sql_index.as_query_engine()
vector_query_engine = vector_index.as_query_engine()

query_engine = SQLAutoVectorQueryEngine(
sql_query_engine,
vector_query_engine,
sql_table_schema
)

response = query_engine.query("查询 2025 年利润最高的产品，并总结其 PDF 里的成功经验")

三、 进阶：知识图谱索引 (Property Graph)

当文档之间存在复杂的引用、人名、地点关联时，传统的向量相似度会失效。LlamaIndex 支持将文档转化为知识图谱。

策略：
通过提取实体（Entities）和关系（Relations），AI 不再是计算“语义距离”，而是通过“路径跳转”找到答案。这在法律文书、医学研究等严谨场景中是唯一的解决方案。

四、 避坑指南：数据治理的“红线”

深度实践中，必须警惕：

Token 浪费：不要把整张 Excel 表塞给模型，应利用 PandasQueryEngine 让模型生成 Python 代码去统计。

解析成本：LlamaParse 往往需要付费且有额度限制，建议对非关键文档使用本地开源解析器。

多索引冲突：当有多个 Query Engine 时，Router（路由）可能会选错。对策：给每个工具提供极其清晰的 description。

💡 总结
LlamaIndex 让 AI 真正具备了“处理海量异构数据”的能力。掌握了它，你就拥有了为企业级复杂业务构建 AI 中台的技术底气。