RAG 核心基建:文本 Chunk 策略全景解析(从固定切片到 VLM 端到端解析)
· 阅读需 31 分钟
"To chunk, or not to chunk — that is the question. But how to chunk is the engineering battle."
在 RAG(检索增强生成)系统中,分块(Chunking)是整个 Pipeline 的地基。检索质量上限由 Embedding 模型决定,下限却由分块质量决定。无论你使用多么强大的 LLM 或 向量数据库,一旦 Chunk 切错了位置、割裂了语义,后续所有优化都是徒劳。
本文将带你由浅入深地走完整条 Chunk 技术发展路线图——从最原始的固定切片,一路升级到 VLM 端到端文档理解。