大模型应用开发 · 检索增强生成
有哪些切片策略？切片大小怎么确定？
先自己想一想，再看参考要点
参考要点
- 按标题、段落等结构切，表格和代码块保持完整，相邻切片保留重叠，切片带上标题路径
- 一节超过上限时递归切分，按空行、换行、句号、逗号由粗到细尝试，LangChain 默认的分隔符没有中文标点，要补上
- 没有标题的长文本可以语义切分，在相邻两句相似度明显下降处切开
- 也可以用小切片检索、返回所在的完整段落（父子切片）
- 大小没有通用最优值，以 Embedding 模型的最大长度为上限，事实类问题用小切片，最后在评测集上比较召回率
学习站：先用面试题自评定级，按水平和面试日期排出每天的计划，自评过的题按间隔复习。免费、无需注册，记录只保存在自己的浏览器中。