多模态 RAG 怎样处理资料中的图片和图表？
先自己想一想，再看参考要点
参考要点
- 最常用的是先把图片转为文字：用 OCR 提取图中的文字，再让多模态模型为图片生成描述，之后按普通文本切片和检索，流程不需要改动，但描述中可能丢失图里的细节
- 不转文字的做法是让文字和图片共用一个向量空间，CLIP 训练两个编码器，让配对的图片和文字的向量互相靠近，文字的问题可以直接检索图片
- ColPali 把每页文档的截图直接编码为多个向量，省去 OCR 和版面分析，适合排版复杂、图表多的文档
- 生成时，多模态模型可以直接读图回答，只能用文本模型时就只能使用图片的文字描述