随着生成式大模型技术的飞速发展，企业 AI 搜索需求呈现爆发式增长。纯文本 RAG 虽然在处理文本数据方面表现出色，但难以应对企业内部复杂多样的数据类型。多模态 RAG 技术通过整合文本、图像和音频等多种数据形式，实现了更全面的信息检索和利用，显著提升了生成内容的准确性和时效性，并有效降低了大模型产生幻觉的风险。

本次演讲将聚焦于 RAG 在多模态数据场景下的实践应用和技术挑战。具体将探讨多模态数据的向量化策略，深入剖析检索增强和生成增强的关键技术与解决方案，包括如何有效进行跨模态数据处理、检索和问答，以在海量异构数据中精准定位信息。此外，还将探讨借助 Agentic RAG 等前沿技术，通过大模型的推理和反馈机制，处理复杂搜索查询，提升检索的智能化和精准度。通过对这些核心技术的深入解析，旨在为听众提供构建高效、智能的多模态 RAG 增强系统的全面思路。

演讲提纲

1. 智能时代对多模态搜索的需求

• 当前 AI 搜索的发展趋势，以及对更智能信息检索的需求
• 企业内部数据的多样性和复杂性对传统文本 RAG 的挑战

2. 多模态数据的解析与向量化

• 企业中常见的多模态数据类型（文本、图像、音频等）及其特点
• 针对不同模态数据的向量化策略

3. 多模态信息的检索增强

• 多模态数据检索策略
• 如何将检索到的多模态信息有效地融入生成过程，提升生成内容的质量
• 多模态场景下基于 Agentic RAG 的复杂查询处理与智能检索

4.  总结和展望

您认为，这样的技术在实践过程中有哪些痛点？

• 多模态数据处理的复杂性与难度。不同模态的数据拥有各自特有的存储格式和编码方式，需要进行复杂的预处理、转换、解析才能统一处理
• 多模态数据的对齐问题。例如一段文本描述了一张图片的内容，如何将这两者在语义上对齐是一个挑战
• Agentic RAG 的鲁棒性与可解释性差，且调试困难。如何保证 Agent 在各种复杂的场景下都能稳定运行，并且其决策过程具有一定的可解释性，是实际应用中需要考虑的问题

演讲亮点

• 聚焦多模态数据：深入探讨如何处理和利用文本、图像、音频等多种数据形式进行 RAG
• 强调实践性：结合实际开发和调优经验，分享关键技术和解决方案
• 提供全面的思路：从数据处理、检索增强到生成增强，提供构建高效智能多模态 RAG 系统的完整框架

听众收益

• 深入了解多模态 RAG 系统的核心技术和应用场景
• 学习如何针对不同模态的数据进行向量化和检索
• 掌握多模态 RAG 系统的开发流程和关键优化策略
• 了解当前领域的技术挑战和未来发展方向