大模型结合 RAG 构建客服场景自动问答

互联网应用如电商，社交平台，短视频等通常拥有数量庞大的活跃用户。然而，随着用户数量的急剧增长，这些应用的客服系统也面临了一些挑战。用户在使用这些应用的过程中遇到问题时，会联系人工客服寻求帮助。但因用户基数庞大，客服系统所收到的用户问题展现出多样性和口语化等特点，这对传统的、基于文本匹配的自动回复系统带来很大的挑战。值得庆幸的是，大模型等相关技术的快速发展为解决这一难题带来了曙光。企业希望通过搭建基于大模型的自动客服问答系统，以更高效、准确的方式回答用户所遇到的问题，同时降低客服系统的人工成本。
本次演讲中，我们将介绍基于 LLM RAG 范式，将大模型与企业私有知识与数据相结合，使大模型能够根据用户问题，在客服场景下提供更准确且清晰的回复。大模型通过海量文本数据的训练和微调，能够提供流畅、连贯的对话体验。但是，由于训练过程没有涉及私有领域数据，所以直接将大模型应用在客服场景上的效果很难让人满意。为了解决这一难题，我们构建了基于 RAG 的 LLM 客服问答系统。该系统借助向量检索技术，将企业私有领域知识与 LLM 相结合，可为用户问题提供更准确且全面的回复。尽管 LLM 展现出强大的文本理解与生成能力，但其生成内容的不可控性以及容易出现幻觉等问题仍然存在。为此，我们针对客服场景的特点和要求，在普通 RAG 流程的基础上提出了多项算法优化方法。其中包括，更精确地将无结构文本切割成语义明确的段落，从而提升召回准确率；借助 NVIDIA NeMo 框架，在私有领域数据上对大模型做了进一步的继续预训练和微调；添加重排序模型增加召回精度等。这些优化方法显著增强了大模型在客服场景中回答用户问题的准确率，在我们的测试中，客服问答系统准确率从 50% 提升至 81%，不仅降低了人工成本，也提升了用户满意度。