性能提升 7 倍 + 的高性能 GPU 广告推荐加速系统的落地实现

GPU 加速在深度学习领域中占据比较大的优势，特别是对稠密特征类模型加速优势明显（如图像识别、 NLP 自然语言模型），但是，其在广告推荐稀疏特征模型方面往往得不到比较好的加速比。基于此，我们以 HugeCTR 为基础，完成了数据流的 pipeline 实现，支持多种训练数据格式，支持 Tensorflow hash 方式，打造出高性能的并兼容 Tensorflow 推荐模型的 GPU 加速系统。为了比较性能，我们设计了 embedding+mlp 典型的推荐模型结构，加速系统 GPU 单卡性能比 Tensorflow 提升 7 倍 +，离线 AUC 效果持平。目前新模型已部署到线上，并进行 1% 的流量实验，效果持续观察中。