代码开源！阿里妈妈展示广告 Match 底层技术架构最新进展

作者：https://github.com/alibaba/nann

三、算法体系更新

我们去年在《TDM 到二向箔：阿里妈妈展示广告 Match 底层技术架构演进》这篇文章里介绍了初版的二向箔算法体系。在文章末尾的展望部分，我们也提到图索引构建中采用的 L2 距离度量与在线检索采用的模型打分之间存在不一致，这会导致检索精度会随着模型结构变复杂而大幅降低。为此，我们在训练过程中加入了一个对抗训练辅助任务，大幅减轻了相似性度量之间异质性的负面影响，有效提高了检索精度。

具体来说，在内部数据集（Industry）和开源数据集（User Behavior）两个数据集上，随着 User 侧和 Target 侧的交互越来越多，虽然检索 recall （recall-retrieval）提升明显，但同时与全量打分 recall（recall-all）之间的差距（）也越来越大。

我们认为该现象主要是因为模型打分的非线性随模型复杂度的增加而大幅提升。在双塔模型（two-sided）下，模型打分函数与 target embedding 为线性关系，因此 L2 距离近的 target embedding 对应的模型打分也相近，最终表现为检索损失很低，在 Industry 和 User Behavior 两个数据集上分别为 0.35%和 0.74%；而在结构最复杂的 attention 模型（DNN w/attention）下，一旦给 target embedding 加上微小的扰动，模型打分可能会发生剧烈的变化，因此检索精度损失大幅升高。为此，我们在模型训练中加入了如下辅助函数来控制模型打分的平滑性：

其中为用户，为该用户的正、负样本集，表示用户和 target 的模型打分，为模型打分在 target embedding 处对抗梯度方向的微小扰动。

加入对抗训练可以在不损失全量打分 recall 的情况下大幅降低复杂模型的检索损失，从而大幅提升检索性能。

四、总结展望

从模型角度看，加入对抗训练的二向箔算法体系真正做到了任意复杂模型下的高精度、高性能大规模 KNN 检索。我们将该方案整理开源，为社区提供了一套轻量级的支持任意复杂模型的大规模召回解决方案，该项工作相关工作论文已发表在 CIKM2022。期待大家试用和体验，如遇问题，也欢迎与我们讨论。

五、关于我们

阿里妈妈展示广告 Match 团队多年来致力于大规模检索技术。经过团队同学多年的努力与沉淀，发展并迭代了如 TDM、JTM、BSAT 以及 NANN 等多项核心检索技术。近年来，阿里妈妈展示广告 Match 与阿里妈妈预测引擎团队深度合作，逐步从算法单一视角迭代演变为算法与工程双视角迭代。在阿里妈妈预测引擎团队异构计算技术能力的加持下，进一步释放模型迭代的天花板。同时，从业务及算法视角反哺阿里妈妈预测引擎团队，进一步扩展了妈妈预测引擎团队技术能力的通用性。