image
VincentWei

天地间,浩然正气长存,为天地立心,为生民立命,为往圣继绝学,为万世开太平!

当CTR预估遇见深度学习

VincentWei    2019-01-09 15:15

深度学习CTR模型要解决的几个关键问题

  1. CTR任务特点:大量离散特征的表示问题
  2. CTR任务特点:如何快速处理大量高维度稀疏特征?(OneHot 2 Dense)
  3. 特征工程:如何从手工到自动?(深度学习的优势)
  4. 特征工程:如何捕获和表达两两组合特征?(FM机制神经网络化)
  5. 特征工程:如何捕获和表达多组组合特征?(利用Deep网络)

CTR任务中的他特征类型有连续特征和离散特征,连续特征适合DNN处理,离散特性你不适合特征处理。那么如何使得离散的特征适合DNN处理呢?直观的感觉,是one-hot化。

但是one-hot化后,参数过多,不适合CTR预估。

解决思路:从one-hot到dense vector转化

所以,形成的DNN结构如下:

再加入连续特征:

这就是FNN模型:Factorisation-Machine Supported Neural Networks

DNN输入问题解决了,但是低阶和高阶的特征组合隐含地体现在隐层,我们对低阶特征单独建模。定义一个神经网络版的低阶模型。

 

把低阶特征组合模型插入网络结构中

 

互联网公司CTR案例

Goole YouTube推荐系统

阿里巴巴 Deep Interest Network

京东 TelePath

Views: 2.5K

[[total]] comments

Post your comment
  1. [[item.time]]
    [[item.user.username]] [[item.floor]]Floor
  2. Click to load more...
  3. Post your comment