首页 > 其他 > 详细

NeuralAttentionModel

时间:2020-05-28 00:22:46      阅读:67      评论:0      收藏:0      [点我收藏+]

1.概述

  A Neural Attention Model for Sentence Summarization是一个用于处理文本总结的模型,是基于seq2seq提出的,论文地址https://www.aclweb.org/anthology/D15-1044.pdf

2.模型

  技术分享图片

 

3.模型公式

  目标:

    技术分享图片

 

  x和yc编码的方式共三种

  1).Bag-of-Words Encoder

    技术分享图片

 

    这是最简单的一种,其中F是待学习的参数

  2).Convolutional Encoder

    技术分享图片

 

    其中F是embeding向量,Q是滑动窗口,公式5和公式6都是maxpooling

  3).Attention-Based Encoder

    技术分享图片

 

    G是embeding值,Q为滑动窗口

4.损失函数

  技术分享图片

 

NeuralAttentionModel

原文:https://www.cnblogs.com/yangyang12138/p/12977533.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!