https://arxiv.org/pdf/2012.13375.pdf
https://github.com/xvjiarui/GCNet
本文观察到在出segmentation之外的任务中，non-local呈现出的attention 在不同位置都近似，因而改进了non-local
以检测任务为例在，在上图三个不同位置的attention map都呈现相同的pattern
于是作者提出了以下结构：
可以看到最后的输出与senet相同变成了cx1x1;值得注意的是作者在实验中发现fusion的方式（相加或者相乘）对效果影响很大，因为本文主要探讨segmentation，所以只贴一下segmentation的结果
语义分割中的nonlocal[10]- Global Context Networks
原文：https://www.cnblogs.com/treeaxx/p/14457925.html