GLU变体可提升Transformer

Transformer由多头注意力和FFN交替形成的模型。其中，FFN的输入为向量$x$，再经过两个线性变形。在这两个线性变形之间的激活函数为ReLU，可见式(1)
$$
\begin{aligned}
FFN(x,W_1,W_2,b_1,b_2)=max(0,xW_1+b_1)W_2+b_2
\end{aligned}\tag{1}
$$
其无偏差版本为
$$
\begin{aligned}
FFN_{ReLU}(x,W_1,W_2)=max(xW_1,0)W_2
\end{aligned}\tag{2}
$$
随后，也有利用GELU$(x)=x\Phi(x)$或Swish$_{\beta}(x)=x\sigma(\beta x)$代替Relu为激活函数。

GLU及其变体

激活函数GLU为一个神经网络层被定义为输入的两个线性变形之间克罗内克积，且其中一个经过sigmoid激活。若两个均无激活，那么被称为双线性。
$$
\begin{aligned}
GLU(x,W,V,b,c)=\sigma(xW+b)\otimes(xV+c) \\
Bilinear(x,W,V,b,c)=(xW+b)\otimes(xV+c)
\end{aligned}\tag{4}
$$
若利用其它激活函数，那么GLU的变体为
$$
\begin{aligned}
ReGLU(x,W,V,b,c)=max(0,xW+b)\otimes(xV+c) \\
GEGLU(x,W,V,b,c)=GELU(xW+b)\otimes(xV+c) \\
SwiGLU(x,W,V,b,c,\beta)=Swish_{\beta}(xW+b)\otimes(xV+c)
\end{aligned}\tag{5}
$$
最初，GLU的提出是为了应对RNN的无法并行计算的问题，若把GLU及其变体应用到Transformer的FFN中，那么
$$
\begin{aligned}
FFN_{GLU}(x,W,V,W_2)&=(\sigma(xW)\otimes xV)W_2 \\
FFN_{Bilinear}(x,W,V,W_2)&=(xW\otimes xV)W_2 \\
FFN_{ReGLU}(x,W,V,W_2)&=(max(0,xW)\otimes xV)W_2 \\
FFN_{SwiGLU}(x,W,V,W_2)&=(Swish_1(xW)\otimes xV)W_2
\end{aligned}\tag{6}
$$
与原始FFN相比，拥有三个权重矩阵。为了保持参数量与计算量不变，常减少隐藏层的数量$d_{ff}$为原始的$\frac{2}{3}$。