原始transformer的FFN层
原始transformerFFN层非常简单，就是一个升维+降维的操作，中间套一个RELU激活函数：
FFN层的作用是增加模型的非线性能力，升维再降维的操作也是老传统了，之前学从感知机到多层感知机就明白，一个低的维度的特征终归是有限，但是高的维度，能够组合更多的特征，学到更多的东西。
相关研究(Transformer Feed-Forward Layers Build Predictions by Promoting Concepts in the Vocabulary Space)发现 Transformer FFN 会编码词汇和概念信息，可以说FFN层是存储着世界知识。
在传统深度学习中，就有老生常谈的"死亡ReLu"问题。当x<0的时候，Relu是输出是0，梯度为0，这个神经元就可以看作"死亡了"，这在大规模的LLM训练中，这个问题更严重。
GLEU
后续很多基于transformer架构的模型，例如Bert、GPT1都是采用了GELU(Gaussian Error Linear Units)这个激活函数
其中：
表示标准正态分布的累积分布函数。
GELU相比ReLU改进在哪里？
GELU的核心思想是：不要像ReLU一样进行简单的二值化筛选，而是根据输入值的重要程度进行平滑地保留信息。
可以看作一个动态权重，决定当前输入应该保留多少。
当时：,
此时
信息基本保留。
当：时：
此时
信息被抑制。
ReLU 是硬门控（Hard Gate），直接判断保留或丢弃； GELU 是软门控（Soft Gate），通过连续函数平滑控制信息流。
这使得GELU在大规模Transformer训练中通常比ReLU更加稳定。
GLU——引入显式门控机制
虽然GELU可以根据输入调整激活程度，但是它仍然只有一条信息路径。输入特征既负责提供信息，又负责决定自己是否被保留。
门控机制很早就有了。2020年google的一项研究将他引入了transformer的FFN层：
GLU Variants Improve Transformer
其中：
：信息分支，负责产生特征； ：门控分支，负责控制信息是否通过； ：逐元素乘法。
他的思想就是将信息提取和信息筛选分开。模型可以学习一个专门的门控函数，动态控制不同特征的重要程度。
论文中还研究了各种门控函数的变体
最后效果比较好的就是SwiGLU了
GLU变体的胜出者：SwiGLU
门控的思想我们已经掌握了，就是将信息提取和信息筛选分开，模型可以学习一个专门的门控函数，动态控制不同特征的重要程度。各种变体无非就是这个门控函数的激活函数不同。
SwiGLU用的激活函数为：Swish(也叫 SiLU，Sigmoid Linear Unit):
可以看到Siwsh就是x乘以一个函数，只是比原始的GLU的激活函数多乘了一个
这会带来什么优势？
原始的GLU的门控范围为0~1，这意味着只能对通过的信息进行缩小或者不变，没法放大，当较大时，可以保留甚至增强正向信息；当为负值时，仍然保留部分负方向信息，而不是像ReLU一样直接截断。Swish相比sigmoid具有更加灵活的信息调节能力，既负责开关，又负责调节幅度
实现
以下摘自modeling_llama.py(已删除无关内容以及分支)
class LlamaMLP(nn.Module):
def __init__(self, config):
super().__init__()
self.config = config
self.hidden_size = config.hidden_size
self.intermediate_size = config.intermediate_size
self.gate_proj = nn.Linear(self.hidden_size, self.intermediate_size, bias=False)
self.up_proj = nn.Linear(self.hidden_size, self.intermediate_size, bias=False)
self.down_proj = nn.Linear(self.intermediate_size, self.hidden_size, bias=False)
self.act_fn = ACT2FN[config.hidden_act]#hidden_act="silu", def forward(self, x):
down_proj = self.down_proj(self.act_fn(self.gate_proj(x)) * self.up_proj(x))
代码很简单，这里不再阐述