一是关于FNN层的，就是FNN层是如何升维的。 升维使用的核函数是什么？为何升维能提升语义的表达并产生“记忆”功能？为何将维度升4倍，而不是6倍，8倍？
关于FNN层也有一些文章进行解读，大部分都会以CNN的卷积神经网络进行类比：即一个是Token mixer，关注在L这个维度的表达；一个是Channel mixer，专注于d这个维度的表达。至于为何升维4倍，没有什么理论基础，就像8头注意力一样，可能4倍的实验数据效果最好，是性价比最优的选择。
声明：小猿资源站是一个资源分享和技术交流平台，本站所发布的一切破解补丁、注册机和注册信息及软件的解密分析文章仅限用于学习和研究目的；不得将上述内容用于商业或者非法用途，否则，一切后果请用户自负。本站信息来自网络，版权争议与本站无关。您必须在下载后的24个小时之内，从您的电脑中彻底删除上述内容。如果您喜欢该程序，请支持正版软件，购买注册，得到更好的正版服务。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。
