据媒体报道，NVIDIA最新的研讨有望完全革新AI的未来，其团队提出了一种名为归一化生成预练习变压器（nGPT）的新式神经网络架构。

  这一立异架构根据超球面上的表明学习，极大地提高了大型言语模型（LLM）的练习速度，最高可达20倍，而且在此过程中坚持了模型的高精度体现。

  试验成果为，nGPT的练习过程比传统Transformer模型减少了4到20倍，详细加快作用取决于序列长度。例如，在1k长度的上下文中，练习速度提高了4倍；在4k上下文中提高了10倍；而在8k上下文中，提高起伏更是达到了20倍。

  研讨人员进一步指出，nGPT经过对超球面上的点来优化位移，输出猜测由MLP和注意力模块决议。这种办法不只大起伏的提高了练习速度，还增强了模型的稳定性和功率。此外，nGPT在嵌入向量的标准化和注意力矩阵的优化方面体现出色，明显减少了核算开支，进一步证明了其在生成模型范畴的远景。