Transformer

科技

• 英伟达优化JAX框架下的无丢弃混合专家模型训练: NVIDIA推出了使用NVIDIA Transformer Engine在JAX中训练dropless Mixture of Experts (MoE)模型的优化。此次更新解决了与dropless MoE路由相关的通信和计算瓶颈。

  基础设施 • NVIDIA Generative AI

  永久链接