智东西1月26日消息，据硅星人1月25日报道，Hugging Face上最近悄悄出现了一个新的Transformers模型——Qwen2，正是阿里通义千问Qwen模型的第二代。不过通义团队的算法同学在社交媒体上对此继续保持神秘。随着Hugging Face上相关信息露出，该模型距离发布可能不远了。

根据Qwen2页面信息，新一代的基础模型包括不同参数大小的版本。Qwen2是基于Transformer架构，采用SwiGLU激活、注意力QKV偏置、组查询注意力、滑动窗口注意力和全序列注意力相混合等技术。Qwen2还提供了一个适应多种自然语言和代码的改进型分词器。