9月16日消息,360开源分布式训练框架Tensornet,该框架构建在TensorFlow之上,针对广告推荐等大规模稀疏场景优化。TensorNet的目标是让所有使用TensorFlow的开发者可以快速训练出稀疏参数超过百亿的超大模型。
据悉,TensorNet支持异步和同步模式训练。异步模式在仅有CPU的集群中速度提升十分显著,同步模式在网卡速度超过100GbE的GPU集群中表现突出。在仅有CPU的集群中使用参数服务器的异步训练模式是训练模型速度最快的方法,TensorNet异步训练架构与TensorFlow的异步训练架构有很大的区别。