智东西2月7日消息,根据DeepSeek公众号, 国内AI创企深度求索(DeepSeek)近期开源了7B数学大模型DeepSeekMath。据悉,DeepSeekMath数据来自Common Crawl提取的120B高质量数学网页数据,总数据量是开源数据集OpenWebMath的9倍;训练使用了代码领域模型DeepSeek-Coder-v1.5初始化,可以获得比从通用用模型初始化更好的数学能力。DeepSeekMath在中英数学基准榜单上超过Mistral 7B、Llemma-34B,逼近GPT-4能力,跟Minerva 540B效果相当。
论文地址:
https://arxiv.org/abs/2402.03300
模型下载:
https://huggingface.co/deepseek-ai
GitHub主页:
https://github.com/deepseek-ai/DeepSeek-Math
