DeepMind超大规模Transformer棋力惊人,挑战AI规划极限!

来源:互联网· 2024-10-22 14:34:54

最近,DeepMind一篇关于超大规模 Transformer 在国际象棋领域应用的论文,引发了 AI 社区的广泛讨论。研究人员利用名为 ChessBench 的全新数据集,训练了多达2.7亿参数的 Transformer 模型,探索其在棋类这种复杂规划问题上的能力。

ChessBench 数据集包含从 Lichess 平台收集的1000万局人类对弈棋谱,并使用顶级象棋引擎 Stockfish16对棋局进行了标注,提供了多达150亿个数据点,包括每个棋局状态的胜率、最佳走法以及所有合法走法的价值评估。

image.png

研究人员使用监督学习方法,训练 Transformer 模型预测给定棋局状态下每个合法走法的价值。实验结果表明,即使没有使用任何显式搜索算法,最大规模的模型也能在全新的棋局状态下做出相当准确的预测,展现出强大的泛化能力。

令人惊讶的是,该模型在 Lichess 平台上与人类玩家进行快棋对弈时,取得了高达2895的 Elo 等级分,达到了国际象棋大师级别。

image.png

研究人员还将该模型与 Leela Chess Zero 和 AlphaZero 等基于强化学习和自我博弈训练的棋类引擎进行了比较。结果表明,尽管通过监督学习可以将 Stockfish 搜索算法的近似版本提炼到 Transformer 模型中,但要实现完美的提炼仍然存在挑战。

这项研究表明,超大规模 Transformer 模型在解决复杂规划问题方面具有巨大潜力,也为未来 AI 算法的开发提供了新的思路。ChessBench 数据集的发布,也将为研究人员探索 AI 规划能力提供一个新的基准平台。


您可能关注: 大模型

[免责声明]如需转载请注明原创来源;本站部分文章和图片来源网络编辑,如存在版权问题请发送邮件至398879136@qq.com,我们会在3个工作日内处理。非原创标注的文章,观点仅代表作者本人,不代表本站立场。