【TechWeb】近期，由谷歌、卡内基梅隆大学和MultiOn构成的筹办筹办团队，发布了一项对于合成数据在大型模子覆按中期骗的遑急筹办遵守。

专注于东说念主工智能发展的筹办机构Epoch AI敷陈指出，面前众人约有300万亿个公开可用的高质料文本覆按记号。但跟着像ChatGPT这类大模子的快速发展，对覆按数据的需求呈指数级增长，瞻望在2026年之前，这些现存数据将被亏蚀。在此布景下，合成数据成为了关节的替代决策。

筹办东说念主员留意探索了两种合成数据类型，即正向数据和负向数据。正向数据是由高性能大模子，如GPT - 4和Gemini 1.5 Pro生成的正确问题不停决策，为模子提供不停数知识题的程序。干系词，单纯依靠正向数据进行覆按存在明显局限。其一，这种姿色可能无法让模子委果交融问题不停背后的逻辑，仅仅通过花样匹配来学习；其二，跟着覆按数据量的增多，模子可能会学到不实的有关性，导致在处理新问题时泛化才智镌汰。

有鉴于此，筹办东说念主员引入了负向数据，也等于过程考据为诞妄的问题不停时势。这能匡助模子识别并幸免诞妄，从而增强其逻辑推理才智。尽管使用负向数据存在挑战，因为诞妄时势可能包含误导性信息，但筹办东说念主员借助奏凯偏好优化（DPO）次序，得胜让模子从诞妄中学习，并强调每个问题不停时势的遑急性。

DPO次序会为每个问题不停时势分派一个上风值，以反应其相对于理思不停决策的价值。筹办发现，高上风时势是正确不停问题的关节，而低上风时势可能意味着模子推理存在问题。基于这些上风值，模子简略在强化学习框架内动态养息政策，更高效地从合成数据中学习和修订。

为考据合成数据的有用性，筹办团队摄取DeepSeek - Math - 7B和LLaMa2 - 7B等模子开云官网切尔西赞助商，在GSM8K和MATH数据集上开展了全面测试。截止令东说念主惊喜，过程正向和负向合成数据预覆按的大模子，在数学推理任务上的性能普及了八倍。这一筹办充分彰显了合成数据在增强盛模子逻辑推理才智方面的精深后劲，为大模子的发张开采了新的标的。（Suky）