苹果长矛扩散

这是7月5日的新闻，苹果在拥抱的脸上默默地推出了一种名为diffucode-7b-cpgrpo的开源AI模型。该模型在代码的生成中具有创新的特征，该代码允许按顺序生成代码，并且其性能与上部开源编码模型的性能相当。在家注意：就像大多数人阅读文本一样，传统的领先语言模型（LLM）生成代码的方式是从左到右的顺序。这主要是由于这些LLM在自我护理中起作用。这意味着，当用户调用问题时，他处理了一个完整的问题，他预测了答案的第一个令牌，他用这个令牌谴责了整个问题，预测了第二个令牌。 LLM还具有称为“温度”的配置，以控制输出的随机性。在预测以下令牌后，该模型将概率分配给了所有可能的选项。低温意味着您更有可能选择最喜欢的Ely选择令牌，但温度越高，该模型选择令牌的可能性越大。另一个选择是通常在图像模型中使用的扩散模型。总而言之，该模型以模糊和嘈杂的图像开始，然后重复消除噪音，考虑到用户的需求，并逐渐将其引导到更接近用户请求的图像。上个月，苹果推出了一个名为diffucoder-7b-cpgrpo的模型，该模型基于“ diffucoder：理解和改进生成代码代码的掩码扩散模型”的文档。该文档分析了首先使用扩散策略的代码生成模型，但解释了特定的内容。随着采样温度从0.2的默认值增加到1.2，扩散剂在产生令牌的顺序中变得柔性，从左到右产生了严格的限制。更有趣的是，Apple模型基于QWEN2.5--7b在阿里巴巴中的开源模型，将该模型转变为基于扩散文档中所述的扩散的解码器，对其进行调整并按照指令进行调整。完成它们后，他们有超过20,000个精心选择的编码示例，我在常规编程分数的版本中发现了Diffucode-7b-CPGRPO保持了一个情况，在这种情况下，代码生成严格与从左到右的生成方法完全独立。与常规扩散的编程模型相比，测试分数增加了4.4％。