谈谈BigCode 开源轻量级语言模型 2023/2/2 12:16:49

高州通

根据官方提供的信息，训练 SC 的基础是 T S（11）数据集，SC 虽然规模相对较小，只有 11 亿个参数，在参数的绝对数量上低于 IC（67 亿）或 CG-（27 亿），但 SC 的表现则是要远好于这些大型多语言模型。不过也正是参数远远不及 GPT-3 等参数超过千亿级别的超大型语言模型，SC 适用的编程语言范围也比较有限，仅支持 P、J 和 JS 种语言。Linux命令大全的相关知识也可以到网站具体了解一下，有专业的客服人员为您全面解读，相信会有一个好的合作！

为了照顾用户隐私和保证训练质量，在训练模型之前，BC 注释了 400 个样本，并建立和不断完善 RE 规则，以便在训练前从数据集的代码中删除诸如电子邮件地址、密钥和 IP 地址等敏感信息。 为了让开发者可以放心使用 SC 生成的代码，BC 推出了 D S 搜索工具。通过这个工具，开发者可以找出代码的来源，以便在 SC 产生的代码属于某一个项目的情况下，用户能够遵守相应的许可要求。 此外，BC 还推出了「A I T S」工具，开发者可以检查自己下的仓库是否是训练数据集的一部分，可以将自己的开源仓库从数据集中删除。 BC 目前已经在 H 中提供了 SC 演示，供任何人研究试用。