日前,Facebook母公司Meta方面宣布推出AI编程工具Code Llama,可支持多种编程语言,包括Python、C++、Java、PHP、Typescript(Javascript)、C#和Bash,并称其为“最先进的大型编码语言模型”。
据了解,Code Llama基于Llama 2大模型打造,能够根据代码和自然语言提示/要求,生成想要的代码以及有关代码的自然语言,或是在指向特定代码时进行完善和调试,因此也被称为“Llama 2代码专用版本”。值得一提的是,Code Llama将采用与 Llama 2相同的社区许可,对学术和商业领域免费开放,目前其已上线Github。
据悉,Code Llama共分为基础版、Python版(Code Llama -Python),以及能够理解自然语言指令的版本(Code Llama-Instrct),且每个版本都有7B、13B、34B等三种参数,每个模型都使用500B代码tokens和代码相关数据进行训练,其中7B和13B基础模型和Instrct模型还经过了中间填充(FIM)功能的训练,支持在现有代码中插入代码的功能。
对此Meta方面表示,这三种不同大小模型满足了不同的服务和延迟要求。例如7B模型可以在单个GPU上运行,34B模型返回最佳结果并提供更好的编码辅助,但较小的7B和13B模型速度更快、更适合需要低延迟的任务,例如实时代码补全。
需要注意的是,Meta方面建议用户使用Code Llama-Instruct进行代码生成任务,因为Code Llama - Instruct经过微调后,可以生成更加有用且更加安全的自然语言回复,并不建议用户使用Code Llama或Code Llama -Python执行一般的自然语言任务,因为这两个模型都不是为遵循自然语言指令而设计的,而且Code Llama也只专门用于代码相关的任务,不适合作为其他任务的基础模型。
据了解,Meta方面采用了HumanEval和Mostly Basic Python Programming(MBPP)两个编码基准测试Code Llama的表现。结果显示,Code Llama的性能优于现有开源代码专用LLM,并且超越了Llama 2。其中,Code Llama 34B在HumanEval上得分为53.7%,在MBPP上得分为56.2%,与ChatGPT几乎打平。
Meta方面强调,构建负责任的AI模型至关重要,因此他们在发布Code Llama之前采取了许多安全措施。据悉,作为红队测试工作的一部分,Meta方面对Code Llama生成恶意代码的风险进行了定量评估,并创建了一些提示,以试图让模型生成恶意代码,并将Code Llama对这些提示的响应与ChatGPT(GPT3.5 Turbo) 进行比较,结果发现Code Llama的回答更安全。
【以上内容转自“三易生活网”,不代表本网站观点。如需转载请取得三易生活网许可,如有侵权请联系删除。】
延伸阅读: