急起直追ChatGPT 复旦大学发布模型“MOSS”

急起直追ChatGPT 复旦大学发布模型“MOSS”

中国报·2023-02-21 18:04

开通Nestia钱包,享受多重优惠!
激活钱包并通过银联二维码支付进行首次交易,即可获赠$3!

(北京21日综合电)人工智能聊天机器人“ChatGPT”火遍全球之际,中国也已研制出自产的首个类似模型,由复旦大学团队研制的对话模型名为“MOSS”,目前还在内测阶段。 据上观新闻从复旦大学自然语言处理实验室获悉,中国第一个对话式大型语言模型MOSS已由复旦大学计算机科学技术学院邱锡鹏教授团队,发布至公开平台。 在开发的基本步骤上,MOSSChatGPT一样,包括自然语言模型的基座训练、理解人类意图的对话能力训练两个阶段。

不过相较于对话能力训练阶段,OpenAI收集了至少几十万条人类指令,让各行各业的专业标注员写出指令回覆,再将它们输入模型基座;复旦团队则采用不同的路线,通过让MOSS和人类以及其他对话模型都进行交互,提升了学习效率和研发效率,短时间内就完成对话能力训练。 邱锡鹏坦言,“MOSSChatGPT的差距主要在自然语言模型基座预训练这个阶段。MOSS的参数量比ChatGPT小一个数量级,在任务完成度和知识储备量上,还有很大提升空间”。 科研团队指出,“MOSS的英文回答水准比中文高,因为它的模型基座学习了3000多亿个英文单词,中文词语只学了约300亿个”。

特别声明:本文为转载/投稿,仅代表该原作者观点。NESTIA仅提供信息发布平台。

马来西亚