中文通用大模型综合性评测基准发布 讯飞星火认知100分 你知道吗?
时间:2023-05-10 15:41:48来源:中国商业新闻网

讯飞星火认知大模型总分53.58分,100分满分

中文通用大模型综合性评测基准SuperCLUE正式发布。

中文通用大模型基准(SuperCLUE),是针对中文可用的通用大模型的一个测评基准,它尝试在一系列国内外代表性的模型上使用多个维度能力进行测试。

它主要回答的问题是:在当前通用大模型大力发展的情况下,中文大模型的效果情况。包括但不限于:这些模型不同任务的效果情况、相较于国际上的代表性模型做到了什么程度、 这些模型与人类的效果对比如何?

根据首个榜单显示,国内大模型中,近期发布的星火认知大模型最好,总分53.58分,与GPT-4相比有23个百分点的差距,与gpt-3.5-turbo在总分上有13个百分点的差距。

值得一提的是,讯飞星火认知大模型在对话、百科知识、角色模拟、计算能力、语义理解、逻辑推理方面,已经达到GPT 3.5平齐的水准。

在语义理解方面,讯飞星火认知大模型甚至得到100分的满分,超过GPT-4。

据了解,SuperCLUE评测榜单由三部分组成:总榜单、基础能力榜单、中文特性榜单,排行榜会定期更新,可点此访问.

标签: 讯飞星火 讯飞星火认知官网 讯飞大语

最新
  • 中文通用大模型综合性评测基准发布 讯飞星火认知100分 你知道吗?

    讯飞星火认知大模型总分53 58分,100分满分中文通用大模型综合性评测基准SuperCLUE正式发布。中文通用大

  • 孝文帝属于哪个民族?孝文帝有几个儿子?

    孝文帝属于哪个民族鲜卑族拓跋宏(467年10月13日~499年4月26日),汉名元宏。北魏王朝第七位皇帝,中国古

  • 交通事故精神损失费赔偿计算原则是什么?保险公司承担精神损害赔偿吗?

    一、保险公司精神损害赔偿吗最高人民法院关于确定民事侵权精神损害赔偿责任若干问题的解释》第十条并未

  • 「雷暴大风预警」4月27日阳泉市气象局发布雷暴大风蓝色预警「Ⅳ级/一般」 世界微资讯

    阳泉市气象台2023年04月27日15时40分发布雷暴大风蓝色预警信号:预警区域:城区、矿区、郊区、平定县、盂县

  • 上海大学与华东理工大学_上海大学和华东理工大学哪个好_当前快报

    1、从学科综合实力看。2、上海大学好于华东理工好于东华大学。本文就为大家分享到这里,希望小伙伴们会喜欢

  • 雄关是指什么关?雄关漫道真如铁中的雄关是哪里?

    雄关是指什么关?地形者,兵之助也。雄关的意思是雄伟显要的关隘,所以雄关指代多个关口。有山海关、潼关

  • 月球上“抓娃娃”、火星上“飙车”是啥体验? 速读

    月球上“抓娃娃”、火星上“飙车”是啥体验?

  • 惠普打印机怎么联网连接wifi?惠普打印机连不上wifi怎么办?

    惠普打印机怎么联网连接wifi?1、打开打印机,按住wifi按键开启wifi功能。2、打开爱惠普打印机app,自动

  • 世界上肺活量最大的人是谁?菲尔普斯的肺活量有多强?

    世界上肺活量最大的人,名字叫做菲尔普斯。相信有很多人听说过这个名字,其实菲尔普斯是一个运动员,比

  • 天线宝宝的名字分别是什么?天线宝宝为什么被禁播?

    天线宝宝的名字分别是什么?《天线宝宝》有四个人物,名字分别是:丁丁 Tinky Winky;迪西 Dipsy;拉拉 La

  • 冰箱日常养护的方式有哪些?冰箱发霉了如何清洗消毒?

    冰箱日常养护的方式有哪些?冰箱的养护在于日常,不要等到冰箱发霉之后再进行清理。首先,不能将所有食物