您的浏览器需要启用 JavaScript 才能正常访问此网站。
咨询热线:15911225507
龙霄
登录
首页-所有书签-训练模型-正文

悟道

龙霄龙霄7个月前7831479.01K287
悟道悟道
理由: 智源“悟道”大模型,中国首个+世界最大人工智能大模型
语言: 中文 Chinese
分类: 训练模型(44)
标签: 悟道(1), 训练模型(44)

2021年6月,北京智源研究院(BAAI)推出了悟道1.0的后续版本悟道2.0,作为中国第一个超大规模智能模型系统。悟道是一个语言模型,旨在在人类层面的思维上超越 OpenAI 的 GPT-3 和谷歌的 LaMDA。经过4.9TB的图像和文本训练,并在9个基准上超过了最先进(SOTA)水平,悟道比任何同行都更接近于实现通用人工智能(AGI)和人类水平的思维。

悟道接受了4.9 TB高质量英文和中文图像和文本的训练:

  • 1.2TB中文文本数据
  • 2.5TB中文图形数据
  • 1.2TB英文文本数据

悟道是基于开源的 MoE 系统 FastMoE 进行训练的。MoE是一种机器学习技术,其工作原理如下:

将预测建模任务划分为子任务,针对每个子任务训练专家(学习者)模型,开发门控模型,该门控模型基于要预测的输入来学习咨询哪个专家,并组合预测。FastMoE使悟道能够并行咨询不同的专家模型,并切换到预测结果最好的模型。例如,如果输入是英文文本,悟道将使用预测模型,该模型可以在英文文本中生成回应。

标签:
本文原创,作者:龙霄,其版权均为龙霄所有。如需转载,请注明出处:https://lx.yfdxs.com/bookmark/6889.html
龙霄

龙霄

Lv1Vip1Rec2
以 Nuxt.js 之力,焕新 WordPress 体验
1.30K6.79M32.97W63.79W14.29W1.07W
加载中…
分享:
Reading Coach
Reading Coach上一篇
Imagen下一篇
Imagen
相关导航
总数:43
Watsonx.ai

Watsonx.ai

7个月前8994838.87K
Llama 3

Llama 3

7个月前343912.13K
阿里巴巴M6

阿里巴巴M6

7个月前2491081.02W
Gemma

Gemma

7个月前8912714.75K
Segment Anything(SAM)

Segment Anything(SAM)

7个月前5041126.35K
Evidently AI

Evidently AI

7个月前5952767.95K
Codex

Codex

7个月前5894537.10K
腾讯混元大模型

腾讯混元大模型

7个月前9492322.60K
讯飞星辰MaaS

讯飞星辰MaaS

7个月前7294264.66K
StableVicuna

StableVicuna

7个月前2973681.76K
Sora

Sora

7个月前3641187.77K
Jan

Jan

7个月前3493192.51K
评论表单游客 您好,欢迎参与讨论。
加载中…
评论列表
总数:0
龙霄
没有相关内容