您的浏览器需要启用 JavaScript 才能正常访问此网站。
咨询热线:15911225507
龙霄
登录
首页-所有书签-训练模型-正文

悟道

龙霄龙霄8个月前7831479.02K287
悟道悟道
理由: 智源“悟道”大模型,中国首个+世界最大人工智能大模型
语言: 中文 Chinese
分类: 训练模型(44)
标签: 悟道(1), 训练模型(44)

2021年6月,北京智源研究院(BAAI)推出了悟道1.0的后续版本悟道2.0,作为中国第一个超大规模智能模型系统。悟道是一个语言模型,旨在在人类层面的思维上超越 OpenAI 的 GPT-3 和谷歌的 LaMDA。经过4.9TB的图像和文本训练,并在9个基准上超过了最先进(SOTA)水平,悟道比任何同行都更接近于实现通用人工智能(AGI)和人类水平的思维。

悟道接受了4.9 TB高质量英文和中文图像和文本的训练:

  • 1.2TB中文文本数据
  • 2.5TB中文图形数据
  • 1.2TB英文文本数据

悟道是基于开源的 MoE 系统 FastMoE 进行训练的。MoE是一种机器学习技术,其工作原理如下:

将预测建模任务划分为子任务,针对每个子任务训练专家(学习者)模型,开发门控模型,该门控模型基于要预测的输入来学习咨询哪个专家,并组合预测。FastMoE使悟道能够并行咨询不同的专家模型,并切换到预测结果最好的模型。例如,如果输入是英文文本,悟道将使用预测模型,该模型可以在英文文本中生成回应。

标签:
本文原创,作者:龙霄,其版权均为龙霄所有。如需转载,请注明出处:https://lx.yfdxs.com/bookmark/6889.html
龙霄

龙霄

Lv1Vip1Rec2
以 Nuxt.js 之力,焕新 WordPress 体验
1.30K6.81M32.97W63.79W14.64W1.10W
加载中…
分享:
Reading Coach
Reading Coach上一篇
Imagen下一篇
Imagen
相关导航
总数:43
OpenBMB

OpenBMB

7个月前2142813.69K
Codex

Codex

7个月前5894537.11K
Segment Anything(SAM)

Segment Anything(SAM)

7个月前5041126.37K
魔搭社区

魔搭社区

7个月前161609.55K
Evidently AI

Evidently AI

7个月前5952767.98K
MiracleVision奇想智能

MiracleVision奇想智能

7个月前1131515.12K
Llama 3

Llama 3

7个月前343912.14K
DeepFloyd IF

DeepFloyd IF

7个月前1414559.08K
Sora

Sora

7个月前3641187.78K
书生大模型

书生大模型

7个月前9751854.84K
StableVicuna

StableVicuna

7个月前2973681.79K
StableLM

StableLM

7个月前3094494.67K
评论表单游客 您好,欢迎参与讨论。
加载中…
评论列表
总数:0
龙霄
没有相关内容