帮助中心
语言选择
免费试用
AnyBackup
性能爆表
认识数据管理“性能观”
简介
生产系统
传输网络
数据管理平台
“性能爆表”应用场景
百 TB 级数据库
PB 级数据仓库
百亿级小文件
海量虚拟机
大规模测试数据
“性能爆表”数据表现
同行性能对比
产品
AnyBackup Family 8
简介
创新客户价值
我们的客户
副本数据湖
AnyBackup Family 7
AnyBackup Enterprise 7
AnyBackup Express 7
AnyBackup Master Server 7
AnyBackup 软件订阅服务
AnyBackup 订阅服务
订阅一体机
AnyBackup for 华为云
数据保护即服务
Microsoft 365 保护服务
AnyStorage
成功案例
方案
行业方案
金融行业测试数据管理
场景方案
副本数据中台
体系化防勒索病毒
数据中心分级保护
两地三中心灾备
AnyShare 高性能保护
海量非结构化数据分级保护
体系化数据灾备与可观测性
生态方案
副本数据脱敏方案
数据库复制容灾联创方案
创新灾备特性
通用应用数据保护
应用级灾备
灾难恢复管理
国产化数据库保护
工作负载
SaaS
Microsoft 365
云原生
Kubernetes
数据库
Oracle | SQL Server  | MySQL
虚拟化
VMware
大数据
Hadoop | GaussDB | SAP HANA
物理
NAS
资源
Demo中心
不可变存储能力演示
强制数据保留能力演示
灾难恢复管理演示
AnyShare 高性能备份恢复演示
虚拟机跨云容灾演示
混合云灾难恢复演示
Kubernetes 应用迁移演示
副本数据脱敏方案演示
智能灾备运维方案演示
测试数据管理方案演示
社区
产品博客
开发者社区
活动
2023 新品发布会
统一数据管理平台
神盾会
神盾会十三 副本数据中台
神盾会十二 体系化防勒索病毒方案
神盾会十一 应用级灾备
神盾会十 海量数据管理用户体验
神盾会九 测试数据管理
神盾会八 性能爆表
神盾会七 备份数据湖
神盾会六 混合云分级保护解决方案
神盾会五 Kubernetes数据保护
神盾会四 灾难恢复管理
神盾会三 副本数据脱敏方案
神盾会二 大数据平台保护方案
神盾会一 防勒索病毒整体解决方案
在线研讨会
研讨会三 智能灾备运维方案
研讨会二 分布式架构
研讨会一 海量非结构化数据保护方案
SMART 2022
数据驱动型组织
数据即服务
Microsoft 365 保护服务
试用与购买
软件订阅服务
许可模式
价格对比
如何购买
AnyShare
产品
AnyShare Family 7
简介
版本对比
版本升级
电子文档安全管理系统
AnyShare 订阅服务
简介
订阅一体机
for 华为云
一体化优势
企业内容门户
内容即服务
内容数据湖
NAS 数据整合
AnyRobot 可观测性
AnyShare 高性能备份恢复
生产力提升
AnyShare 认知助手
企业云盘
智能搜索
安全策略
知识中心
表格中心
标签及编目
SAP 数据资产管理
Movement 计划
计划简介
产品对比
优惠政策
迁移故事
方案
中台方案
什么是非结构化数据中台
内容即服务
文档治理体系专业服务
知识管理
生态方案
华途
亿赛通
第四范式
浩辰
睿展
网智易通
永中
SAP 数据资产管理
生产力故事
按行业
能源
消费与服务业
制造业
按场景
文档管理
知识管理
安全合规
共享协作
智能搜索
数据迁移
表格自动化
统一内容管理
统一认证登录
业务系统集成
标签及编目
按数据
图片
视频
文档
邮件
表格
元数据
活动

揭秘会集锦

立即观看一气呵成 揭秘会（九）
揭秘会
一气呵成 · 揭秘会（九）
近在咫尺 · 揭秘会（八）
独树一帜 · 揭秘会（七）
始终如一 · 揭秘会（六）
智者见智 · 揭秘会（五）
洞若观火 · 揭秘会（四）
海纳百川 · 揭秘会（三）
川流之下 · 揭秘会（二）
别有洞天 · 揭秘会（一）
行业研讨会
工程勘察设计
新零售
SMART 2022
中台与反脆弱
数据驱动型组织
知识中心服务
文档治理体系
资源
Demo中心
智能搜索-图片搜索
智能搜索-相似结果折叠
AnyShare 高性能备份恢复
资料下载
数据驱动型组织蓝皮书
全域数据治理白皮书
非结构化数据中台白皮书
AnyShare Family 7 产品手册
AnyShare Family 7 技术白皮书
社区
开发者社区
产品博客
专家博客
在线支持
AnyShare 在线帮助
AnyShare 技术知识库
如何购买
我想先试用
知识中心服务
AnyShare Family 7
我已是Anyshare 客户
从V5/V6版本升级到V7
AnyRobot
可观测性
认识“可观测性”
简介
开发测试可观测
IT运维可观测
业务运营可观测
安全合规可观测
“可观测性” 运用场景
统一日志管理及可观测性
云基础设施可观测性
灾备体系可观测性
AnyShare可观测性
可观测性中台
“可观测性” 的对比表现
可观测性与监控的对比
产品
AnyRobot Family 5
AnyRobot Eyes 5
AnyRobot 订阅服务
AnyRobot 订阅一体机
AnyRobot for 私有云
技术优势
机器数据管道
KPI 智能分析
关联分析
SuperAgent
生产力提升
智能告警
可视化及仪表盘
大屏可视化
机器数据湖
AnyShare 可观测性
方案
中台方案
可观测性中台
行业方案
智慧医院
智慧边检
场景方案
统一日志管理及可观测性
云基础设施可观测性
灾备体系可观测性
业务性能监控
AnyShare 可观测性
生态方案
业务性能监控
ITSM 解决方案
运维故事
按行业
电子政务
城商行
垂直政府
石油石化
高校
边检
医院
高端制造
企业
按场景
统一日志管理及可观测性
云基础设施可观测性
灾备体系可观测性
可观测性中台
AnyShare 可观测性
业务性能监控
查看所有
活动
新品发布会
云原生时代的可观测性平台
线上活动
联璧会（四）机器数据湖
联璧会（三）云基础设施运维解决方案
联璧会（二）AnyRobot Library 5
联璧会（一）AnyRobot Eyes 5
在线研讨会 （四）AnyRobot + 听云携手创新智能运维
在线研讨会 （三）AnyRobot & 听云业务性能监控方案
在线研讨会 （二）智能灾备运维方案
在线研讨会 （一）基于 Hub 架构纳管 Splunk
行业研讨会
高校
金融
SMART 2022
中台与反脆弱
数据驱动型组织
智能运维中台
资源
Demo中心
AnyRobot Eyes 5 产品演示
灾备体系可观测性
灾备可视化大屏
云基础设施可观测性
AnyShare 可观测性
SuperAgent
机器数据管道
资料下载
数据驱动型组织蓝皮书
全域数据治理白皮书
AnyRobot Family 5 产品手册
AnyRobot Family 5 eBook
社区
开发者社区
产品博客
在线支持
AnyRobot 在线帮助
AnyRobot 技术知识库
如何购买
我想先试用
AnyRobot Family 5
AnyRobot 订阅服务
购买 AnyRobot 订阅服务
部署在私有云
我已是 AnyRobot 客户
一对一在线咨询
我是 AnyRobot 新客户
一对一在线咨询
AnyDATA
领域认知智能
认识“领域认知智能”
了解领域认知智能
了解领域知识网络
了解领域大模型
了解 RAG 模式
Able说AI
ChatGPT来了，知识图谱何去何从？
复旦大学肖仰华：大模型与知识图谱联合驱动的领域认知智能
GPT 对 NLP 领域是福还是祸
大模型真的“大”吗？
到底多有钱，我才能拥有专属大模型？
揭秘Prompt
RAG：大模型落地的秘密武器？
大模型的阴暗面：智能背后的安全隐忧
“大力出奇迹”失效了？领域大模型如何落地
产品
AnyDATA Framework 3
领域知识图谱构建
认知搜索
智能问答
图分析
领域认知应用
AnyShare 认知助手
KWeaver 开源框架
方案
通用方案
领域认知中台解决方案
行业方案
智慧城市产业大脑方案
制造业认知中台解决方案
产业链情报分析与管理解决方案
活动

无界会四 图分析服务

观看回放
无界会
无界会一 认知驱动·先进制造
无界会二 走近领域知识网络
无界会三 产业链知识网络
无界会四 图分析服务
SMART 2022
知识中台重磅亮相
领域智商点亮认知智能
认知智能在智慧城市建设中的应用分享
资源和支持
Demo中心
图分析
产业链知识网络
企业画像
归因分析
智能问答
产业链招商
知识图谱构建
资料下载
智慧城市产业大脑方案白皮书
数据驱动型组织蓝皮书
全域数据治理白皮书
爱分析·数据产品开发市场厂商评估报告
AGI时代的领域认知智能框架 eBook
AnyDATA Framework 3 技术白皮书
社区
开发者社区
产品博客
如何获得支持？
获得认知中台支持，一对一咨询
开源相关技术服务，一对一咨询

爱数博客

全部 AnyBackup AnyShare AnyRobot AnyDATA AnyFabric

Able 说 AI 丨大模型是怎样炼成的？

2023-12-11 593 0
大家好，今天 Able 邀请到了爱数 AnyShare 研发线&人工智能研究院负责人许鹏，和大家一起探讨下大型语言模型是怎样炼成的？
通用大模型是一个可以被预先训练
并在各种任务上微调的深度神经网络模型
其基本思想是使用海量数据预先训练
一个具有强大表征能力的深度神经网络
然后将其应用于各种任务中
从而减少每个任务所需的训练数据
和计算资源
当前大模型已经在很多领域产品化落地
ChatGPT 就是代表性产品
那么大模型是如何训练出来的？
会经历哪些阶段？
点击视频，一探究竟！
大型语言模型的训练步骤
l 选择合适的架构：在模型训练中，我们首先选择合适的架构，如 Transformer 架构，这是模型的基础。
l Pretrain 阶段：接下来是预训练阶段，我们使用大量的高质量通识语料进行训练，然后用少量的高质量领域语料进一步训练。这个阶段通常时间长、计算量大。
l Instruct Finetune 阶段：然后是指令微调阶段，这里我们使用少量的高质量指令语料进行微调，时间相对较短。
l Human Feedback 阶段：最后是人类反馈阶段，我们持续根据人类的反馈来训练奖励模型，并依此进行强化学习训练。

注意事项
预训练和对齐：一般来说，"预训练"阶段指的是 pretrain 阶段，而"对齐"阶段则指的是 instruct finetune 和 human feedback 阶段。在这里，“对齐税”是一种必要的tradeoff。
ChatGPT 的身份：需要明确的是，ChatGPT 严格意义上并不是 OpenAI 的一个独立产品，而是获取人类反馈的一种方式。
通识与专业知识：对于爱数产品来说，短期内可能不会涉及到通识的 pretrain 阶段，而是更专注于特定任务的训练。

希望今天的分享能让你对大语言模型的训练过程有更加深入的了解。
更多《Able 说 AI》内容，详情点击：https://www.aishu.cn/cn/blogs?product=33 

请就本文对您的益处进行评级：

返回 下一篇：Able 说 AI丨RAG：大模型落地的...

标签

Able说AI

相关文章

Able 说 AI 丨 大模型中立：构筑全场景业务赋能的认知智能架构

Able 说 AI 丨 大模型中立：构筑全场景业务赋能的认知智能架构

Able 说 AI 丨 AnyFabric何以实现数据分析“平民化”？

Able 说 AI 丨 AnyFabric何以实现数据分析“平民化”？

Able 说 AI 丨 用 Copilot，秒变“数据科学家”

Able 说 AI 丨 用 Copilot，秒变“数据科学家”

热门标签

版本发布 在线教学

热门文章

AnyShare Family 7.0.5.5发布，更智能、更开放的知识创建及管理！ Able 说 AI 丨 大模型中立：构筑全场景业务赋能的认知智能架构 AnyFabric Family 2.0.0.2 更易用、更安全、更智能！

最近文章

AnyFabric Family 2.0.0.2 更易用、更安全、更智能！ Able 说 AI 丨 大模型中立：构筑全场景业务赋能的认知智能架构 AnyShare Family 7.0.5.5发布，更智能、更开放的知识创建及管理！
关于爱数
公司新闻
公司活动
客户成功故事
加入爱数
联系我们
如何购买
已有注册账户
加入伙伴生态
登录合作伙伴门户
进入伙伴赋能中心
快速链接
开发者社区
专家博客
知识库
隐私声明法律声明用户协议Cookie声明廉洁协议云服务等级协议（SLA）
电话咨询
联系爱数
销售咨询：400 8216055
技术咨询：400 8801569
在线交流
关注爱数
联系销售
技术支持

版权所有 © 2006-2023 上海爱数信息技术股份有限公司 沪ICP备09089247号 沪公网安备 31011202011832

语言选择
关于爱数
公司新闻
公司活动
客户成功故事
加入爱数
联系我们
如何购买
已有注册账户
加入伙伴生态
登录合作伙伴门户
进入伙伴赋能中心
快速链接
开发者社区
专家博客
知识库
电话咨询
联系爱数
销售咨询：400 8216055
技术咨询：400 8801569
在线交流
关注爱数
联系销售
技术支持
语言选择
隐私声明法律声明用户协议Cookie声明廉洁协议云服务等级协议（SLA）

版权所有 © 2006-2023 上海爱数信息技术股份有限公司 沪ICP备09089247号 沪公网安备 31011202011832

关于爱数
公司新闻
公司活动
客户成功故事
加入爱数
联系我们
如何购买
已有注册账户
加入伙伴生态
登录合作伙伴门户
进入伙伴赋能中心
快速链接
开发者社区
专家博客
知识库
电话咨询
联系爱数
销售咨询：400 8216055
技术咨询：400 8801569
在线交流
关注爱数
联系销售
技术支持
语言选择
隐私声明法律声明用户协议Cookie声明廉洁协议云服务等级协议（SLA）

版权所有 © 2006-2023 上海爱数信息技术股份有限公司 沪ICP备09089247号 沪公网安备 31011202011832

扫码关注「爱数官方微信」

扫码关注「爱数服务号」

大数据基础设施领航者

抖音扫一扫 查看更多精彩视频

大数据基础设施领航者

拨打400

免费销售咨询热线

400 8216055

7*24 小时免费售后服务热线

400 880 1569

购买咨询

购买咨询

售后服务

售后服务

申请试用

申请试用

返回顶部

免费销售咨询热线: 400 8216055

7*24 小时免费售后服务热线: 400 880 1569

拨打400

拨打400

购买咨询

购买咨询

售后服务

售后服务

申请试用

申请试用

为了给您提供更优质的服务，请您先完善以下信息：
确认提交

扫码关注

爱数技术支持中心公众号