ChatGPT真的那么强吗？解读背后的技术路线、差距与一些思考【白呀白Talk】
大家早上好
AI绘画的浪潮还没有散去
AIGC最近又快速的迎来出圈
异常火爆
在过去一两个月
OpenAI旗下的聊天机器人ChatGPT
可谓是风头正盛
不同于过去的机器人助手
它不仅能像真人一样聊天
回复的内容更加随机
并且能够总体保持
信息的专业性和参考性
随着人们的使用
借助其高质量的性息获取方式
大家发现
它不仅能够编写出像样的程序
检查出代码的bug
还能帮助学生写出不错的论文
甚至能够通过从医资格
律师资格的考试
这些延展能力
让人们“惊掉了下巴”
就连马斯克也忍不住表示
认为ChatGPT
离我们人类危险而强大的AI不远了
OpenAI的市值更是一度
突破了200亿美元
另一方面
我也关注到
随着ChatGPT的备受追捧
在我们国内业内
也引发了强烈而又广泛的震动
有百度的人士表示
他不愿多谈ChatGPT
言语之间
五味杂陈
有国内某厂表示
ChatGPT从回答的逻辑性和完整性上
都远超国内的大模型
国内大模型的答案带有明显的拼凑感
更多的
我关注的一些人工智能领域的专家
他们纷纷表示
如今ChatGPT所展示的能力
让他们寝食难安
难以入眠
那么今天这期视频
我们就来聊聊
我们应该如何看待
OpenAI的ChatGPT呢
ChatGPT到底厉害在哪里呢
对于我们来说
又有什么启发意义呢
首先我们要理解一项技术的应用能力
包括未来的具体商业价值
我们就一定要
自己去深入认真的去了解
其背后的技术原理
由于ChatGPT的论文还没有发布
我们还无法直接了解其背后的方法论
不过在OpenAI的官网
我们还是可以找到一些蛛丝马迹
里面提到ChatGPT和InstructGPT
所使用的方法和原理大体上是相同的
只是在数据的收集方式有所不同
而ChatGPT也是在基于
InstructGPT和GPT-3.5上
微调得来的
那么简单的说
InstructGPT就是ChatGPT的兄弟
那么正好
InstructGPT这篇论文
其实去年就发布了
我在这个周末
认认真真的读了两遍
我和大家大致介绍一下
ChatGPT的技术原理
纵观全文
导读中的这张图
其实就很好的说明了
ChatGPT的训练方式
首先是第一步
OpenAI找了一些人
文章说的是40多个外部团队
首先他们会写出一些各种各样的问题
有点类似于6岁小孩的“十万个为什么”
然后继续让人来写出答案
有了问题和答案之后
会在这上面会做一些fine-tuning
中文叫做监督学习下的指令微调
这个模型被叫做SFT
这里的步骤
有点类似于我们日常使用的
百度百科 维基百科 悟空问答的形式
我们会发现
撰写这些问题
筛选准确的答案
其实有着非常高的
筛选成本和管理成本
为了解决这个问题
然后到了第二步
这里InstructGPT
做了一件什么事情呢
首先它会根据具体的问题
生成一些随机答案
比如说 A B C D
让后它会通过这四个答案
让人们来进行排序
排序后的对比数据
继续RM训练
也就是奖励模型
计量模型会用于预测人类偏好的输出
最后第三步
根据生成好的标量奖励
结合前面生成好的SFT模型
再不断地更新梯度
形成正向迭代
从InstructGPT核心的强化学习函数模型中
其实也可以非常清楚的看出
其中这部分的是学习的RL策略
SFT是监督训练模型
Dpretrain是GPT3的训练分布
而其中每一次“x”的更新
“y”也会更新
再在加上原始的预训练函数
形成新的强化学习反馈
思路特点非常清晰
那么接下来
我就不和大家介绍
文章中使用的实验数据和方法论了
有兴趣的朋友
可以自己下载原文去学习一下
那么ChatGPT
到底牛在什么地方呢
我这里
简单和大家总结归纳一下
首先第一点
ChatGPT解决了过去AI领域
“大力难出奇迹大力”这样一个困局
在过去深度学习NLP领域
随着模型的增加
往往需要依靠
大量的训练数据来做支撑
但是随着数据量的增加
人们又发现
杂讯也会增多
提取有效数据内容和知识的难度
也会呈一个指数级的增加
而ChatGPT的方法论
其实就是提供了一个目前
解决这个矛盾一个非常有效的思路
然后第二点
随着ChatGPT
等大型语言模型（LLM）的成功
其实也标志着
各类模型有大一统的趋势
它让很多 NLP 的子领域
天然的失去了其存在的意义
包括机器翻译 文本归纳 QA问答
甚至是网页搜索等很多方面
我们可以想象
超大规模加上多样性的数据
以及充分的训练过程
这些领域完全可以无缝切换到
预训练+可监督微调
InstructGPT框架下
而事实上
语音翻译 知识问答 搜索引擎
单个宁出来
其背后都是百亿千亿级别的公司
第三点
我个人认为也是最主要的一点
说实话
目前我们担心的不是
ChatGPT 4.0 5.0 甚至6.0
而是一种趋势一种方法的深层次担忧
通过网上很多实例我们可以看到
ChatGPT确实是一个很实用的技术
特别是在一些专业领域
特别是在一些有专业人士
不断提问不断标记的情况下
它训练的精度准确性
还是非常恐怖的
这种担忧是切切实实的
比如说我表弟是做神经外科的医生
过年期间
我就和他讨论过AI诊断的话题
他明确的告诉我
在临床决策和诊断速度方面
机器目前已经有了无法比拟的优势
包括现在围棋项目
据我了解
现在与AI练棋
学习AI的下棋方式
反而成为了围棋届的大趋势
况且医生围棋如此
在其实大部分的领域
未来产生质的变化
可能性是越来越大
说实话再过几年
大家的工作被机器人所取代
可以说
其实完全不用感到惊讶
接下来我们讨论一个严肃的话题
我们落后了吗
不得不承认
我们确实落后了
随着GPT-3.5的推出
其实也就代表着
我们离OpenAI Deepmind的差距
将会进一步拉大
中国人是喜欢自我反思的
落后了
就会进一步的思考自身的不足
并采取行动
我发现网上有两派论调
一派是极度悲观的
认为我们在大型语言模型方向上
完全不应该投入
中文英文有本质的区别
我们无法用英文代码
编写出中文版的ChatGPT
对于这个观点我是完全不同意的
觉得可气又可笑
这类观点在中文网络被广为流传
我觉得不可思议
实际上
对于机器来说
语言只是外壳
包括中文分词
词性标注
NER
句法分析
这些其实都是小问题
我们国内其实也有百亿级别的
中文巨型模型
包括华智的GLM
百度文心大模型
阿里m6大模型
华为盘古大模型等等
还是一些数码博主
提到了AI芯片卡脖子问题
让我们很难追赶OpenAI
实际上我们国内现在训练百亿
千亿（模型）的规模
在基础设施层面上
实际上已经不是什么大问题了
除了能效低一点
总体上还是可以应付的
并非语言
并非芯片
那么也随之又有另一派
极度乐观的观点
他们认为我们已经具备了
复刻成ChatGPT所有的条件
只要我们投入足够大量的资金
就能够在短时间内
做成一个开源版的
中文版的ChatGPT
这一派的观点
我也不是特别认同
首先我们要知道
ChatGPT的前期投入
是在几百亿的量级
即使是当下的OpenAI
依然在大量的烧钱
依然没有看到任何
商业化的可行路线
我们要知道腾讯
2022年的全年利润
也就322亿人民币
即便是是腾讯
说实话也很难立即投入
这样打这样完全看不到
商业化目标的上百亿项目
同时
过去我们很多项目
都是建立在开源的改进上
GPT-3之后
OpenAI所有的模型都没有开源
ChatGPT如何优化数据
如何去提高数据的质量
说实话我并没有看到
国内任何厂商了解得特别清楚
所以并不是适合
在没有搞清楚 How 的情况下
去To do
推大LLM的模型
这件事情看似没有什么技术含量
实际上这件事情并不是
“大力能出奇迹”的
对于技术团队的数据工程实现能力
要求非常高
那么我们应该怎么去看待ChatGPT
两个方面
一方面
我们不要神话它
现阶段的ChatGPT
并非无所不能
首先ChatGPT是基于巨大模型的
端到端深度学习解决方案
线上部署的反应时效和用户量
依然很难平衡
目前OpenAi推出了付费订阅
但我听说目前相应时间还是比较慢
商业化道路依然还有很长的路要走
其次目前的GPT-3.5
并不具备真正的推理能力
虽然ChatGPT看似
有类似人类的学习能力
但事实上对于回答背后的概念
对于诗词背后的情感
数学公式背后的原理
对于人类知识的提炼
它是没有一个具体概念的
说人话就是ChatCPT还是只是
“聊天工具”
还不是“思维工具”
我比较认同
最近南京大学周志华教授的观点
他认为
未来人工智能
除了“数据 算法 和算力”
三个要素
还需要加上“知识”
第四要素
其实ChatGPT也是在大数据角度
展现出了人类提取知识
到用人类语言精简优化表述的目标
而从根本上
从GPT-1.0到GPT-3.5
进化的是记忆和语言组织能力
OpenAI其实并没有实现
从无尽的人类知识海洋
到抽象推理本质上的演变
在可见的未来
在当下中美的大环境下
可以预判
可以看到未来LLM一定是我们
被“卡脖子”的重要领域
我们一点要提前做好准备
我认为
对于LLM的发展
我们一定要持有长期主义
而不是功利主义
目前我们一定要放弃
过去 “跟风-模仿-量产” 的做法
而是要去思考一些深层次的问题
所谓长期主义
就是要不断地投入
小步慢跑
局部突破
我们需要思考什么是真正的AI
什么是真正的知识的提取
什么是真正的知识的判断和推理
这才是本质
抓住本质
保有长期主义
注重人才注重科学积累
这样我们才有未来
总而言之
ChatGPT需要我们引起足够的关注
关注它 就是关注我们的未来
这也是我做这期视频的动力
这期视频比较长
看到这里的朋友
内心是非常感谢的
如果大家有什么问题
也欢迎大家在下面留言
我们可以展开更多讨论
那么今天的视频就到这里
朋友们
我们下期再见！