1、GPT-4的突破
1)意识分析和言语理解:GPT-3在美国BAR律师执照统考中达到人类水平的10%,而GPT-4达到90%的水平,相当于高等院校学生级别;GPT-4在生物奥林匹克竞赛中达到99%的水平,在美国高考中达到80%,在SAT等考试里也取得不俗的结果。此外GPT-4在不同语言上的表现取得重大突破(与GPT-3在英文情境下的表现相比,GPT-4在26种语言中的24种语言情境下的表现都更为优秀,GPT-4的中文准确度提升80%)。
2)多模态:GPT-4已经支持多模态,可以在图像的基础上给出一些分析结果、得出一些结论等,实现输入部分的巨大革新。此外使用RLHF即基于人类反馈的强化学习算法对其进行微调和拓展,建立一些可预测的针对不同行业的优化。
3)参数:GPT-3.5参数1750亿左右,GPT-4参数达到10万亿,参数是训练的基础。GPT-3.5在前段时间开了新版API接口,处理速度已经变快,GPT-4的输出从原先的2000-3000英文升级到25000的英文,例如原先达到文字上限后ChatGPT的输出就会断掉,现在输出的上限极大提高。
2、GPT-4迭代过程
OpenAI内部会在内容生成、销售编程等方面使用ChatGPT,GPT-4的预训练模型在去年8月完成,花了很长时间进行测试和微调,历时6个月,使用对抗程序和一些教材对ChatGPT进行迭代和调整。以前做语言模型的时候需要人工标注,找一些数据告诉其相应内容,从而花费一些时间,GPT-3存在回答不规范的情况,故使用对抗特殊程序对其进行训练,实现迭代革新。
3、GPT-4对行业影响
当前行业应用最成熟的还是ChatGPT,2013年谷歌提出基于深度学习处理NLP相关算法,2018年提出使用Transformer模型。从2018年ChatGPT雏形出现到现在已经有5年的积累,注册人数月活等数据都很惊艳。ChatGPT基于GPT模型,谷歌、百度等也在研究其他模型,国内方面百度布局的会更全面。百度推出文言一心和文心一格,各行业已经在预约参与文心一言行业模型的优化。GPT-4甚至可以做到替代较高端的劳动者,例如律师、程序员和财务等,能够极大提高工作效率。ChatGPT影响的赛道包括硬件平台、通用模型平台、文字输出对应的平台等。
Q:国内多模态能力和GPT-4的差距有多大?
A:国内在多模态输入输出部分有一定基础,例如百度的文言一心、文心一格包含视频、作曲、图片识别等方面的积累,从识别转化为逻辑认知可能还需要结合GPT-3.5的逻辑认知基础,基础资质大概具备了10-20分的水平,GPT-3.5大概是60-70的基础知识运用水平,预计三个月到半年左右国内可以追赶GPT-3.5对应的模型,在此之后才能继续谈多模态。
Q:多模态对哪些产业冲击较大?
A:律师、程序员等职业更多接触文字对应的工作,对于图表的理解分析GPT-4能够进行一定支持,在数据分析等领域有很大应用可能性。
Q:GPT-4相对于GPT-3.5,在逻辑处理等方面是否更完善?
A:它是从量变到质变的过程,例如在BAR中的考试成绩实现了从10%到90%的提升,相当于高等院校学生级别,此外底层数据从1750亿到10万亿,底层硬件拓展会逐步分解问题。现在ChatGPT的应用还会需要专家等进行一些辅助作证,GPT-4运用了很多对抗模型进行刁难训练,它在政治等问题上不会太出格。此外多模态是一个巨大突破,以非常快的速度处理相应事情,可以看作是从以太网发展到多媒体论坛时代。
Q:国内大模型玩家的竞争格局?
A:从国外来看,谷歌等其他厂家正在进行挑战,应该也会推出一些模型,目前ChatGPT一骑绝尘,这个领域应该是大而强的存在。国内文言一心应该可行,这个需要实际用户级别的反馈,大厂也会获得更多优质数据进行训练;此外专业AI公司在产业应用场景下会突出。
Q:GPT-4的边际成本能降得很低吗?
A:GPT-4从之前2000、3000字的文本输出变为支持25000字,预计也会很快地迭代和升级;OpenAI投入近130亿,它早期的费用非常高,之后应该会下降,预计3-5年,产业的应用会推动GPU等硬件成本的下降。ChatGPT应该很快会落实到终端,例如微软的集成就非常迅速。边际成本方面,硬件迭代非常快,就像搜索成本经历了飞速下降,GPU成本应该也会有类似经历。
Q:ChatGPT通过什么方法进行逻辑能力的提升,未来会达到什么样水平?
A:它使用Transformer模型进行预训练,预训练相当于把人类所有能找到的知识都用机器学习的方法训练了一次,模拟人的大脑,应对相应的输入进行相应的输出。GPT-4收集的模型和专业参数增加了很多,例如学习了律师等论文内容,加速在行业中应用的拓展。机器进化的过程是会加速的,预计未来升级速度会更快,目前已经达到高等学校学生水平,未来绝对会具有科研研究的能力,现在AI在蛋白质预测等领域已经发挥了一些作用,在逻辑推理、报表分析等方面可能会像常规科研人员一样行动。
Q:GPT-4为何没有推出视频应用?
A:视频等方面需要传统AI公司进行相应合作,OpenAI有文本生成图像的模型,也在视频方面一定进行了工作,但可能还没达到预期效果。多模态在行业应用广阔,图像是其在文字领域外拓展的第一步,预计有很多行业会尝试做一些应用。
声明:该文章系转载,文章版权归原作者及原出处所有,内容为作者个人观点, 登载该文章目的为更广泛的传递市场信息,并不代表本站赞同其观点和对其真实性负责,本站只提供参考并不构成任何投资及应用建议,并不用于任何商业目的,我们已经尽可能的对作者和来源进行了通告,但是能力有限或疏忽,造成漏登,请及时联系我们 zhicx#qq.com ,我们将根据著作权人的要求,立即更正或者删除有关内容。