关于ChatGPT的七个关键问题和技术思考
近期，ChatGPT成为人工智能领域现象级热点。这是由美国OpenAI公司发布的对话机器人，其“投人所好”的回答备受社会各领域关注，甚至产生是否意味人工智能新一轮技术革命、是否具备类人认知、是否演变为“强大而危险的AI”等一系列热点争议。
本文剖析ChatGPT的底层技术和演化路径，总结认为其是近几年不断迭代的多种技术叠加而取得的重大成果，属于重大的组合式创新，而也非根本性创新。同时，ChatGPT是人工智能生成内容（AIGC）的重要产品化应用，是工程化突破，将带来数字内容生产方式和消费模式的升级，呈现新型虚实融合的数字文明。
一、ChatGPT历史版本表现不及Google BERT模型，坚持技术理想终于实现重要突破，未来Google相应的模型也值得期待
GPT和BERT是近几年自然语言领域广受关注的预训练语言模型。其中，GPT-1由OpenAI于2018年6月发布，Bert是同年10月谷歌AI团队推出。两者都是基于Transformer模型架构（2017年6月谷歌团队提出），但是GPT以生成式任务为目标，主要是完成语言生成，如聊天、写作等，BERT模型更注重判断决策，强调语言理解相关的任务，如问答、语义关系抽取等。
表 GPT和Bert是两类语言模型的典型代表
历史版本上，GPT的模型效果弱于BERT，但OpenAI坚信生成式技术优势并不断迭代模型。虽然生成式模型的可控性差、训练难度高，但OpenAI瞄准生成式模型的通用范式高、训练过程更接近运用部署等技术应用优势，始终坚持迭代部署。ChatGPT的研发过程是艰难曲折的，2018年6月发布GPT-1，而4个月后被谷歌的BERT模型全面超过；2019年2月发布GPT-2，整体效果仍不如BERT；2020年5月发布GPT-3，展现了“提升学习”这一新特点，生成效果离实际应用还有很大距离。事实上，业界对BERT模型认可度高，多数沿着“无监督训练”和“下游任务微调”的研究范式开展开发，但OpenAI依旧坚持以生成式任务为目标，终于在2022年11月发布ChatGPT，产品十分惊艳，是有史以来最短时间用户量突破1个亿的应用。
二、ChatGPT叠加迭代多种技术，是组合式的迭代创新，也非根本性的理论创新
ChatGPT全称为Chat Generative Pre-Trained Transformer，即聊天型生成式预训练转换模型，从算法分类上来讲，它属于生成式的大规模语言模型，其底层的技术，包括Transformer、有监督微调训练、强化学习等，已在人工智能领域有广泛的应用，并非算法上的实质性创新。ChatGPT巧妙地叠加这些技术，成功展现了由于模型规模带来的突现能力，经过近几年不断迭代部署，量变的积累产生质变，形成了ChatGPT的语言智能。
本质上，ChatGPT是基于大规模语料训练的生成式模型，相比于目前广泛运用的判别式模型，它不局限于在已有的内容的判断、预测（如人脸识别），而是进一步学习归纳后进行演绎，基于历史进行模仿式创作，并生成合意的内容（如文本创作）。
具体来看，ChatGPT的训练原理包含三个步骤，在大语言模型训练基础上，往复多次采用有监督的精调学习和基于人工反馈的强化学习，从而不断加强ChatGPT模型的参数质量，实现模型对话能力关键性突破。
表ChatGPT训练包含的三个步骤
注：PPO（Proximal Policy Optimization），是一种强化学习算法
三、ChatGPT的类人表现基于大量优质的数据语料训练，实现对话意图识别和内容生成能力的突破，但具体场景的通用性和鲁棒性弱于工业界的判别类模型
在人工智能领域，ChatGPT是AI算法里程碑式的成果。根据ChatGPT的实际使用反馈，ChatGPT的跃迁式进步体现在——它的交互回答与人类意图的一致性较高，更能“投人所好”，具体表现在它的“意图理解能力强”并且“生成能力强”，尤其是在多轮对话下能够领会人类的意图，融合异构数据，产生有逻辑且多样化的长文本，远远超过了目前其他AI语言模型的使用效果。
关于强大的对话能力，除了在“大模型、高算力、算法调优”方面的优势外，数据侧的整理、清洗、人工标注等工程化细节启到了关键核心作用。ChatGPT的训练语料主要来自Common Crawl、各类网页、书籍及维基百科，而目前OpenAI公司并未公布更多数据处理和工程化过程，包括（1）数据筛选方法，如何在海量网页文本进行数据的质量判断和选取；（2）数据收集设置细节，如何确定网页文本、代码、公式和论文的比例，以用于第一步训练大语言模型；（3）粗加工技术，例如对千亿级tokens的编码技术；（4）精加工技术，例如如何在第二步训练中选择和确定进行人工标注的1.5万个问题。
由此，ChatGPT的知识来源于数据库语料，回答的准确性以及是否合乎伦理道德都会受到训练数据的影响，并且难以完成训练数据库以外的任务。
总的来说，GPT和BERT针对的任务和场景不同，但在各自方向中都有很好的表现，都是非常强大的语言模型，
四、ChatGPT进步的关键技术之一是基于人工反馈的强化学习，但 “强化学习”在工业界复活的判断还为时过早
基于人工反馈的强化学习使ChatGPT的类人表现更进一步，但这并不意味着强化学习将立刻在工业界重新获得广泛运用。主要出于以下几点原因：一是虽然OpenAI在强化学习上做了大量工作，但是强化学习的两个应用核心痛点尚未有效解决：数据使用效率仍旧不高，强化学习仍有太多超参数需要调节；二是对于现在强化学习在ChatGPT中起到作用的相关效果评价还不够完整，需要剔除仅由增加数据带来的增益；三是强化学习模型的必要性仍需验证，在增加第二步训练中数据量的情况下，第三步训练是否仍然必要，或是可以用更简单直接的算法利用第三步中的增量标注数据去迭代优化原模型的参数，都还有待进一步验证。
图：各阶段训练在ChatGPT模型上产生的效果评价
图表来源：openAI的官方博客
五、AI技术演化不会趋于单一化，而是“分久必合，合久必分”
人工智能技术作为数字时代新一轮科技革命和产业变革的重要战略引擎，整体呈现“分久必合，合久必分”的动态上升趋势。
从机器学习的模型训练来讲，目前经历“有监督学习→自监督学习→有监督学习”的技术演变过程，也就是从“标注数据→海量无标注数据+大模型→高质量标注数据”，技术发展从追逐模型大小回归到提升数据质量，这并不是全盘否定自监督学习的技术意义，简单回归机器学习的技术原点，而是技术的螺旋式上升过程。
从整个AIGC（人工智能生成内容）技术的发展来讲，已经进入即分又合的时代。从开始“多头并进”演变为“多点发力”，同时在“文本→文本”、“文本→图片”、“文本→代码”、“文本→声音”、“文本→视频”五个领域同时探索，但是共性关键技术有一致性，等于同一技术在同时做五个试验，技术迭代成功率增加至五次方倍，所有这些方面的技术进步将助推AIGC技术的成熟，丰富人们的数字生活。
六、机器和未来人类的关系会出现重大转变，且更加以人为中心
数字时代下，以ChatGPT为代表的人工智能生成内容（AIGC）将不断革新数字内容的生产方式和消费模式，呈现人工智能强大的生产力变革效能。
首先是信息交互方式将发生重大改变，目前信息的交互以搜索引擎为主，ChatGPT将成为人工智能行业的基础设施，带来信息处理能力和内容生成能力的极大提升，致使文本理解、知识挖掘和表征、知识存储和检索等方面产生根本性的成本效率改善。
其次，人工智能行业将会发生生态颠覆，部分传统人工智能产业将展现新的生命力，但同时部分行业也将面临淘汰的威胁。智能客服将受到最为直接的影响，其灵活性和人性化服务能力显著提升，在非深度专业服务方面能力接近于或超过真人客服，而且是所有公司都将会低成本普遍获得的一种能力。相应地，对于垂直但领域的行业特性不强的公司，以及没有数据和行业壁垒、仅提供通用文本处理能力的公司，都会受到降维打击，例如“根据标题+关键词生成营销文案”、“邮件自动填写”、“AI写作助手”等。
由此，机器和未来人类的关系会出现重大转变，ChatGPT将成为“大众秘书”，提高人的生产效率，替代人的简单重复性劳动，实现社会生产效率的提升。人工智能为广泛社会群体快速实现“草稿准备”、“文字归纳”、“专家型知识获取”等功能，并且专属机器秘书像私人管家一样，结合相关主体偏好，辅助形成个性化复杂决策建议。同时，技术发展将营造新的职业机会，人类的数字文明更进一步。
七、实现国产中文版仍存挑战，数据量是关键要素，高质量的数据将是最大优势
短期内，凭借市场力量即刻推出国产中文版ChatGPT仍存在不小挑战。单就语种而言，中文语料训练难度大，在数据质量上，中文网页质量比英文网页质量差很多，在训练要求上，由于中国文化多样性和悠久性，语言训练难度较英文高，即使在目前在ChatGPT的语料库里中文也仅占5％，ChatGPT在中文环境的交流效果远弱于英文环境。
并且，国内主体短期攻关相关技术也需要一定时间。在人工智能技术方法论上，目前国内研究者多数依循谷歌的研究路径，即“模型+算力+优化”，需要进行研究范式的转变。在相关AI理论的攻关和参数的实验上，也需要进行不断的尝试和经验的积累，难以一蹴而就。
八、马上消费乘ChatGPT之势，锻造沉浸式数智体验
马上消费持续研究并拓展人工智能生成内容（AIGC）的创新应用，在类ChatGPT技术上，取其算法要义精华，专注消费金融领域的模型精调，实现专业领域的AI内容生成，并成功为用户提供丰富多样的数字金融服务。
在大模型研究方面，公司聚焦垂直领域的专业化。自成立以来，马上消费专设人工智能研究院，获批建设国家级博士后科研工作站、国家应用数学中心、智慧金融与大数据分析重点实验室等科研平台。基于消费金融领域的专业知识，使用来自人类反馈的强化学习来训练语言模型；在大模型控制方面，完善算法框架，实现在圈定的“常识+专业知识”上进行对话和推理；在大模型的学习能力方面，聚焦自问自答得递归加深理解功能，由机器人生成问题，并自行回答或搜索答案，最后根据这些自问自答生成最终答案。
同时，克服GPU的不足、经验的欠缺，探索大小模型的‘精调训练’和‘推理使用’的能力。大模型的训练和应用离不开数据，马上消费拥有超1.6亿注册用户，构建完成高度自适的消费金融数据资产管理体系。在充分释放自身数据要素价值的条件下，探索适应消费金融行业实际的大模型训练与应用实际。设计基于公司数据的训练“问答对”，既保留原有大语言模型的常识和通用推理能力，又独有垂直细分数据上产生类似的能力扩展。公司在大模型应用主要是数据加工、模型优化、表征生成三个方面，结合大模型“超级打标员”技术对数据进行标注，并生成“伪数据”以加强下游任务训练；将大模型作为母模型，蒸馏训练出效果类似的小模型；利用大模型对内部文本生成更好的表征，这些表征可以用来做下游知识抽取，知识注入等。就目前的实践成果来看，公司高度拟人的虚拟客服完成重复问题简单快速处理，达到95％准确率、85％自助率，降低金融服务成本，提升了用户体验。
并且，基于“科技让生活更美好”的愿景，公司积极推动人工智能生成内容（AIGC）标准的制定，从规范约束和风险监控两个方面来保证机器智能生成内容的可信合规，助力内容生成产业高质量发展。
整体而言，马上消费坚持在构建高可信数据资产体系的基础上，不断研发多模态、多场景、持续学习的类ChatGPT应用，为用户锻造沉浸式AI交互服务。
马上消费金融股份有限公司副总经理兼首席信息官蒋宁
本文源自：金融界资讯
