1.1. ChatGPT
ChatGPT 是由 OpenAI 开发的尖端对话人工智能产品,基于 GPT 系列语言模型设计,旨在生成类似人类的自然语言应答。ChatGPT 因其生成连贯、上下文相关的应答能力而备受欢迎。
ChatGPT 建立在多项底层技术之上,包括自然语言处理、循环神经网络、Transformer 和 GPT。它还使用了一种称为 RHLF 的训练方法,简单来说即人工标注+强化学习。这种训练方法可以让模型从错误中学习,不断改进。
其最核心的底层语言模型叫做 Generative Pre-trained Transformer,简称 GPT,该系列语言模型最初由 OpenAI 在2018年推出。自那时以来,该公司一直在对模型进行改进,目前历经 1、2、3、4 代,也被称为 GPT1、GPT2 等,而 GPT3.5 可以理解是 OpenAI 为了推出 ChatGPT,在 2022 年 1 月推出的 GPT3 的优化版。
而 ChatGPT 是基于 GPT 系列模型所创建的产品,目前(2023.03)官网的对话机器人 ChatGPT 可以使用 3.5 版本和 4 版本的 GPT 模型。
👨🏻💻 相关阅读与来源 1
- ChatGPT已经席卷全球,这其中有一些原因:
- 它拥有1,750亿个参数,成为最大的语言模型。
- 它在各种NLP任务和应用程序上展现出了惊人的性能。
- 它庞大的大小和多样化的训练数据使其能够生成高质量的文本,并以高准确度回答各种问题。
- 然而,该模型的计算要求以及潜在的偏见和错误在部署它到真实世界应用时是重要的考虑因素。此外,黑客可能会利用它进行成功的攻击。
- 但是让我们面对现实吧,ChatGPT有一个充满希望的未来。它最近从微软获得的投资和订阅试点的推出证明了这一点。