ChatGPT是什么

ChatGPT全称聊天生成预训练转换器(Chat Generative Pre-trained Transformer),是OpenAI开发的人工智能聊天机器人程序,于2022年11月推出。背后的技术是一个大型语言预训练模型(即 Large Language Model,LLM)。

LLM 指的是利用大量文本数据来训练的语言模型,这种模型可以产生出强大的语言关联能力,能够从上下文中抽取出更多的信息。其实语言模型的研究从很早就开始了,随着算力的发展和数据规模的增长,语言模型的能力随着模型参数量的增加而提升。

ChatGPT 真正强大的地方在于他除了能够充分理解我们人类的问题需求外,还能够用流畅的自然语言进行应答,这是以前的语言模型不能实现的。

ChatGPT 擅长

ChatGPT虽然以对话机器人的产品形态提供服务,但是其本质上还是基于语言模型的能力。在应用层面上,他有三个强大的特质:

  1. 对人类输入的需求理解能力特别强。
  2. 善于进行知识的检索与整合。
  3. 生成能力很强,在长距离生成过程中不会有重复、不通顺、机械等传统生成模型固有的问题。

ChatGPT 不擅长

ChatGPT 目前的应用非常广泛,看似是一个能干的多面手,但他也有目前无法胜任的场景。比较典型的就是推理分析。虽然在引入了代码以及其他迭代优化后,ChatGPT 初步具备了一定的推理能力,但对于复杂的推理分析计算类任务,他回答错误的概率仍然非常大。

另外,在 ChatGPT 的训练过程中,使用了 RLHF (Reinforcement Learning From Human Feedback,基于人类反馈的强化学习)来引导模型按照人类偏好进行学习。然而,这种学习方式也可能导致模型过分迎合人类的偏好,而忽略正确答案。因此大家可以看到 ChatGPT 经常会一本正经的胡说八道。

最后,应用大模型时绕不过的一个问题就是数据隐私安全。无论是 ChatGPT,还是国内即将推出的大模型,由于 B 端客户很少有硬件资源能够匹配上,很难进行私有化本地部署,通常是以 LaaS (License as a Service)的形式提供服务。而且目前大模型在专业垂直领域的效果还是未知的,因此通常需要使用领域语料进行微调,这就意味着数据要流出到模型服务提供方。一般大型公司对于数据的流出是非常慎重的,因此如何在安全合规的条件下,完成这一条链路的流转,是目前需要解决的问题。

额外提一个应用:代码生成。这个场景既是能也是不能。他在 python 语言的编码能力上确实不错,甚至能生成一段 textcnn 的实现;但是在 java 或者其他编程语言上,他的生成质量就相对较差了,而且生成的代码质量也不如一个经验丰富的工程师,在代码执行性能上暂时还无法满足需求。

收费

ChatGPT 提供免费和付费两种版本。截止2024年2月,GPT3.5版本免费,GPT4版本限定付费的Plus成员使用,每个月20美元。

官方网站

https://chatgpt.com/