1.3 ChatGPT为什么能写文章

ChatGPT的写作原理简介

ChatGPT自发布以来，吸引了无数用户。那么，ChatGPT的写作原理是怎样的呢？让我们一探究竟。

•预训练：ChatGPT首先在大规模的文本数据上进行预训练，这个阶段的目标是让模型学习语言的结构、语法、语境及丰富的语言知识。预训练的数据通常来自互联网上的大量文本，包括文章、新闻、维基百科等。

•Transformer架构：ChatGPT采用了Transformer架构，这是一种基于自注意力机制（self-attention）的深度学习架构。自注意力机制使模型能够在处理输入时更好地关注输入序列中不同位置的信息，从而更好地捕捉上下文关系。

•生成对抗训练：在一些生成式任务中，如对话生成，ChatGPT可能使用生成对抗训练（GANs）的思想。这包括一个生成器负责生成文本，一个判别器用于评估生成的文本与真实文本的相似度。通过反复训练，生成器不断提升所生成文本的逼真度。

•微调：预训练完成后，ChatGPT可能会在特定任务上进行微调。这样可以使模型更好地适应特定的应用领域，如对话系统、代码生成等。

•上下文敏感性：ChatGPT通过学习上下文的方式实现了对输入的敏感性。在对话中，模型能够理解之前的对话历史，更好地回应用户的提问或指令。

总而言之，ChatGPT的写作原理是基于深度学习、Transformer架构及大规模预训练的思想。通过这些步骤，模型能够生成自然、连贯且富有语言风格的文本，适用于多种自然语言处理任务。

Prompt、Token的概念简介

在ChatGPT越来越火的时候，很多开发者都想大展拳脚。但在这之前，我们需要了解一些基础知识。例如，什么是Prompt ？什么是Token ？

Prompt

Prompt即提示词，简单地说，就是要告诉ChatGPT需要做什么，类似程序员编程。但不同之处在于，你只需要输入纯文本，ChatGPT就会尽可能地理解你的意思，并完成你提出的任务。因此，Prompt的质量将会直接影响ChatGPT回答的质量。

我们需要了解Prompt的分类。按照Prompt的内容和形式，可以将其分为以下三类。

•Zero-shotprompts：零样本提示词。

•One-shotprompts：单样本提示词。

•Few-shotprompts：少样本提示词。

零样本提示词是指用户仅提供了一个任务描述，可以让ChatGPT完成一些简单、清晰的工作。

单样本提示词就是ChatGPT根据用户给出的Prompt了解到如何完成用户要求的任务。和零样本提示词不同，单样本提示词告诉了ChatGPT如何完成某一个任务，而不仅仅是下达了一个完成任务的指令。

如果是逻辑推理，我们可以给出一个计算示例，让模型进行学习；如果是生成类的任务，我们可以给出一个当前已有的例子，让模型进行学习。这就是少样本提示词。

综上所述，三者的区别主要在于上下文的多寡，上下文越多，得到的回答越准确。

Token

当一个Prompt被发送给ChatGPT时，它会被分解成多个Token，这个过程被称为Tokenier。当你与ChatGPT进行对话时，你的输入和模型的输出都是以Token为单位进行处理的。以ChatGPT为例，一个英文单词大约是1个Token，一个汉字是2个Token。

在ChatGPT中，有一个最大Token限制，即模型在处理输入和生成输出时能够处理的最大Token数量。超过最大Token限制的输入或输出将被截断或拒绝。总之，了解Token的概念对于在与ChatGPT进行交互时管理输入和输出的长度是很重要的。

---

[1] 内容来源：《艾瑞咨询：预测2023年中国AIGC产业规模约为143亿元，2030年有望突破万亿元》。