跳至主要内容

理解 ChatGPT

ChatGPT, GPT Models & Large Language Models (LLMs)​

GPT​

ChatGPT 的基礎技術是「生成預訓練轉換器」（ GPT, Generative Pre-trained Transformer）
GPT 模型是一種 AI 模型，由 OpenAI 公司研發。ChatGPT 是應用 GPT 模型的 Web App。

LLM​

GPT 是一種 LLM（Large Language Model 大型語言模型）。
LLM 是一種機器學習模型，可實踐 NLP（Natural Language Processing 自然語言處理），
其語言生成係根據輸入詞彙及其順序機率而定。

LLMs & Neural Networks​

LLM 是 神經網路的應用。例如 GPT 3.5 即是以帶有 175 億個參數及 96 個層（layers）的 Transformer Neural Network。

Model Finetuning & Moderation​

ChatGPT 的使用者送出 prompt（起始文本）後，會先經由 Moderation API 審查文本，
審查結果會影響 ChatGPT 輸出的內容。透過此機制可確保 ChatGPT 生成的內容符合特定的使用標準與規範。

ChatGPT Limitations​

  • Limited Training Data
    2023 年 5 月時，ChatGPT 的訓練資料為 2021 年 9 月以前的資料，
    因此無法根據在此之後發生的事情產出回答。
  • It's About Patterns, Not Logic
    ChatGPT 是根據自然詞語的模式回答問題，而非真的理解邏輯。