如何使用ChatGPT API训练具有自定义知识库的AI聊天机器人-526互联

在我们之前的文章中，我们演示了如何使用 ChatGPT API 构建 AI 聊天机器人，并分配一个角色来对其进行个性化设置。但是，如果您想根据自己的数据训练 AI，该怎么办？例如，您可能有一本书、财务数据或大量数据库，并且您希望轻松搜索它们。在本文中，我们为您带来了一个易于遵循的教程，介绍如何使用 LangChain 和 ChatGPT API 使用自定义知识库训练 AI 聊天机器人。我们正在部署LangChain，GPT Index和其他强大的库，以使用OpenAI的大型语言模型（LLM）训练AI聊天机器人。因此，让我们看看如何使用您自己的数据集训练和创建 AI 聊天机器人。

使用 ChatGPT API、LangChain 和 GPT 索引使用自定义知识库训练 AI 聊天机器人（2023）

在本文中，我们更详细地解释了使用您自己的数据教授 AI 聊天机器人的步骤。从设置工具和软件到训练AI模型，我们以易于理解的语言包含了所有说明。强烈建议从上到下按照说明进行操作，不要跳过任何部分。

注意：本教程已于 6 月 <> 日更新，修复了错误。现在，运行代码时不应收到“BaseGPTIndex”或“llm_predictor”错误。

使用自己的数据训练 AI 之前的注意事项

1. 您可以在任何平台上训练 AI 聊天机器人，无论是 Windows、macOS、Linux 还是 ChromeOS。在本文中，我使用的是 Windows 11，但其他平台的步骤几乎相同。

2.本指南面向一般用户，说明用简单的语言进行说明。因此，即使您对计算机有粗略的了解并且不知道如何编码，您也可以在几分钟内轻松训练和创建Q&A AI聊天机器人。如果您关注我们之前的 ChatGPT 机器人文章，那么理解该过程会更容易。

3. 由于我们将根据自己的数据训练 AI 聊天机器人，因此建议使用具有良好 CPU 和 GPU 的功能强大的计算机。但是，您可以使用任何低端计算机进行测试，并且它可以正常工作。我使用Chromebook使用一本100页（~100MB）的书来训练AI模型。但是，如果要训练运行到数千页的大量数据，强烈建议使用功能强大的计算机。

4. 最后，数据集应该是英文的，以获得最佳结果，但根据 OpenAI 的说法，它也适用于流行的国际语言，如法语、西班牙语、德语等。因此，请继续尝试用您自己的语言进行尝试。

设置软件环境以训练 AI 聊天机器人

像我们上一篇文章一样，你应该知道Python和Pip必须与几个库一起安装。在本文中，我们将从头开始设置所有内容，以便新用户也可以了解设置过程。为了给你一个简短的想法，我们将安装Python和Pip。之后，我们将安装Python库，其中包括OpenAI，GPT Index，Gradio和PyPDF2。在此过程中，您将了解每个库的功能。同样，不要担心安装过程，这非常简单。关于这一点，让我们直接进入。

安装蟒蛇

1.首先，您需要在计算机上安装Python（Pip）。打开此链接并下载适用于您的平台的安装文件。

2. 接下来，运行安装文件并确保启用“将 Python.exe 添加到 PATH 复选框。这是极其重要的一步。之后，单击“立即安装”并按照常规步骤安装 Python。

3. 要检查 Python 是否正确安装，请打开计算机上的终端。我在Windows上使用Windows终端，但您也可以使用命令提示符。到达此处后，运行以下命令，它将输出 Python 版本。在 Linux 和 macOS 上，您可能必须使用 python3 --version 而不是 .python --version

python --version

升级点

当你安装Python时，Pip同时安装在你的系统上。因此，让我们将其升级到最新版本。对于那些不知道的人，Pip是Python的包管理器。基本上，它允许您从终端安装数千个 Python 库。使用 Pip，我们可以安装 OpenAI、gpt_index、gradio 和 PyPDF2 库。以下是要遵循的步骤。

1. 在计算机上打开您选择的终端。我使用的是Windows终端，但您也可以使用命令提示符。现在，运行以下命令以更新 Pip。同样，您可能必须在Linux和macOS上使用和。python3pip3

python -m pip install -U pip

2. 要检查 Pip 是否已正确安装，请运行以下命令。它将输出版本号。如果您遇到任何错误，请按照我们的专用指南了解如何在Windows上安装Pip以修复与PATH相关的问题。

pip --version

安装 OpenAI、GPT Index、PyPDF2 和 Gradio 库

一旦我们设置了Python和Pip，就该安装必要的库了，这些库将帮助我们训练具有自定义知识库的AI聊天机器人。以下是要遵循的步骤。

1. 打开终端并运行以下命令以安装 OpenAI 库。我们将使用它作为LLM（大语言模型）来训练和创建AI聊天机器人。我们还将从OpenAI导入LangChain框架。请注意，Linux 和 macOS 用户可能必须使用 pip3而不是 pip

pip install openai

2. 接下来，让我们安装 GPT 索引，也称为骆驼索引。它允许LLM连接到作为我们知识库的外部数据。在这里，我们正在安装与下面的代码兼容的旧版本的gpt_index。这将确保您在运行代码时不会收到任何错误。如果您已经安装了gpt_index，请再次运行以下命令，它将覆盖最新的命令。

pip install gpt_index==0.4.24

3. 之后，安装 PyPDF2 来解析 PDF 文件。如果您想以PDF格式提供数据，此库将帮助程序轻松读取数据。除此之外，通过运行以下命令安装PyCryptodome。再次这样做是为了避免在解析PDF文件时出现任何错误。

pip install PyPDF2
pip install PyCryptodome

4. 最后，安装 Gradio 库。这是为了创建一个简单的 UI 来与训练有素的 AI 聊天机器人进行交互。我们现在已经完成了训练 AI 聊天机器人所需的所有库的安装。

pip install gradio

下载代码编辑器

最后，我们需要一个代码编辑器来编辑一些代码。在Windows上，我会推荐Notepad++。只需通过随附的链接下载并安装程序即可。如果您熟悉功能强大的 IDE，也可以在任何平台上使用 VS Code。除了VS Code，您还可以在macOS和Linux上安装Sublime Text（下载）。

对于ChromeOS，您可以使用出色的插入符号应用程序（下载）来编辑代码。我们几乎完成了软件环境的设置，是时候获取OpenAI API密钥了。

免费获取 OpenAI API 密钥

现在，要基于自定义知识库训练和创建AI聊天机器人，我们需要从OpenAI获取API密钥。API密钥将允许您使用OpenAI的模型作为LLM来研究您的自定义数据并得出推论。目前，OpenAI正在向新用户提供免费API密钥，前三个月有价值5美元的免费信用额度。如果您之前创建了 OpenAI 帐户，您的帐户中可能有 18 美元的免费信用额度。免费信用额度用完后，您将需要支付 API 访问权限。但就目前而言，所有用户都可以免费使用它。

1.前往 platform.openai.com/signup 并创建一个免费帐户。如果您已经有一个OpenAI帐户，只需登录即可。

2. 接下来，单击右上角的个人资料，然后从下拉菜单中选择“查看 API 密钥”。

3.在这里，单击“创建新的密钥”并复制API密钥。请注意，以后无法复制或查看整个 API 密钥。因此，强烈建议立即将 API 密钥复制并粘贴到记事本文件中。

4.接下来，转到 platform.openai.com/account/usage 并检查您是否有足够的信用额度。如果您已经用尽了所有免费信用额度，则可以从此处购买OpenAI API。如果您想获得更多免费积分，您可以使用新的手机号码创建一个新的 OpenAI 帐户并获得免费的 API 访问权限（最高价值 5 美元的免费代币）。这将防止您在运行代码时遇到错误 429（您超出了当前配额，请检查您的计划和计费详细信息）。

5. 最后，不要公开分享或展示 API 密钥。这是一个私钥，仅用于访问您的帐户。您还可以删除 API 密钥并创建多个私钥（最多五个）。

使用自定义知识库训练和创建 AI 聊天机器人

现在我们已经设置了软件环境并从 OpenAI 获取了 API 密钥，让我们训练 AI 聊天机器人。在这里，我们将使用“gpt-3.5-turbo”模型，因为它比其他模型更便宜、更快。如果您想使用最新的“gpt-4”模型，您必须有权访问 GPT 4 API，您可以通过在此处加入候补名单获得该 API。有了这些，让我们跳到说明。

添加文档以训练 AI 聊天机器人

1. 首先，在桌面等可访问位置创建一个名为 docs 的新文件夹。您也可以根据自己的喜好选择其他位置。但是，请保留文件夹名称。

使用 ChatGPT API、LangChain 和 GPT 索引使用自定义知识库训练 AI 聊天机器人（2023）

2. 接下来，将您希望用于训练 AI 的文档移动到“文档”文件夹中。您可以添加多个文本或PDF文件（甚至是扫描的文件）。如果您在Excel中有一个大表格，则可以将其导入为CSV或PDF文件，然后将其添加到“docs”文件夹中。您甚至可以添加SQL数据库文件，如此Langchain AI推文中所述。除了上述文件格式之外，我没有尝试过很多文件格式，但您可以自己添加和检查。对于这篇文章，我添加了一篇关于 PDF 格式的 NFT 的文章。

注意：如果您有大型文档，则处理数据需要更长的时间，具体取决于您的 CPU 和 GPU。此外，它将快速使用您的免费 OpenAI 代币。因此，一开始，从一个小文档（30-50 页或 < 100MB 文件）开始了解该过程。

使代码准备就绪

1.现在，启动Notepad++（或您选择的代码编辑器）并将以下代码粘贴到新文件中。再一次，我从Google Colab上的armrrs中得到了很大的帮助，并调整了代码，使其与PDF文件兼容，并在顶部创建了一个Gradio界面。

from gpt_index import SimpleDirectoryReader, GPTListIndex, GPTSimpleVectorIndex, LLMPredictor, PromptHelper
from langchain.chat_models import ChatOpenAI
import gradio as gr
import sys
import os

os.environ["OPENAI_API_KEY"] = 'Your API Key'

def construct_index(directory_path):
  max_input_size = 4096
  num_outputs = 512
  max_chunk_overlap = 20
  chunk_size_limit = 600

  prompt_helper = PromptHelper(max_input_size, num_outputs, max_chunk_overlap, chunk_size_limit=chunk_size_limit)

  llm_predictor = LLMPredictor(llm=ChatOpenAI(temperature=0.7, model_name="gpt-3.5-turbo", max_tokens=num_outputs))

  documents = SimpleDirectoryReader(directory_path).load_data()

  index = GPTSimpleVectorIndex(documents, llm_predictor=llm_predictor, prompt_helper=prompt_helper)

  index.save_to_disk('index.json')

  return index

def chatbot(input_text):
  index = GPTSimpleVectorIndex.load_from_disk('index.json')
  response = index.query(input_text, response_mode="compact")
  return response.response

iface = gr.Interface(fn=chatbot,
           inputs=gr.components.Textbox(lines=7, label="Enter your text"),
           outputs="text",
           title="Custom-trained AI Chatbot")

index = construct_index("docs")
iface.launch(share=True)

2. 这是代码编辑器中代码的外观。

3.接下来，单击顶部菜单中的“文件”，然后从下拉菜单中选择“另存为...”。

4.之后，设置文件名并从下拉菜单中将“保存类型”更改为“所有类型”。然后，将文件保存到您创建“docs”文件夹的位置（在我的情况下，它是桌面）。您可以根据自己的喜好更改名称，但请确保附加。app.py.py

5.确保“docs”文件夹和“app.py”位于同一位置，如下面的屏幕截图所示。“app.py”文件将位于“docs”文件夹之外，而不是内部。

6. 再次回到记事本++中的代码。在这里，替换为上面OpenAI网站上生成的那个。Your API Key

7.最后，按“Ctrl + S”保存代码。现在可以运行代码了。

使用自定义知识库创建聊天 AI 机器人

1.首先，打开终端并运行以下命令以移至桌面。这是我保存“docs”文件夹和“app.py”文件的地方。如果您将这两个项目保存在另一个位置，请通过终端移动到该位置。

cd Desktop

2.现在，运行以下命令。Linux 和 macOS 用户可能必须使用 .python3

python app.py

3.现在，它将开始使用OpenAI LLM模型分析文档并开始索引信息。根据文件大小和计算机的功能，处理文档需要一些时间。完成后，将在桌面上创建一个“index.json”文件。如果终端没有显示任何输出，请不要担心，它可能仍在处理数据。供您参考，处理 10MB 文档大约需要 30 秒。