如何高度优化适用于企业自定义的AI (一) 序言

发布时间 2023-06-27 16:21:27作者: KhalidDu

概述

在当前信息时代的背景下, 社会对AI的需求在不断增长.

AI的快速发展得益于大数据、云计算和计算能力的提升, 使得机器学习和深度学习等技术取得了重大突破.

AI在图像识别、语音识别、自然语言处理等领域展现出惊人的能力, 为企业带来了巨大的商机.

然而, 通用的AI解决方案无法解决所有企业的具体问题, 因为每个企业都有其独特的业务流程、数据特点和需求.

针对这种情况, 企业自定义AI解决方案应运而生.

企业自定义AI是指针对特定企业需求而开发的AI解决方案, 其目标是最大程度地提高企业的效率、创新和竞争力.

通过深入了解企业的业务流程和数据特点, 以及对AI技术的准确理解, 企业可以构建定制化的AI解决方案, 从而更好地满足其业务需求.

本系列文档, 除当前序言外, 主要分为以下三个课题

  1. 如何高度优化适用于企业的AI (二) 数据准备
  2. 如何高度优化适用于企业的AI (三) 上传及微调模型
  3. 如何高度优化适用于企业的AI (四) 如何减少AI幻觉

将会从零开始教授大家使用OpenAI提供的模型, 来训练一个适用于企业的AI

阅读要求

本系列文章阅读时, 要求读者要有一定的代码基础

使用过ChatGPT类似相关产品

小白专用词汇解释

问: prompt到底是什么?

答: 在计算机科学和人工智能领域中,"prompt"(提示)一词通常指的是一个用于获取用户输入的提示或消息。它可以是一个文本字符串、一个符号或一个图形界面元素,用于引导用户提供所需的信息或执行特定的操作。

在命令行界面或编程语言中,"prompt"通常指的是一个用于提示用户输入命令或参数的文本字符串。用户可以根据提示输入相应的命令或数据。

在用户界面设计中,"prompt"可以是一个对话框、文本框或按钮等,用于引导用户执行特定的操作或提供所需的信息。例如,一个登录页面可能包含一个用户名和密码的提示,以指示用户在相应的文本框中输入凭据。

总而言之,"prompt"是指用于引导用户提供输入或执行特定操作的提示或消息。它在不同的上下文中具有不同的形式和含义,但其基本概念是相同的。

开始前的思考

在早期的工作中, 我们已经使用了两种关于prompt的类型, 分别是:

Zero shot- instruction only, 只给出指示或者提出问题
Few shot- instructuin plus examples, 给出指示的同时, 我们还会给出示例, 来展示我们正在寻找的东西

虽然能够满足我们大部分的使用, 但是上面的方式存在两个问题:

prompts have size limits 我们在提示词中包含的内容是有限的
Larger prompts use more tokens so aremore expensive when scaled 太大的提示词会消耗更多的tokens, 所以价格花费是很昂贵的

但实际上, 还有比上面说的更大的问题

常规的OpenAI的模型已经可以在互联网上公开可用, 但仅限于以下场景:

  1. 创造力
  2. 一般的QA
  3. 翻译
  4. 以及其他的一般任务

但对于特殊的具体的一些场景, 却不能很好的回答, 比如说, 适用于某个行业, 某个企业独有的场景

这时候问题就来了

如果人工智能不知道答案, 它会给你一个语义上似是而非的错误答案

虽然AI的模型仍然在进步, 但要知道的是, 本质上, 这些模型所做的是预测可能性, 我们把这种情况称之为 Hallucinations - 幻觉

那我们来提前思考一下, 如何才能让AI知道你想要的答案呢?

让我们从下一篇文档正式开始!

关注一下, 持续更新~
公众号