随着大模型LLM（Large Language Model）的快速发展，越来越多的基于LLM开发的原生应用涌现出来。构建应用的过程，会遇到各种的麻烦，比如，复杂的提示词工程（prompt engineering），LLM的上下文长度限制，LLM知识储备时效性等等，这些问题都影响着是否可以构建符合需求的应用。那今天就给大家介绍一款测试工具-AutoPrompter，帮你解决在构建应用过程中会碰到的各种问题~

Auto-Prompter是什么？

AutoPrompter是一款自动化测试和优化提示词的工具，旨在为基于大模型开发的原生应用找到最优提示词+模型的组合，充分挖掘LLM的潜力。

Auto-Prompter的核心功能

1.  批量化测试：一次可支持同时自动运行100次，设定好提示词，模型和各项参数后，可自动批量运行，节省大量人工操作成本

2.  支持多种模型测试：已支持gpt4，gpt-3.5-turbo，文心一言，智谱等多种模型。一键切换，省掉复杂的API对接调用流程。

3.  优化提示词：AI智能优化提示词，帮你扩展提示词思路，解决不会写，写不好的问题。

4.  输出评估：对有指定输出格式/长度的提示词，进行输出结果的评估，快速发现问题，对比结果。

5.  长文本处理：支持无限制处理超长文本，自动将文本切分处理后给到模型，解决模型最大token限制问题。

6.  知识库嵌入：嵌入和管理私有数据，让大模型获取到私有数据信息，以增强模型的输出。

使用AutoPrompter

1.进入官网，auto-prompter.com，点击【免费体验】后进入产品登录页面，输入手机号和验证码

2.运行

（1）进入产品主页面，新建一个测试任务，输入你需要测试的prompt，并设置好模型及参数。

（2）点击【运行】即可完成一次简单测试。

3.优化你的prompt

点击进入prompt输入框，可点击【智能优化】你的prompt

4.全自动化测试点击【AI autox3】，基于当前prompt，自动创建三个AI优化后的新版本，分别运行三次，实现全自动化测试。

5.知识库嵌入与配置

点击【高级设置】点击开启配置知识库，进行知识库配置页面。

（1）先上传你的私有数据。系统清洗和切分数据后，自动帮你做embedding（嵌入）。

（2）创建成功后，勾选测试任务所需使用的知识库，选择成功后，此测试任务将引用此知识库文档，文档的信息将作为上下文和你的prompt合成后一起提交给模型。

6.长文本处理

点击【高级设置】开启长文本处理，选择对应的文本切分规则，如果没有特殊切分要求或不了解切分参数，可选择【自动切分】。