目录导航
  1. 提示词库和工具
  2. 提示词指南
  3. 视频课程
  4. 关于高级提示以提高推理能力的论文
  5. 中文工具和资源

提示词库和工具

名称 网址 说明
Haystack https://github.com/deepset-ai/haystack 一个开源的大语言模型编排框架，用于在Python中构建可定制的、生产就绪的大语言模型应用程序。
HoneyHive https://honeyhive.ai 一个企业平台，用于评估、调试和监控大语言模型应用程序。
LangChain https://github.com/hwchase17/langchain 一个流行的Python/JavaScript库，用于↗一系列语言模型提示。
LiteLLM https://github.com/BerriAI/litellm 一个最小化的Python库，用于以一致的格式调用大语言模型API。
LlamaIndex https://github.com/jerryjliu/llama_index 一个Python库，用于用数据增强大语言模型应用程序。
LMQL https://lmql.ai 一种用于大语言模型交互的编程语言，支持类型化提示、控制流、约束和工具。
OpenAI Evals https://github.com/openai/evals 一个开源库，用于评估语言模型和提示的任务性能。
Outlines https://github.com/normal-computing/outlines 一个Python库，提供了一种特定于域的语言来简化提示并约束生成。
Parea AI https://www.parea.ai 一个用于调试、测试和监控大语言模型应用程序的平台。
Portkey https://portkey.ai/ 一个用于大语言模型应用程序的可观察性、模型管理、评估和安全性的平台。
Promptify https://github.com/promptslab/Promptify 一个小型Python库，用于使用语言模型执行自然语言处理任务。
PromptPerfect https://promptperfect.jina.ai/prompts 一种用于测试和改进提示的付费产品。
Prompttools https://github.com/hegelai/prompttools 用于测试和评估模型、向量数据库和提示的开源Python工具。
Scale Spellbook https://scale.com/spellbook 一种用于构建、比较和部署语言模型应用程序的付费产品。
Semantic Kernel https://github.com/microsoft/semantic-kernel 一个来自微软的Python/C#/Java库，支持提示模板、函数↗、向量化内存和智能计划。
Vellum https://www.vellum.ai/ 一种付费的人工智能产品开发平台，用于实验、评估和部署高级大语言模型应用程序。
Weights & Biases https://wandb.ai/site/solutions/llmops 一种用于跟踪模型训练和提示工程实验的付费产品。
YiVal https://github.com/YiVal/YiVal 一个开源的GenAI-Ops工具，用于使用可定制的数据集、评估方法和进化策略来调优和评估提示、检索配置和模型参数。

提示词指南

名称 网址 说明
Brex’s Prompt Engineering Guide https://github.com/brexhq/prompt-engineering Brex对语言模型和提示工程的介绍。
learnprompting.org https://learnprompting.org 提示工程入门课程。
Lil’Log Prompt Engineering https://lilianweng.github.io/posts/2023-03-15-prompt-engineering/ OpenAI研究员对提示工程文献的评论(截至2023年3月)。
OpenAI Cookbook: Techniques to improve reliability https://cookbook.openai.com/articles/techniques_to_improve_reliability 一份略显陈旧(2022年9月)的关于提示语言模型技术的评论。
promptingguide.ai https://www.promptingguide.ai/ 一份展示了许多技术的提示工程指南。
Xavi Amatriain’s Prompt Engineering 101 Introduction to Prompt Engineering https://amatriain.net/blog/PromptEngineering 一份对提示工程的基础但有见解的介绍。
202 Advanced Prompt Engineering https://amatriain.net/blog/prompt201 一份关于许多高级方法(从CoT开始)的后续集合。

视频课程

名称 网址 说明
Andrew Ng’s DeepLearning.AI https://www.deeplearning.ai/short-courses/chatgpt-prompt-engineering-for-developers 面向开发人员的提示工程短期课程。
Andrej Karpathy’s Let’s build GPT https://www.youtube.com/watch?v=kCc8FmEb1nY 深入探讨了GPT下的机器学习原理。
Prompt Engineering by DAIR.AI https://www.youtube.com/watch?v=dOxUroR57xs 一个关于各种提示工程技术的一小时视频。
Scrimba course about Assistants API https://scrimba.com/learn/openaiassistants 一门关于Assistants API的30分钟互动课程。
LinkedIn course: Introduction to Prompt Engineering: How to talk to the AIs https://www.linkedin.com/learning/prompt-engineering-how-to-talk-to-the-ais/talking-to-the-ais?u=0 关于提示工程的简短视频介绍。

关于高级提示以提高推理能力的论文

名称 网址 说明
Chain-of-Thought Prompting Elicits Reasoning in Large Language Models (2022) https://arxiv.org/abs/2201.11903 使用少量示例提示要求模型一步步思考可以提高它们的推理能力。在数学词问题(GSM8K)上,PaLM的得分从18%提高到57%。
Self-Consistency Improves Chain of Thought Reasoning in Language Models (2022) https://arxiv.org/abs/2203.11171 对多个输出进行投票可以进一步提高准确性。对40个输出进行投票将PaLM在数学词问题上的得分从57%进一步提高到74%,code-davinci-002的得分从60%提高到78%。
Tree of Thoughts: Deliberate Problem Solving with Large Language Models (2023) https://arxiv.org/abs/2305.10601 在一步步推理的树上搜索比对思维链投票更有帮助。它提高了GPT-4在创意写作和填字游戏等任务上的得分。
Language Models are Zero-Shot Reasoners (2022) https://arxiv.org/abs/2205.11916 告诉遵循指令的模型一步步思考可以提高它们的推理能力。text-davinci-002在数学词问题(GSM8K)上的得分从13%提高到41%。
Large Language Models Are Human-Level Prompt Engineers (2023) https://arxiv.org/abs/2211.01910 自动搜索可能的提示,找到一个提示将数学词问题(GSM8K)的得分提高到43%,比Language Models are Zero-Shot Reasoners中人工编写的提示高2个百分点。
Reprompting: Automated Chain-of-Thought Prompt Inference Through Gibbs Sampling (2023) https://arxiv.org/abs/2305.09993 自动搜索可能的思维链提示,在某些基准测试上将ChatGPT的分数提高了0-20个百分点。
Faithful Reasoning Using Large Language Models (2022) https://arxiv.org/abs/2208.14271 推理能力可以通过一个系统来提高,该系统结合了:由替代选择和推理提示生成的思维链、选择何时停止选择-推理循环的halter模型、搜索多条推理路径的值函数,以及帮助避免虚构的句子标签。
STaR: Bootstrapping Reasoning With Reasoning (2022) https://arxiv.org/abs/2203.14465 思维链推理可以通过微调植入模型中。对于有答案的任务,语言模型可以生成思维链示例。
ReAct: Synergizing Reasoning and Acting in Language Models (2023) https://arxiv.org/abs/2210.03629 对于需要工具或环境的任务,如果在”推理步骤(思考做什么)”和”行动步骤(从工具或环境中获取信息)”之间交替进行,思维链效果会更好。
Reflexion: an autonomous agent with dynamic memory and self-reflection (2023) https://arxiv.org/abs/2303.11366 记住先前的失败并重试任务可以提高后续的性能。
Demonstrate-Search-Predict: Composing retrieval and language models for knowledge-intensive NLP (2023) https://arxiv.org/abs/2212.14024 通过”检索-然后-阅读”方式用知识增强的模型,可以通过多跳查询链来改进。
Improving Factuality and Reasoning in Language Models through Multiagent Debate (2023) https://arxiv.org/abs/2305.14325 生成几个ChatGPT智能体之间进行几轮辩论,可以提高各种基准的得分。数学词问题的得分从77%提高到85%。

中文工具和资源

提示词工具

适用于MidJourney和Stable Diffusion的文生图可视化提示词编辑器：https://label.tool.wapple.cn/ ↗

AI快捷指令（一键复制提示词）：https://prompt.vercel.wapple.cn/ ↗

相关教程

微软的学习和培训中心：https://learn.microsoft.com/zh-cn/training/ ↗🔐

Learning Prompt：https://learningprompt.wiki/zh-Hans/ ↗

Midjourney 知识库：https://tob-design.yuque.com/kxcufk/mj ↗

Midjourney中文笔记：https://g7c5xfa0cz.feishu.cn/docx/Omc8dd4VDoyB95x5GffcUFDynGd ↗🔐

中文课程

吴恩达大模型系列课程中文版：https://datawhalechina.github.io/llm-cookbook/ ↗

知名站点

名称 网址 说明
ChatGPT https://chatgpt.com/ ChatGPT官方站点
Claude https://claude.ai/ 由Anthropic公司开发的大型语言模型，行业TOP20 的大模型产品。
Gemini https://gemini.google.com/ 谷歌的大型语言模型
文心一言 https://yiyan.baidu.com/ 百度的大型语言模型
通义千问 https://tongyi.aliyun.com/qianwen/ 阿里云的大型语言模型
kimi https://kimi.moonshot.cn/ 月之暗面的大型语言模型
豆包 https://www.doubao.com/chat/ 字节跳动公司开发和训练的智能语言模型
C 站 https://civitai.com/ 行业知名的一个社区驱动的平台，专注于分享和讨论人工智能生成的艺术和创意作品。
PromptHero https://prompthero.com/ 排名第一的文生图提示工程网站
HuggingFace https://huggingface.co/ 一个专注于自然语言处理的开源平台，以其创新的Transformer模型库和广泛的社区支持著称，提供易于使用的预训练模型和工具。

 

声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。