- 首页为确保后续访问顺畅，点击页面后会先下载约150 MB的图片，因此需加载20-23秒，请耐心等待，辛苦了~（因为图片过多且比较大，所以强烈建议用电脑端访问本网站，而不是手机端访问。）
- |
- CS申硕疯子为确保后续访问顺畅，点击页面后会先下载约150 MB的图片，因此需加载20-23秒，请耐心等待，辛苦了~（因为图片过多且比较大，所以强烈建议用电脑端访问本网站，而不是手机端访问。）
- |
- CS求职疯子为确保后续访问顺畅，点击页面后会先下载约150 MB的图片，因此需加载20-23秒，请耐心等待，辛苦了~（因为图片过多且比较大，所以强烈建议用电脑端访问本网站，而不是手机端访问。）
- |
- CS申博疯子为确保后续访问顺畅，点击页面后会先下载约150 MB的图片，因此需加载20-23秒，请耐心等待，辛苦了~（因为图片过多且比较大，所以强烈建议用电脑端访问本网站，而不是手机端访问。）
- |
- CS教职疯子为确保后续访问顺畅，点击页面后会先下载约150 MB的图片，因此需加载20-23秒，请耐心等待，辛苦了~（因为图片过多且比较大，所以强烈建议用电脑端访问本网站，而不是手机端访问。）
- |
- CS游民疯子为确保后续访问顺畅，点击页面后会先下载约150 MB的图片，因此需加载20-23秒，请耐心等待，辛苦了~（因为图片过多且比较大，所以强烈建议用电脑端访问本网站，而不是手机端访问。）
- |
- CS入门疯子为确保后续访问顺畅，点击页面后会先下载约150 MB的图片，因此需加载20-23秒，请耐心等待，辛苦了~（因为图片过多且比较大，所以强烈建议用电脑端访问本网站，而不是手机端访问。）
- |
- CS升职疯子-在整为确保后续访问顺畅，点击页面后会先下载约150 MB的图片，因此需加载20-23秒，请耐心等待，辛苦了~（因为图片过多且比较大，所以强烈建议用电脑端访问本网站，而不是手机端访问。）
- |
- CS回国疯子为确保后续访问顺畅，点击页面后会先下载约150 MB的图片，因此需加载20-23秒，请耐心等待，辛苦了~（因为图片过多且比较大，所以强烈建议用电脑端访问本网站，而不是手机端访问。）
- |
- 肖哥极致人生为确保后续访问顺畅，点击页面后会先下载约150 MB的图片，因此需加载20-23秒，请耐心等待，辛苦了~（因为图片过多且比较大，所以强烈建议用电脑端访问本网站，而不是手机端访问。）
- |
- 美加身份疯子为确保后续访问顺畅，点击页面后会先下载约150 MB的图片，因此需加载20-23秒，请耐心等待，辛苦了~（因为图片过多且比较大，所以强烈建议用电脑端访问本网站，而不是手机端访问。）
- |
- 地球公民疯子为确保后续访问顺畅，点击页面后会先下载约150 MB的图片，因此需加载20-23秒，请耐心等待，辛苦了~（因为图片过多且比较大，所以强烈建议用电脑端访问本网站，而不是手机端访问。）
- |
- 网站为啥长这样为确保后续访问顺畅，点击页面后会先下载约150 MB的图片，因此需加载20-23秒，请耐心等待，辛苦了~（因为图片过多且比较大，所以强烈建议用电脑端访问本网站，而不是手机端访问。）
- |
- 申硕|求职|身份|人生都疯为确保后续访问顺畅，点击页面后会先下载约150 MB的图片，因此需加载20-23秒，请耐心等待，辛苦了~（因为图片过多且比较大，所以强烈建议用电脑端访问本网站，而不是手机端访问。）
- |
- 英语学习疯子为确保后续访问顺畅，点击页面后会先下载约150 MB的图片，因此需加载20-23秒，请耐心等待，辛苦了~（因为图片过多且比较大，所以强烈建议用电脑端访问本网站，而不是手机端访问。）
- |
- 美国文化为确保后续访问顺畅，点击页面后会先下载约150 MB的图片，因此需加载20-23秒，请耐心等待，辛苦了~（因为图片过多且比较大，所以强烈建议用电脑端访问本网站，而不是手机端访问。）
- |
- 美国生娃为确保后续访问顺畅，点击页面后会先下载约150 MB的图片，因此需加载20-23秒，请耐心等待，辛苦了~（因为图片过多且比较大，所以强烈建议用电脑端访问本网站，而不是手机端访问。）
- |
- 美国买房为确保后续访问顺畅，点击页面后会先下载约150 MB的图片，因此需加载20-23秒，请耐心等待，辛苦了~（因为图片过多且比较大，所以强烈建议用电脑端访问本网站，而不是手机端访问。）
- |
- 美国省钱|赚钱为确保后续访问顺畅，点击页面后会先下载约150 MB的图片，因此需加载20-23秒，请耐心等待，辛苦了~（因为图片过多且比较大，所以强烈建议用电脑端访问本网站，而不是手机端访问。）
- |
- 美国O-1与NIW为确保后续访问顺畅，点击页面后会先下载约150 MB的图片，因此需加载20-23秒，请耐心等待，辛苦了~（因为图片过多且比较大，所以强烈建议用电脑端访问本网站，而不是手机端访问。）
- |
- 墨西哥绿卡为确保后续访问顺畅，点击页面后会先下载约150 MB的图片，因此需加载20-23秒，请耐心等待，辛苦了~（因为图片过多且比较大，所以强烈建议用电脑端访问本网站，而不是手机端访问。）
- |
- 文章疯了为确保后续访问顺畅，点击页面后会先下载约150 MB的图片，因此需加载20-23秒，请耐心等待，辛苦了~（因为图片过多且比较大，所以强烈建议用电脑端访问本网站，而不是手机端访问。）
- |
- 网站升级日志为确保后续访问顺畅，点击页面后会先下载约150 MB的图片，因此需加载20-23秒，请耐心等待，辛苦了~（因为图片过多且比较大，所以强烈建议用电脑端访问本网站，而不是手机端访问。）
LLM Engineer Roadmap
1. Running LLMs Running LLMs can be difficult due to high hardware requirements. Depending on your use case, you might want to simply consume a model through an API (like GPT-4) or run it locally. In any case, additional prompting and guidance techniques can improve and constrain the output for your applications. | |||||||
1.1 LLM APIs APIs are a convenient way to deploy LLMs. This space is divided between private LLMs (OpenAI https://platform.openai.com/ , Google https://cloud.google.com/vertex-ai/docs/generative-ai/learn/overview , Anthropic https://docs.anthropic.com/en/api/getting-started , Cohere https://docs.cohere.com/docs , etc.) and open-source LLMs (OpenRouter https://openrouter.ai/ , Hugging Face https://huggingface.co/docs/api-inference/en/index , Together AI https://www.together.ai/ , etc.). | |||||||
Name | Category | Article Category | Source | Rating | Resources | Note | |
1 | LLM APIs 使用API是部署大语言模型的便捷方式 | Concept | Tutorial | Medium | ★★★★★ | Large Language Model (LLM) API: Full Guide 2024 https://medium.com/@springs_apps/large-language-model-llm-api-full-guide-2024-02ec9b6948f0 | 介绍了LLM API的概念和核心思想，优势，以及一些比较popular的top LLM APIs |
IBM | ★★★★☆ | LLM APIs: Tips for bridging the gap | LLM APIs overview, Benefits and challenges of LLM APIs， Tips for using LLM APIs efficiently, and Popular LLM APIs | ||||
Tool | Tutorial | altexsoft | ★★★★★ | LLM APIs for Integrating Large Language Models | 探讨了当前最受欢迎的LLM APIs，旨在帮助企业为构建聊天机器人、自然语言搜索等LLM应用选择合适的模型，并提供了实际案例以供参考 | ||
Tutorial | EdenAI | ★★★★☆ | Best Large Language Model APIs in 2025 | 评估了2025年市场上领先的LLM API，包括AI21Labs的Jurassic-2、AWS、Anthropic的Claude 2、Clarifai、Cohere、Falcon、Google Bard（LaMDA）和PaLM、Meta的Llama2、Mistral，以及OpenAI的GPT | |||
2 | 私有LLM：如OpenAI、Google、Anthropic和Cohere等提供的服务 | OpenAI LLM APIs https://openai.com/index/openai-api/ 提供 GPT 系列模型（如 GPT-3.5、GPT-4）和嵌入模型，用于自然语言生成、文本补全、分类、翻译等任务 | Tutorial | Personal Blog | ★★★★★ | Understanding OpenAI API https://aiengineering.academy/PromptEngineering/Understanding_OpenAI_API/ | 介绍了OpenAI API的关键参数、角色以及其他参数，并列出了提供OpenAI兼容API的服务 |
Tutorial | Medium | ★★★★★ | Beginner’s Guide to OpenAI API https://medium.com/data-professor/beginners-guide-to-openai-api-a0420bc58ee5 | 使用 OpenAI 库在纯 Python 中构建 LLM 工具和聊天机器人的教程 | |||
Official Docs | OpenAI | ★★★☆☆ | OpenAI Models overview | OpenAI API 由一系列具有不同功能和价格点的模型提供支持, 可以通过微调对OpenAI模型进行自定义 | |||
Google GenerativeAI APIs https://cloud.google.com/ai/apis?hl=en 集成 PaLM 2， Gemini等模型，提供文本生成、代码生成、对话理解等生成式 AI 能力 | Official Docs | ★★★★☆ | Gemini Developer API | Google Gemini API的开发者文档，涵盖了模型概述、API参考、SDK、定价和使用指南等内容 | |||
Anthropic APIs https://docs.anthropic.com/en/api/getting-started 支持 Claude 系列模型（如 Claude 1 和 Claude 2），专注于对话生成和安全性 | Official Docs | Anthropic | ★★★★★ | Using the API - Getting started | 概述了如何使用 Anthropic 提供的 API，包括快速开始指南、主要功能（如生成和自定义响应的 Claude 模型）、配置参数和使用示例 | ||
Cohere Platform 提供多种语言模型，侧重文本嵌入、分类和生成功能，尤其适合多语言处理 | Official Docs | Cohere | ★★★★★ | An Overview of The Cohere Platform | Cohere 允许开发人员和企业构建由 LLM 提供支持的应用程序 | ||
其他LLM API以及使用教程 | Resources | GitHub | ★★★★☆ | Free LLM API resources | A list of free LLM inference resources accessible via API. | ||
Tutorial | Medium | ★★★★★ | How to use LLM APIs ⭐— OpenAI, Claude, Google https://medium.com/@lars.chr.wiik/how-to-use-llm-apis-openai-claude-google-50bc7ce2c8de | 这篇文章介绍了如何使用OpenAI、Anthropic的Claude以及Google的LLM API，包括获取API密钥、设置环境以及调用API的步骤 | |||
3 | 开源LLM：解决方案更灵活，适合需要自定义或控制成本的场景。 | Concept | Tutorial | Datacamp | ★★★★★ | 8 Top Open-Source LLMs for 2024 and Their Uses | 介绍了八个顶尖的开源LLM，并探讨了它们在自然语言处理任务中的应用和优势 |
Leaderboard | HuggingFace | ★★★★☆ | Open LLM Leaderboard https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard#/ | 实时跟踪和比较开源LLM性能，帮助用户根据多项基准测试（如准确性和推理速度）评估和选择适合的开源模型 | |||
OpenRouter OpenRouter 是一个统一接入多种私有和开源LLM API的平台，为开发者提供简单、灵活和高效的模型集成与使用体验 | Official Docs | OpenRouter | ★★★★★ | A unified interface for LLMs | OpenRouter.ai 提供了一个统一的界面，方便用户访问和比较不同LLM的性能和价格 | ||
Huggingface Inference API https://huggingface.co/docs/api-inference/en/index 通过 RESTful API 直接访问 Hugging Face 提供的预训练模型和自定义模型；它支持多种任务，包括文本生成、图像生成、语音处理等，并为开发者提供了高度灵活的推理能力 | Official Docs | HuggingFace | ★★★★★ | Serverless Inference API | 只需一个简单的 API 请求，即可探索最流行的文本、图像、语音等模型。无需担心基础设施或设置，即可构建、测试和试验 | ||
Together AI Together AI 的 API 主要通过其文档支持，目前其使用方式类似于 Hugging Face 的 REST API，但更注重社区协作和分布式性能 | Official Docs | TogetherAI | ★★★★★ | Together AI | 以极快的速度、低成本和生产规模对 AI 模型进行训练、微调和运行推理 | ||
1.2 Open-source LLMs The Hugging Face Hub https://huggingface.co/models is a great place to find LLMs. You can directly run some of them in Hugging Face Spaces https://huggingface.co/spaces , or download and run them locally in apps like LM Studio https://lmstudio.ai/ or through the CLI with llama.cpp https://github.com/ggerganov/llama.cpp or Ollama https://ollama.com/ . | |||||||
Name | Category | Article Category | Source | Rating | Resources | Note | |
4 | 开源模型是学习和实验的重要资源，Hugging Face Hub是一个非常好的起点。 可以直接在Hugging Face Spaces中运行一些模型 | Hugging Face Hub | Official Docs | HuggingFace | ★★★★★ | Hugging Face Hub | Hugging Face Hub 是一个开源平台，汇集了大量的预训练模型、数据集和机器学习工具，为开发者提供一个共享和发现 AI 资源的生态系统 |
Tutorial | Youtube | ★★★★★ | What is Hugging Face? - Machine Learning Hub Explained | 介绍了 Hugging Face 作为一个机器学习中心，提供了模型、数据集和工具，帮助开发者在自然语言处理等领域进行应用开发 | |||
Course | HuggingFace | ★★★★★ | Hugging Face NLP course | 本课程将使用 Hugging Face 生态系统中的库（ Transformers、 Datasets、 Tokenizers 和 Accelerate）以及 Hugging Face Hub 教你自然语言处理 (NLP)。它完全免费且无广告。 | |||
Tutorial | Youtube | ★★★★★ | Getting Started With Hugging Face in 15 Minutes | Transformers, Pipeline, Tokenizer, Models | 使用 Hugging Face的教程，包括 Transformers、Pipeline、Tokenizer 和模型的基本概念和使用方法 | |||
Hugging Face Spaces | Official Docs | HuggingFace | ★★★★★ | Hugging Face Spaces | Hugging Face Spaces 是一个托管平台，允许用户部署和分享机器学习应用。它提供了一个简单易用的环境，让开发者和研究者展示和运行他们的模型或应用程序 | ||
Tutorial | Youtube | ★★★★★ | Hugging Face Spaces in 10 Minutes or Less | 介绍了如何使用 Hugging Face Spaces 在没有强大硬件的情况下运行 AI 模型，并演示了 Flux 1 和 Llama 3.1 模型的应用 | |||
What to Build with AI - Ideas from 10 Hugging Face Spaces | 绍了 10 个 Hugging Face Spaces 上的 AI 应用示例，展示了如何使用 Langchain 和 Hugging Face 等开发者工具构建 AI 驱动的应用程序 | ||||||
5 | 下载LLM后通过本地工具运行，例如LM Studio提供简化的本地运行体验 | LM Studio | Official Docs | LM Studio | ★★★★★ | Discover, download, and run local LLMs | LM Studio 是一款支持本地运行大语言模型（LLMs）的开源应用，旨在为用户提供一个高效、易用的平台，用于探索和部署各种开源语言模型。它通过简化模型加载和交互流程，使用户无需复杂的设置即可使用强大的语言模型 |
Tutorial | Youtube | ★★★★★ | LM Studio Tutorial: Run Large Language Models (LLM) on Your Laptop | 演示了使用 LM Studio运行LLM，并介绍了安装过程、加载和使用 Llama 和 Gemma 等模型，以及上传文件进行分析的方法 | |||
Bilibili | 本地一键运行各种大模型 - 完全免费，无限制！- LM Studio 使用教程 | 非常通俗易懂且有创意的LM Studio教程 | |||||
6 | CLI工具：如llama.cpp或Ollama，支持在终端中直接运行开源模型 | llama.cpp | Official Docs | GitHub | ★★★★★ | llama.cpp https://github.com/ggerganov/llama.cpp/blob/master/docs/build.md | Llama.cpp 是一个轻量级的 C++ 库，专为高效地运行 Meta 的 LLaMA（Large Language Model Meta AI）系列模型而设计。它通过对硬件资源的优化，使用户能够在本地设备（包括低功耗设备）上运行大语言模型 |
Python Bindings for llama.cpp | llama.cpp Python 是 llama.cpp 的 Python 绑定库，有比较好的维护和社区支持 | ||||||
Tutorial | Youtube | ★★★★★ | GGUF quantization of LLMs with llama cpp | 演示了如何使用 llama.cpp 将LLM量化，以便在没有 GPU 的设备上运行；视频中展示了如何在 MacBook 上对一个经过微调的 20 亿参数的 Gemma 模型进行量化，并在同一设备上进行推理 | |||
Datacamp | Llama.cpp Tutorial: A Complete Guide to Efficient LLM Inference and Implementation | 提供了一个全面的指南，介绍如何使用 llama.cpp，包括环境设置、核心功能和实际应用案例 | |||||
Ollama | Official Docs | GitHub | ★★★★★ | Ollama API Endpoints | Ollama 是一个用于本地运行语言模型的专用工具，它简化了用户在本地加载、运行和交互 LLaMA 模型的过程。Ollama 提供了一个易于使用的接口，让用户可以更方便地管理和使用模型 | ||
Tutorial | Youtube | ★★★★★ | Learn Ollama in 15 Minutes - Run LLM Models Locally for FREE | 详细介绍了如何安装和使用 Ollama | |||
Ollama - Local Models on your machine | |||||||
Course | The Ollama Course: Basics https://www.youtube.com/playlist?list=PLvsHpqLkpw0fIT-WbjY-xBRxTftjwiTLB | 快速掌握 Ollama的课程，包括了成为Ollama专家所需的一切知识 | |||||
Ollama Course – Build AI Apps Locally | |||||||
Tutorial | Medium | ★★★★☆ | Complete Guide to Running Ollama’s Large Language Model (LLM) Locally — Part 1 How to deploy the llama3 large model in CPU and GPU environments with Ollama | 安装和使用Ollama的step by step教程 | |||
1.3 Prompt engineering Common techniques include zero-shot prompting, few-shot prompting, chain of thought, and ReAct. They work better with bigger models, but can be adapted to smaller ones. | |||||||
Name | Category | Article Category | Source | Rating | Resources | Note | |
7 | 提示工程（Prompt Engineering）是使用LLMs的核心技能之一，应用于开发和优化提示词（Prompt），帮助用户有效地将语言模型用于各种应用场景和研究领域 | Tutorial | Personal Blog | ★★★★★ | Prompt Engineering Guide | 很全面的指南，涵盖提示工程的理论和实践（知乎中文翻译版本https://zhuanlan.zhihu.com/p/631967998 ） | |
★★★★★ | 提示学习 Prompt learning | 文章详细介绍了提示学习在NLP中的新范式，包括其演变过程、设计思路、工作流程，以及与传统微调方法的对比 | |||||
★★★★★ | Prompt Engineering https://lilianweng.github.io/posts/2023-03-15-prompt-engineering/ | 深入探讨了Prompt Engineering的各种方法，examples和措辞都很通俗易懂 | |||||
知乎 | ★★★★★ | 12种Prompt Engineering(提示工程)方法 | 制作单个或一系列提示的 12 种不同方法 | ||||
CSDN | ★★★★★ | AI大模型提示工程（prompt）从入门到精通（非常详细），看这一篇就够了！！！ | 详细介绍了提示工程的基本原理、重要概念以及常用的辅助工具，旨在帮助读者从入门到精通掌握如何为大语言模型设计高效的提示词 | ||||
Course | DeepLearningAI | ★★★★★ | ChatGPT Prompt Engineering for Developers https://www.deeplearning.ai/short-courses/chatgpt-prompt-engineering-for-developers/ | 对于开发人员，使用 API 调用 LLM 快速构建应用程序更为重要，而这方面的最佳实践材料却很少，这就是这门课的价值所在 | |||
Notes | 知乎 | ★★★★★ | 【LLM】吴恩达『提示工程』课程完全笔记 | ||||
1.4 Structuring outputs Many tasks require a structured output, like a strict template or a JSON format. Libraries like LMQL https://lmql.ai/docs/language/overview.html , Outlines https://dottxt-ai.github.io/outlines/latest/quickstart/ , Guidance https://github.com/guidance-ai/guidance , etc. can be used to guide the generation and respect a given structure. | |||||||
Name | Category | Article Category | Source | Rating | Resources | Note | |
8 | 输出结构化（Structuring Outputs）：许多任务需要生成结构化输出，例如严格的模板或JSON格式 | Concept | Tutorial | CSDN | ★★★★★ | 解密LLM结构化输出：代码示例与原理分析 | 探讨了生成结构化输出的原理和方法，重点介绍了约束解码（Constrained Decoding）技术，并提供了结构化输出的代码示例 |
知乎 | LLM 结构输出：Structured Outputs、受限编码和提示词工程 | ||||||
OpenAI | Introduction to Structured Outputs https://cookbook.openai.com/examples/structured_outputs_intro | 介绍了OpenAI 的 Chat Completions API 和 Assistants API 引入的结构化输出功能，通过examples解读用法 | |||||
9 | 很多开源libraries提供了API和interfaces来指导模型生成特定的结构化输出，兼容各种inference server，语言和模型 | LMQL | Official Docs | LMQL | ★★★★☆ | LMQL is a programming language for LLMs. | LMQL 是一种为LLMs设计的编程语言，用于通过约束和引导生成更结构化和精确的输出 |
Tutorial | Datacamp | ★★★★★ | An Introduction to LMQL: The Bridge Between SQL and Large Language Models | 介绍了LMQL的概念、优势、设置方法、实际应用、局限性和最佳实践 | |||
Medium | LMQL — SQL for Language Models https://towardsdatascience.com/lmql-sql-for-language-models-d7486d88c541 | ||||||
Outlines | Official Docs | Outlines | ★★★★★ | Welcome to Outlines | Outlines是一个帮助定义输出结构的python library，功能强大，使用简单，文档细致清楚，兼容性也不错 | ||
Tutorial | 知乎 | ★★★★★ | OutLines: 控制大模型结构化输出并加速 | Outlines通过Coalescence来实现结构化输出，在其github repo中有几篇很细致的technical reports涵盖了一些核心思想和技术。这篇知乎文章解读了Coalescence这种技术 | |||
Guidance | Official Docs | Guidance | ★★★★★ | Guidance | 与传统的提示或链接相比，Guidance 可更有效、更高效地控制现代语言模型 | ||
lm-format-enforcer | Official Docs | LMFE | ★★★★★ | lm-format-enforcer | LMFE通过过滤语言模型在每个时间步骤中允许生成的标记来确保尊重输出格式，同时最大限度地减少对语言模型的限制 | ||
Instructor | Official Docs | Instructor | ★★★★★ | Instructor, The Most Popular Library for Simple Structured Outputs | Instructor让LLM结构化输出/将LLM原本的生成式能力封装成具有“解析-验证-生成”流程的可控框架 | ||
Tutorial | CSDN | ★★★★★ | LLMs之Instructor：Instructor(让LLM结构化输出/将LLM原本的生成式能力封装成具有“解析-验证-生成”流程的可控框架)的简介、安装和使用方法、案例应用之详细攻略 | ||||
2. Building a Vector Storage Creating a vector storage is the first step to building a Retrieval Augmented Generation (RAG) pipeline. Documents are loaded, split, and relevant chunks are used to produce vector representations (embeddings) that are stored for future use during inference. | |||||||
2.1 Ingesting documents Document loaders are convenient wrappers that can handle many formats: PDF, JSON, HTML, Markdown, etc. They can also directly retrieve data from some databases and APIs (GitHub, Reddit, Google Drive, etc.). | |||||||
Name | Category | Article Category | Source | Rating | Resources | Note | |
10 | 文档加载器（Document Loaders）是便捷的封装工具，能够处理多种格式的文档，如PDF、JSON、HTML、Markdown等；支持从数据库和API中获取内容，如GitHub、Reddit、Google Drive等 | Concept | Tutorial | Other | ★★★★★ | Document Loaders | 介绍了文档加载器的作用 |
Langchain Document loaders https://python.langchain.com/v0.1/docs/modules/data_connection/document_loaders/ | Official Docs | LangChain | ★★★★★ | Langchain Document loaders https://python.langchain.com/v0.1/docs/modules/data_connection/document_loaders/ | 介绍了LangChain的文档加载器，涵盖了其类型及如何使用它们从多种数据源 | ||
Tutorial | Other | Document Loading: Learn the fundamentals of data loading https://dev.to/rutamstwt/chat-with-your-data-langchains-document-loading-28l0 | |||||
Tutorial | AnalyticsVidhya | What are Langchain Document Loaders? https://www.analyticsvidhya.com/blog/2024/07/langchain-document-loaders/#h-what-are-document-loaders | 介绍了LangChain的文档加载器 | ||||
Tutorial | Youtube | Loaders, Indexes & Vectorstores in LangChain: Question Answering on PDF files with ChatGPT | 深入探讨了LangChain中的加载器、索引和向量存储的功能，并演示了如何使用ChatGPT对PDF文件进行问答 | ||||
2.2 Splitting documents Text splitters break down documents into smaller, semantically meaningful chunks. Instead of splitting text after n characters, it's often better to split by header or recursively, with some additional metadata. | |||||||
Name | Category | Article Category | Source | Rating | Resources | Note | |
11 | 文档分割（Splitting Documents）：为了提高语义搜索和生成的效率，大文档通常需要分割成较小的、有语义意义的文本块 | 基于字符数分割：简单地按固定字符数分割，但可能会打断语义。 基于标题分割：按文档的章节标题或段落分割，保持语义完整性。 递归分割：结合标题和其他层次化规则，递归式地细化分割，并附加元数据（metadata）以保留上下文信息。 | Concept | Medium | ★★★★★ | Text splitting (chunking) for RAG applications https://medium.com/@hadiazouni/text-splitting-chunking-for-rag-applications-7ccbb6dcc9f9 | 讨论了几种text chucking的策略，通俗易懂 |
Other | ★★★★★ | 7 Chunking Strategies in RAG You Need To Know https://www.f22labs.com/blogs/7-chunking-strategies-in-rag-you-need-to-know/ | 深入全面探讨了chucking策略及其优缺点 | ||||
StackOverflow | ★★★★★ | Breaking up is hard to do: Chunking in RAG applications https://stackoverflow.blog/2024/12/27/breaking-up-is-hard-to-do-chunking-in-rag-applications/ | 探讨了在RAG系统中如何根据不同的应用场景选择合适的文本分块策略 | ||||
Tutorial | Youtube | ★★★★★ | How to Set the Chunk Size in Document Splitter | RAG | LangChain | 介绍了嵌入模型与文本块大小优化的影响，并通过实际示例演示了文本分块的标记化和分布情况，同时探讨了不同的文本分割机制 | |||
Tutorial | Youtube | ★★★★☆ | 5 Chunking Strategies for better RAG | Better Retrieval | Text Splitting Methods | RAG | 这个视频全面介绍了RAG的五种关键文本分块（Chunking）策略，并通过LangChain、Hugging Face嵌入模型和LLaMA 3 70B等工具提供详细实现和应用案例。很全面但时长比较长 | |||
Tutorial | Medium | ★★★★★ | Mastering RAG: A Deep Dive into Text Splitting https://medium.com/@shravankoninti/mastering-rag-a-deep-dive-into-text-splitting-fafeffdcc00d | 深入探讨了文本分割在RAG中的重要性，介绍了不同的分割策略及其在RAG实现中的应用 | |||
Langchain Text Splitter | Official Docs | LangChain | ★★★★★ | Langchain Text splitters | 介绍了Text Splitters的概念及其在处理长文本时的重要性，讨论了不同的分割策略，如基于长度、文本结构、文档结构和语义意义的分割方法 | ||
Tutorial | Medium | Mastering Text Splitting in Langchain https://medium.com/@harsh.vardhan7695/mastering-text-splitting-in-langchain-735313216e01 | 深入探讨了Langchain中的各种文本分割器，讨论了各自的适用场景，并通过代码示例演示了如何使用它们 | ||||
Tutorial | AnalyticsVidhya | 7 Ways to Employ LangChain Text Splitters for Enhanced Data Processing https://www.analyticsvidhya.com/blog/2024/07/langchain-text-splitters/ | 介绍了使用LangChain的文本分割器的多种方法 | ||||
2.3 Embedding models Embedding models convert text into vector representations. It allows for a deeper and more nuanced understanding of language, which is essential to perform semantic search. | |||||||
Name | Category | Article Category | Source | Rating | Resources | Note | |
12 | Embeddings are dense vector representations of words or sentences that contain semantic information. When being projected into a shared space, the embeddings of similar entities will have similar vector representations and will therefore be positioned close to each other. Therefore, embeddings enable machine learning models to identify similar or related entities by calculating the distance between their two vector representations using algorithms such as Euclidean distance and cosine similarity. | Concept | Youtube | ★★★★★ | Word Embedding and Word2Vec, Clearly Explained!!! | 将tokenization延伸到word embedding和vector presentation | |
Word Embeddings - EXPLAINED! | 介绍embeddings以及其进化史 | ||||||
StackOverflow | An intuitive introduction to text embeddings https://stackoverflow.blog/2023/11/09/an-intuitive-introduction-to-text-embeddings/ | 直观地介绍了text embeddings的概念以及这种表示在NLP中的重要性 | |||||
CloudFlare | What are embeddings in machine learning? https://www.cloudflare.com/en-gb/learning/ai/what-are-embeddings/ | ||||||
Tutorial | Medium | Embeddings: A Deep Dive from Basics to Advanced Concepts | 从基础概念到高级应用的全面探讨 | ||||
Tutorial | HuggingFace | Getting Started With Embeddings | 介绍了embeddings的概念及其应用，演示了如何使用 Hugging Face 的工具转换为embeddings | ||||
13 | The models trained to transform input data into vector representations are embedding models. | Concept | Concept | Youtube | ★★★★★ | A Beginner's Guide to Vector Embeddings | 为初学者提供了关于embeddings和vector databases的高层次入门指南 |
Couchbase | What are Embedding Models? An Overview | 深入浅出地介绍了embedding model的概念、类型、训练方法及其在文本、图像和音频数据处理中的应用 | |||||
Leaderboard | HuggingFace | Massive Text Embedding Benchmark (MTEB) Leaderboard | 查找embedding model最新性能基准的最受欢迎的leaderboard （MTEB 是一个很好的起点，但需要谨慎使用，因为其结果是self-reported的，当在真实数据上使用这些模型时，许多结果被证明不准确） | ||||
Tutorial | Pinecone | Choosing an Embedding Model https://www.pinecone.io/learn/series/rag/embedding-models-rundown/#MTEB-Leaderboards | 详细比较了不同的文本嵌入模型，并通过MTEB leaderboard分析了性能、延迟和适用性方面的差异，为选择合适的嵌入模型提供了实用指导 | ||||
Course | Bilibili | 吴恩达《嵌入模型：从架构到实现|Embedding Models: from Architecture to Implementation》中英字幕（豆包翻译） | 本课程你将获得： 1、深入了解嵌入模型背后的架构；并学习如何训练和使用它们。 2、学习如何在各种语义搜索系统中使用不同的嵌入模型，如 Word2Vec 和 BERT。 3、学习如何使用对比损失构建和训练双编码器模型，提高问答检索应用的准确性。 | ||||
14 | 专有模型（Proprietary Models） 这些模型通常提供API服务，不开放权重，但在工业应用中因其高性能和稳定性受到广泛采用 | OpenAI Embeddings https://platform.openai.com/docs/guides/embeddings#embedding-models | Official Docs, Tool | OpenAI | ★★★★★ | Vector embeddings | OpenAI Embeddings（e.g., text-embedding-3-small, text-embedding-ada-002） 特点：高效、可扩展、支持大规模检索和RAG任务 使用场景：语义搜索、推荐系统、聊天机器人 调用方式：OpenAI API |
Google Vertex AI Embeddings https://cloud.google.com/vertex-ai/generative-ai/docs/model-reference/text-embeddings-api | Text embeddings API https://cloud.google.com/vertex-ai/generative-ai/docs/model-reference/text-embeddings-api | Google Vertex AI Embeddings（PaLM, Gemini Models） 特点：谷歌的企业级嵌入模型，支持多模态 使用场景：搜索、问答系统、文本分类 调用方式：Google Cloud API | |||||
Cohere Embeddings | Cohere | Introduction to Embeddings at Cohere | Cohere Embeddings (embed-multilingual-v3) 特点：支持100多种语言，高效处理跨语言搜索 使用场景：多语言搜索、知识管理 调用方式：Cohere API | ||||
Anthropic Claude Embeddings https://docs.anthropic.com/en/docs/build-with-claude/embeddings | Anthropic | Embeddings https://docs.anthropic.com/en/docs/build-with-claude/embeddings | Anthropic Claude API（Claude Embeddings） 特点：专为对话和知识管理优化 使用场景：智能客服、文档搜索 调用方式：Anthropic API | ||||
15 | 开源模型（Open-Source Models） 这些模型可本地运行，适用于需要数据隐私或自定义优化的企业应用 | Sentence Transformer | Official Docs, Tool | HuggingFace | ★★★★★ | SentenceTransformers Documentation | Popular library for embedding models |
E5 (paper https://arxiv.org/abs/2212.03533 ) | intfloat/e5-large | E5 (intfloat/e5-large-v2, e5-mistral-7b-instruct) 特点：强大的嵌入模型，适用于信息检索 使用场景：搜索、推荐系统 调用方式：Hugging Face transformers 或 sentence-transformers | |||||
BGE-M3 (paper, code https://github.com/FlagOpen/FlagEmbedding/tree/master/FlagEmbedding/BGE_M3 ) | BAAI/bge-m3 | BGE (BAAI/bge-large-en, BAAI/bge-m3) 特点：来自清华大学的高效检索模型，支持多语言 使用场景：RAG、搜索增强对话系统 调用方式：Hugging Face | |||||
Instructor (paper https://arxiv.org/abs/2212.09741 ) | hkunlp/instructor-xl | Instructor (hkunlp/instructor-xl) 特点：支持可控嵌入（instruction tuning），可以通过提示调整嵌入效果 使用场景：个性化搜索、可调优的RAG 调用方式：Hugging Face sentence-transformers | |||||
MiniLM (paper https://arxiv.org/abs/2002.10957 ) | sentence-transformers/all-MiniLM-L6-v2 https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2 | MiniLM (sentence-transformers/all-MiniLM-L6-v2) 特点：轻量级、高效，适合资源受限场景 使用场景：嵌入存储、查询扩展 调用方式：Hugging Face sentence-transformers | |||||
16 | 随着LLMs的进步，直接使用LLMs生成文本嵌入的方式正逐渐成为新的趋势，这种方法不再依赖于单独的embedding models，而是直接利用LLM的内部表征来获取emebddings | Phi-3-mini | Tutorial | Youtube | ★★★★☆ | Get Embeddings From Phi 3 | 轻量级高效模型，适用于嵌入生成任务 |
Mistral Embed API | Official Docs | Mistral | Mistral Embed API | 训练优异的小型开源LLM，能生成高质量嵌入 | |||
Llama-3 | Tutorial | Medium | Embedding Model for LLaMA 3.1: A Comprehensive Guide https://medium.com/@aleksej.gudkov/embedding-model-for-llama-3-1-a-comprehensive-guide-1821ffadddb7 | Meta的高质量模型 | |||
17 | 如何比较选择合适的embedding models和其他相关资源 | Resources | Medium | ★★★★★ | OpenAI vs Open-Source Multilingual Embedding Models https://towardsdatascience.com/openai-vs-open-source-multilingual-embedding-models-e5ccb7c90f05 | 文章比较了OpenAI最新的嵌入模型与开源模型在多语言环境下的性能，发现开源模型（如BGE-M3）在准确性和控制方面表现更佳，建议根据具体需求在开源模型和专有解决方案之间进行选择 | |
Resources | Other | ★★★★★ | Embedding models comparison https://softwaremill.com/embedding-models-comparison/#custom-vs-cloud-api-embedder | 比较了自定义embedding model与云API的性能和成本，指出通过结合自定义模型与重排序步骤，可以在降低成本和提高数据隐私的同时，接近云API的性能 | |||
Tutorial | Step-by-Step Guide to Choosing the Best Embedding Model for Your Application | 提供了一个分步指南，帮助读者根据具体的应用场景和需求，选择最适合的embedding models | |||||
Resources, Tutorial | Youtube | ★★★☆☆ | How to train a model to generate image embeddings from scratch | 通过逐步构建一个简单的孪生网络（Siamese Network）并使用对比损失（contrastive loss）进行训练，深入浅出地讲解了embeddings的基本原理，帮助观众从零开始理解图像embeddings的生成过程 | |||
2.4 Vector databases Vector databases are designed to store embedding vectors. They enable efficient retrieval of data that is 'most similar' to a query based on vector similarity. | |||||||
Name | Category | Article Category | Source | Rating | Resources | Note | |
18 | 向量数据库（Vector Databases）专门用于存储嵌入向量 (embedding vectors)，支持高效的相似性检索 (similarity search)。这些数据库通过高效的索引 (index) 和检索算法 (search algorithms)，能够快速找到与查询向量“最相似”的存储向量，用于语义搜索 (sematic search) 或问答系统 Q&A | Concept | Other | ★★★★★ | What Is a Vector Database, and How Do They Boost AI? | 深入浅出地介绍了Vector Databases的概念、工作原理及其在人工智能应用中的重要性 | |
Pinecone | What is a Vector Database & How Does it Work? Use Cases + Examples | 介绍了向量数据库的概念、工作原理以及在AI应用中的重要性，并详细讨论了与传统数据库和独立向量索引的区别 | |||||
IBM | What is a vector database? | 深入探讨了向量数据库的概念、与传统数据库的区别，以及其在人工智能应用中的重要性 | |||||
Resources | Datacamp | ★★★★★ | The Top 7 Vector Databases in 2025 | 详细评估了当前领先的七大向量数据库，包括 Chroma、Pinecone、Weaviate、Faiss、Qdrant、Milvus 和 pgvector，为读者提供了全面的比较和应用指导 | |||
19 | 七种领先的向量数据库 | Chroma | Official Docs | Chroma | ★★★★★ | Getting Started | 一款开源的嵌入式数据库，旨在简化大型语言模型（LLM）应用的构建，使知识、事实和技能的集成更加便捷。 |
Tutorial | Datacamp | Chroma DB Tutorial: A Step-By-Step Guide https://www.datacamp.com/tutorial/chromadb-tutorial-step-by-step-guide | |||||
LangChain | LangChain - Chroma https://python.langchain.com/docs/integrations/vectorstores/chroma/ | LangChain提供的Chroma integration | |||||
Pinecone | Official Docs | Pinecone | ★★★★★ | Pinecone Database quickstart | 官方文档，Pinecone是一个托管的向量数据库平台，专为处理高维数据而设计，提供先进的索引和搜索功能，支持大规模机器学习应用 | ||
Tutorial | Youtube | Pinecone User Guide https://www.youtube.com/playlist?list=PLRLVhGQeJDTLiw-ZJpgUtZW-bseS2gq9- | 官方视频教程 | ||||
Datacamp | Mastering Vector Databases with Pinecone Tutorial: A Comprehensive Guide https://www.datacamp.com/tutorial/mastering-vector-databases-with-pinecone-tutorial | 对 Pinecone 的详细教程，展示了如何高效处理高维数据，理解非结构化数据 | |||||
Weaviate | Official Docs | Weaviate | ★★★★★ | Welcome to Weaviate Docs | 开源向量数据库，支持存储数据对象及其向量嵌入，能够无缝扩展至数十亿个数据对象，适用于快速相似性搜索和推荐系统 | ||
Tutorial | Youtube | Build with Weaviate https://www.youtube.com/playlist?list=PLTL2JUbrY6tVmVxY12e6vRDmY-maAXzR1 | 本系列涵盖了使用 Weaviate 构建的主题、项目和开源贡献。从教程到演示展示，此播放列表展示了 Weaviate 的用例 | ||||
Datacamp | Weaviate Tutorial: Unlocking the Power of Vector Search | 深入介绍了 Weaviate，并提供了从设置、架构设计到数据导入和查询优化的全面指南，为初学者提供了实用的操作步骤和最佳实践建议 | |||||
Faiss | Repo | GitHub | ★★★★★ | Faiss - A library for efficient similarity search and clustering of dense vectors. | 由Facebook AI Research开发的开源库，专注于高效的相似性搜索和密集向量的聚类，支持处理超出内存容量的大型数据集 | ||
Tutorial | Medium | How to Use FAISS to Build Your First Similarity Search https://medium.com/loopio-tech/how-to-use-faiss-to-build-your-first-similarity-search-bf0f708aa772 | 涵盖了从环境设置、创建包含文本和类别的数据框、将文本转换为向量、构建 FAISS 索引到执行相似性搜索的完整步骤 | ||||
HuggingFace | Semantic search with FAISS | 详细介绍了如何使用 FAISS 库构建语义搜索引擎，包括从加载和准备数据集、生成嵌入，到实现高效的相似性搜索的完整流程 | |||||
Youtube | FAISS Vector Library with LangChain and OpenAI (Semantic Search) | 如何使用 FAISS vector db，通过实际示例演示了从文档获取、分块、设置嵌入到搜索的完整流程 | |||||
Bilibili | Faiss 向量检索库 | 讲解FAISS的使用，原理，以及相关拓展知识 | |||||
Qdrant | Official Docs | Qdrant | ★★★★★ | Qdrant Documentation | 开源向量相似性搜索引擎和数据库，提供生产级服务，具备易于使用的API，支持快速准确的相似性搜索，并支持多种数据类型和查询条件 | ||
Medium | What is a Vector Database? — Qdrant https://medium.com/@qdrant/what-is-a-vector-database-qdrant-fb8cd9b3b524 | 介绍了Qdrant在高效索引、查询和检索高维向量数据中的应用 | |||||
Tutorial | Youtube | Setting Up Your Qdrant Vector Database | 用一个简单的示例step by step介绍了如何搭建使用Qdrant | ||||
Vector Databases Explained in 10 Minutes & Get Started with Qdrant Vector Database with Python | 介绍了vector db以及Qdrant的使用 | ||||||
Resources | Qdrant: Open Source Vector Search Engine and Vector Database (Andrey Vasnetsov) | 一个CMU教授的lecture，讲解了Qdrant的architecture和vector index specifics；比较technical，感兴趣可以学习 | |||||
Milvus | Official Docs | Milvus | ★★★★★ | What is Milvus? | 开源向量数据库，以其可扩展性、可靠性和性能而闻名，支持存储和查询由深度神经网络生成的大规模嵌入向量，适用于相似性搜索和AI驱动的应用 | ||
Tutorial | Youtube | Getting Started with Milvus https://www.youtube.com/playlist?list=PLPg7_faNDlT5Fb8WN8r1PzzQTNzdechnS | 介绍Milvus vector db的系列教程 | ||||
pgvector | Official Docs, Repo | GitHub | ★★★★★ | Open-source vector similarity search for Postgres | PostgreSQL的扩展，为广泛使用的关系型数据库引入了向量数据类型和相似性搜索功能，适合希望在传统数据库中添加向量搜索能力的团队 | ||
Tutorial | Other | What is pgvector, and How Can It Help You? | 详细介绍了如何使用pgvector，并通过示例演示了如何生成嵌入、创建索引以及执行相似性搜索 | ||||
Datacamp | pgvector Tutorial: Integrate Vector Search into PostgreSQL | 详细介绍了包括安装、基本操作以及与AI工具的集成步骤 | |||||
Medium | Getting Started with Pgvector: A Guide for Developers Exploring Vector Databases | 为开发者提供了一个关于 pgvector 的入门指南，详细介绍了如何在 PostgreSQL 中存储和搜索来自自然语言处理等领域的向量数据 | |||||
Other | PostgreSQL as a Vector Database: A Pgvector Tutorial | 详细介绍了如何使用 pgvector 扩展将 PostgreSQL 转变为向量数据库，涵盖了创建、存储和查询 OpenAI 嵌入的步骤，为开发者提供了将向量搜索功能集成到现有 PostgreSQL 系统中的实用指南 | |||||
Youtube | PGVector: Turn PostgreSQL Into A Vector Database | beginner友好的tutorial | |||||
3. Retrieval Augmented Generation With RAG, LLMs retrieve contextual documents from a database to improve the accuracy of their answers. RAG is a popular way of augmenting the model's knowledge without any fine-tuning. | |||||||
Name | Category | Article Category | Source | Rating | Resources | Note | |
20 | 检索增强生成（RAG）是一种增强大语言模型（LLM）能力的技术，它通过从数据库或知识库中检索相关文档，将其作为额外的上下文提供给LLM，从而提升回答的准确性和一致性，而无需对模型进行额外的微调（fine-tuning）。 相比于传统LLMs依赖静态训练数据，RAG允许模型在不改变参数的情况下动态获取最新信息，适用于知识检索、问答系统、智能客服、代码生成等场景。 | Concept | Datacamp | ★★★★★ | What is Retrieval Augmented Generation (RAG)? https://www.datacamp.com/blog/what-is-retrieval-augmented-generation-rag | 深入浅出的探讨了RAG的概念和作用 | |
Pinecone | Retrieval Augmented Generation (RAG) https://www.pinecone.io/learn/retrieval-augmented-generation/ | ||||||
Youtube | What is Retrieval-Augmented Generation (RAG)? | ||||||
Course | Youtube | Learn RAG From Scratch – Python AI Tutorial from a LangChain Engineer | 从LangChain SDE那里学习如何从头开始实现 RAG；使用 RAG 将自定义数据与LLM的强大功能相结合的Python 课程 | ||||
Bilibili | (超爽中英!) 2024公认最好的【吴恩达LangChain+RAG】教程！更适合中国宝宝体质，全程干货无废话，学完成为AGI大佬！（附课件+代码） | 该视频系列是吴恩达教授关于LangChain和检索增强生成（RAG）的教程，全程干货 | |||||
Bilibili | B站首推！2025最新版大模型RAG入门到精通实战教程！手把手带你结合企业级项目实战完成一套完整的RAG项目！增加检索/文本向量/知识库搭建 | 手把手指导企业级RAG项目，内容涵盖RAG工作原理、文本向量、知识库搭建等主题 | |||||
Resources | Personal Blog | RAG In Production - Best Practices Notes | 深入探讨了在生产环境中实施RAG的最佳实践，提供了确保系统稳健性、可扩展性和效率的指导 | ||||
3.1 Orchestrators Orchestrators (like LangChain https://www.langchain.com/ , LlamaIndex https://www.llamaindex.ai/ , FastRAG https://github.com/IntelLabs/fastRAG , etc.) are popular frameworks to connect your LLMs with tools, databases, memories, etc. and augment their abilities. RAG 由多个关键组件协同工作，每个部分都影响检索质量、模型的上下文管理以及最终答案的生成质量。 | |||||||
Name | Category | Article Category | Source | Rating | Resources | Note | |
21 | 编排器（Orchestrators）是RAG 的核心，它负责连接 LLM、向量数据库、检索器、记忆模块和评估工具，确保整个流程高效执行 | Concept | IBM | ★★★★★ | Orchestration https://www.ibm.com/architectures/papers/rag-cookbook/orchestration | 深入探讨了RAG中的编排层（Orchestration Layer），强调其在协调数据检索与生成模型交互中的关键作用，并介绍了如 NeuralSeek、LlamaIndex 和 LangChain 等框架在 RAG 系统中的应用 | |
deepchecks | LLM Orchestration | ||||||
Medium | Mastering RAG: The Essential Guide to Orchestration Frameworks | 深入探讨了RAG中使用编排框架（如 LangChain、LlamaIndex、FastRAG 等）的必要性 | |||||
★★★★☆ | Retrieval Augmented Generation and Orchestration (RAGO): A New Frontier in Workflow Automation | 介绍了检索增强生成编排（RAGO）的概念，探讨了其在优化大语言模型性能方面的潜力 | |||||
22 | 在构建检索增强生成（RAG）、智能对话系统或自动化任务时，LangChain 和 LlamaIndex 是两个非常流行的框架，它们主要用于整合大语言模型（LLMs），并提供数据处理、检索、执行链等功能 | LangChain | Official Docs | LangChain | ★★★★★ | LangChain Documentation | 模块化框架，支持自定义LLM管道，整合数据库、工具和执行链 |
Tutorial | Build a Retrieval Augmented Generation (RAG) App: Part 1 | Step-by-step tutorial to build a typical RAG pipeline. | |||||
Concept | IBM | What is LangChain? | 深入探讨了 LangChain 的功能和应用，强调了其模块化方法在集成外部数据源和软件工作流程中的优势 | ||||
Tutorial | Datacamp | How to Build LLM Applications with LangChain Tutorial https://www.datacamp.com/tutorial/how-to-build-llm-applications-with-langchain | 详细介绍了如何使用 LangChain，涵盖了从安装、环境设置到与 OpenAI 等模型提供商集成的具体步骤，并提供了代码示例 | ||||
Other | LangChain: A Complete Guide & Tutorial | 深入探讨了LangChain框架的核心概念、组件和应用场景，并提供了详细的安装步骤和示例代码 | |||||
Youtube | LangChain Explained in 13 Minutes | QuickStart Tutorial for Beginners | 探讨 LangChain 的核心概念，并了解如何使用该框架构建自己的LLM Application | |||||
Course | LangChain Master Class For Beginners 2024 [+20 Examples, LangChain V0.2] | 介绍了使用LangChain的各种场景，很全面的课程 | |||||
Bilibili | 2025吃透LangChain大模型全套教程（LLM+RAG+OpenAI+Agent）通俗易懂，学完即就业!拿走不谢，学不会我退出IT圈！！！ | 通俗易懂的全面LangChain教程 | |||||
LlamaIndex | Official Docs | LlamaIndex | ★★★★★ | Welcome to LlamaIndex ! https://docs.llamaindex.ai/en/stable/#introduction Starter Tutorial (Local Models) https://docs.llamaindex.ai/en/stable/getting_started/starter_example_local/ | 专注于索引结构优化，提高检索效率 | ||
Tutorial | Youtube | ★★★★★ | Introduction to LlamaIndex with Python (2024) | 为初学者提供了对 LlamaIndex 框架的全面介绍，涵盖了其基本概念和在 Python 中的应用，适合快速上手 | |||
Datacamp | LlamaIndex: Adding Personal Data to LLMs https://www.datacamp.com/tutorial/llama-index-adding-personal-data-to-llms | 详细介绍了如何使用 LlamaIndex 将个人数据（如 PDF、数据库、API 等）整合到LLM中，提供了从数据摄取、索引构建到查询的完整教程 | |||||
Medium | Basic Tutorial RAG with Llama-Index https://medium.com/@kofsitho/basic-tutorial-rag-with-llama-index-8927a5716dd1 | 关于如何使用 LlamaIndex 构建RAG系统的基础教程 | |||||
Course | Youtube | ★★★★★ | LlamaIndex https://www.youtube.com/playlist?list=PLz-qytj7eIWWqLRAJh-Q_fuvs0qH739zz | 该视频系列深入探讨了 LlamaIndex 的核心概念、个性化配置、强大的数据连接器等，提供了全面的指导 | |||
Bilibili | 强推！这可能是唯一能将LlamaIndex讲清楚的课程了，公认最适合新手入门LlamaIndex大模型实战系列，3小时全流程解读分析，简直比刷剧还爽！ | 适合入门，通过 3 小时的全流程解读和分析，共 11 个视频，深入浅出地讲解了 LlamaIndex 的相关知识 | |||||
吴恩达《使用LlamaIndex构建主动式RAG|Building Agentic RAG with LlamaIndex》中英字幕 | 该视频系列由 LlamaIndex 的联合创始人兼首席执行官 Jerry Liu 主讲，深入讲解了如何使用 LlamaIndex 构建主动式RAG系统，涵盖从简单路由器的构建到多文档研究助理代理的开发，帮助学习者掌握利用自身数据和工具来增强大型语言模型推理和决策能力的框架 | ||||||
3.2 Retrievers User instructions are not optimized for retrieval. Different techniques (e.g., multi-query retriever, HyDE https://arxiv.org/abs/2212.10496 , etc.) can be applied to rephrase/expand them and improve performance. | |||||||
Name | Category | Article Category | Source | Rating | Resources | Note | |
23 | 检索器（Retrievers） 用户查询通常不是最优的检索输入，因此高效的检索策略可以提升相关性和召回率 | Concept | Tutorial | Medium | ★★★★★ | Advancing the Power of Retrievers in RAG Frameworks | 深入探讨了RAG中检索器的核心作用，探讨了增强检索器能力的方法，以实现更高效的增强智能 |
Advanced Retriever Techniques to Improve Your RAGs https://towardsdatascience.com/advanced-retriever-techniques-to-improve-your-rags-1fac2b86dd61 | 探讨了提升RAG系统性能的高级检索技术，重点介绍了父文档检索器（Parent Document Retriever）、自查询检索器（Self-Query Retriever）和上下文压缩检索器（Contextual Compression Retriever）等方法 | ||||||
Mastering RAG: A Deep Dive into Retriever https://medium.com/@shravankoninti/mastering-rag-a-deep-dive-into-retriever-2ac7957106b7 | 详细分析了Retriever在RAG架构中的作用、实现方法以及优化策略，为读者提供了全面的理解和实践指导 | ||||||
多查询检索（Multi-query retriever）：生成多个查询，以提高覆盖度 | Tutorial | Medium | ★★★★★ | Advanced RAG: Multi-Query Retriever Approach https://medium.com/@kbdhunga/advanced-rag-multi-query-retriever-approach-ad8cd0ea0f5b | 深入探讨了如何利用 LangChain 框架中的 MultiQueryRetriever 方法，通过生成多个不同的查询来增强检索效果 | ||
Official Docs | LangChain | How to use the MultiQueryRetriever https://python.langchain.com/docs/how_to/MultiQueryRetriever/ | LangChain的MultiQueryRetriever官方文档 | ||||
假设文档嵌入（HyDE, Hypothetical Document Embeddings）：LLM 先生成一个“假想答案”，然后用它来搜索相关文档 | Official Docs | LangChain | ★★★★☆ | HyDE Retriever | LangChain的HyDE官方文档 | ||
Tutorial | Medium | Advanced RAG — Improving retrieval using Hypothetical Document Embeddings(HyDE) | 文章深入探讨了如何利用HyDE技术，通过生成理论文档并将其转换为嵌入向量，来增强检索效果 | ||||
Revolutionizing Information Retrieval: HyDE & Traditional RAG https://medium.com/@tiro2000/revolutionizing-information-retrieval-hyde-traditional-rag-2a64f3ce1c2a | 重点比较了传统的RAG方法与假设文档嵌入（HyDE）技术 | ||||||
基于 BM25 + 向量检索的混合检索（Hybrid Search）：结合关键词匹配（BM25）和语义搜索（向量数据库） | Official Docs | LangChain | ★★★★☆ | Hybrid Search | LangChain的Hybrid Search官方文档 | ||
Tutorial | Medium | Hybrid Search a method to Optimize RAG implementation https://medium.com/@csakash03/hybrid-search-is-a-method-to-optimize-rag-implementation-98d9d0911341 | 深入探讨了如何通过结合关键词搜索（BM25）和语义搜索（密集嵌入）来构建混合搜索策略 | ||||
How to Use Hybrid Search for Better LLM RAG Retrieval https://towardsdatascience.com/how-to-use-hybrid-search-for-better-llm-rag-retrieval-032f66810ebe | |||||||
3.3 Memory To remember previous instructions and answers, LLMs and chatbots like ChatGPT add this history to their context window. This buffer can be improved with summarization (e.g., using a smaller LLM), a vector store + RAG, etc. | |||||||
Name | Category | Article Category | Source | Rating | Resources | Note | |
24 | LLMs 本身不具有长期记忆，每次交互都在独立的上下文窗口内执行。因此，为了在对话中“记住”历史信息，可以引入记忆模块 | Concept | CSDN | ★★★★★ | 大语言模型应用指南：什么是记忆 https://blog.csdn.net/2405_88636357/article/details/143637764 | 深入探讨了LLM的记忆机制，分析了模型在处理长序列文本时如何保持长期依赖信息 | |
知乎 | ★★★★★ | LangChain大模型应用开发指南-大模型Memory不止于对话 | 详细拆解了LangChain框架内置的多种记忆机制，涵盖其工作原理、特性以及使用方法 | ||||
Tutorial | LangChain | ★★★★★ | How to add memory to chatbots | List of different types of memories with relevant usage. | |||
Medium | A Complete Guide to Implementing Memory-Augmented RAG https://medium.com/aingineer/a-complete-guide-to-implementing-memory-augmented-rag-c3582a8dc74f | 深入研究技术架构和实施细节，帮助将记忆集成到 RAG 系统中，以提高上下文理解和响应准确性 | |||||
How To Give Your Chatbot More Memory Dan Cleary https://medium.com/%40dan_43009/how-to-give-your-chatbot-more-memory-f5d64dbd2a3c | 讨论通过总结对话历史并将这些总结合并到聊天机器人的上下文中来提高聊天机器人记忆的方法 | ||||||
Memory for your RAG based chat bot: Using Langchain https://medium.com/%40pani.chinmaya/memory-for-your-rag-based-chat-bot-using-langchain-b4d720031671 | 提供使用 LangChain 框架在基于 RAG 的聊天机器人中实现内存的实用指南，详细介绍了各种内存管理技术，以提高聊天机器人的性能 | ||||||
Pinecone | Conversational Memory for LLMs with Langchain https://www.pinecone.io/learn/series/langchain/langchain-conversational-memory | 概述了 LangChain 如何促进 LLM 中的对话记忆，使聊天机器人能够在多次交互中保持上下文，从而实现更连贯的对话 | |||||
Youtube | LangChain - Conversations with Memory (explanation & code walkthrough) | 深入讲解了如何使用 LangChain 框架为对话添加记忆功能，提供了详细的代码演示 | |||||
LangChain: Giving Memory to LLMs | |||||||
Chatbot Memory: Retrieval Augmented Generation (RAG) Chain | LangChain | Python | Ask PDF Documents | 使用一个实际示例演示了如何为聊天机器人添加内存，使其能够理解之前的交互并将其融入到当前的响应中 | ||||||
3.4 Evaluation We need to evaluate both the document retrieval (context precision and recall) and generation stages (faithfulness and answer relevancy). It can be simplified with tools Ragas https://github.com/explodinggradients/ragas/tree/main and DeepEval https://github.com/confident-ai/deepeval . | |||||||
Name | Category | Article Category | Source | Rating | Resources | Note | |
25 | 评估 RAG 系统时，必须同时衡量检索质量和生成质量： 检索评估（Retrieval Evaluation）： - 召回率（Recall）：检索到的文档是否包含正确答案？ - 精确率（Precision）：检索到的文档是否相关？ 生成评估（Generation Evaluation）： - 忠实度（Faithfulness）：回答是否基于检索的真实文档，而不是模型幻觉（hallucination）？ - 相关性（Relevancy）：回答是否与用户查询高度匹配？ | Concept | Pinecone | ★★★★★ | RAG Evaluation: Don’t let customers tell you first | 介绍了评估检索阶段准确性的常用指标，如精确率（Precision）、召回率（Recall）和平均精确率（Average Precision），并讨论了适用于不同应用场景的评估框架 | |
HuggingFace | RAG Evaluation | 详细介绍了如何通过构建合成评估数据集，并使用LLM作为评估者，来评估RAG系统的性能 | |||||
Youtube | Key Metrics and Evaluation Methods for RAG | 深入探讨了RAG的关键指标和评估方法 | |||||
Tutorial | CSDN | ★★★★★ | 检索增强生成的评估：一项综述 | 这篇综述深入探讨了 RAG 系统评估的复杂性和挑战，提出了分析 RAG 全流程的评估方法，重点关注评估目标、评估数据和量化指标 | |||
MyScale | 评估RAG系统组件的终极指南 https://myscale.com/blog/zh/ultimate-guide-to-evaluate-rag-system | 该指南涵盖了评估 RAG 系统的各种方法，包括检索评估的召回率、MRR 和 MAP，以及生成评估的忠实度和答案相关性的 BLEU、ROUGE 和 METEOR 等指标 | |||||
Other | 全网最全RAG评估指南：全面解析RAG评估指标并提供代码示例 https://53ai.com/news/RAG/2024072859461.html?utm_source=chatgpt.com | 详细介绍了 RAG 系统的评估指标，并提供了相应的代码示例 | |||||
Youtube | How to evaluate an LLM-powered RAG application automatically. | 介绍了如何使用 Giskard 库自动评估由RAG app的性能，并提供了相关示例代码 | |||||
Course | Youtube | ★★★★☆ | Learn to Evaluate LLMs and RAG Approaches https://www.youtube.com/watch?v=97ftVtITKfo&list=PLrLEqwuz-mRI5ubqVJ7DpbHheCflJDDXk | 比较详细的评估LLM和RAG性能的课程 | |||
26 | 目前，Ragas 和 DeepEval 是两个常见的评估工具，它们提供了不同的方法和指标来衡量 RAG 管道的效果 | Ragas https://github.com/explodinggradients/ragas/tree/main Ragas 是一个专门用于 RAG 评估 的 Python 库，提供了一系列衡量检索和生成质量的指标，确保 RAG 管道能够提供高质量的检索和生成结果 | Official Docs | Ragas | ★★★★★ | Ragas How-to Guides | 自动评估 RAG 管道的检索和生成阶段 |
Tutorial | Medium | Evaluating RAG Applications with RAGAs https://towardsdatascience.com/evaluating-rag-applications-with-ragas-81d67b0ee31a | 介绍了Ragas框架并提供代码示例 | ||||
VectorHub | Evaluating Retrieval Augmented Generation using RAGAS https://superlinked.com/vectorhub/articles/retrieval-augmented-generation-eval-qdrant-ragas | 提供了用Ragas创建评估数据集、定义关键指标（如忠实度、答案相关性、上下文召回和精确度）以及应用这些指标评估 RAG 的详细步骤 | |||||
AnalyticsVidhya | A Beginner’s Guide to Evaluating RAG Pipelines Using RAGAS | 详细介绍了Ragas的性能，提供了从理论到实践的全面指南，适合初学者参考 | |||||
Youtube | ★★★★★ | Session 7: RAG Evaluation with RAGAS and How to Improve Retrieval | 深入探讨了如何使用Ragas，并提供了改进检索效果的实用方法 | ||||
AI Agent Evaluation with RAGAS | 非常清晰的解析了如何使用Ragas评估AI Agent的RAG性能 | ||||||
DeepEval https://github.com/confident-ai/deepeval DeepEval 是一个用于 自动化测试和评估 LLM 输出 的工具，类似于 Pytest，但专门用于测试生成式 AI 和 RAG 系统。它不仅适用于 RAG，还可以用于评估一般的 LLM 任务 | Official Docs | DeepEval | ★★★★☆ | RAG Evaluation | 提供度量指标，如 BLEU、ROUGE、BERTScore，用于文本生成任务的评估 | ||
Tutorial | Datacamp | ★★★★★ | Evaluate LLMs Effectively Using DeepEval: A Practical Guide https://www.datacamp.com/tutorial/deepeval?utm_source=chatgpt.com | 引导设置 DeepEval 并创建相关性测试（类似于 Pytest 方法）来评估 LLM 输出 | |||
Medium | Evaluating LLM Responses with DeepEval Library: A Comprehensive Practical Guide | 本综合指南提供了使用 DeepEval 库设置和运行评估的实际示例。 | |||||
Youtube | How to Setup DeepEval for Fast, Easy, and Powerful LLM Evaluations | 简单好上手的快速指南 | |||||
Medium | ★★★★☆ | Evaluating an RAG Pipeline Using DeepEval https://bhavikjikadara.medium.com/evaluating-an-rag-pipeline-using-deepeval-749f641b3186 | 详细介绍了如何使用 DeepEval 和 Haystack 框架评估检索增强生成（RAG）管道的性能，涵盖了精确率、召回率和答案相关性等关键指标 | ||||
Milvus | ★★★☆☆ | Evaluation with DeepEval | 详细介绍了如何使用 DeepEval 框架评估基于 Milvus 的检索增强生成（RAG）管道，提供了从前提条件到代码实现的完整指南 | ||||
4. Advanced RAG Real-life applications can require complex pipelines, including SQL or graph databases, as well as automatically selecting relevant tools and APIs. These advanced techniques can improve a baseline solution and provide additional features. 在实际应用中，RAG系统往往需要更复杂的管道，不仅仅是单纯的向量数据库，而是结合SQL、图数据库（Graph Databases）、工具调用（Tool Use）和 API 自动选择来提供更准确和丰富的答案。通过这些高级技术，可以显著提升 RAG 的性能，拓展其应用范围，并增强可解释性和可靠性。 | |||||||
4.1 Query construction Structured data stored in traditional databases requires a specific query language like SQL, Cypher, metadata, etc. We can directly translate the user instruction into a query to access the data with query construction. | |||||||
Name | Category | Article Category | Source | Rating | Resources | Note | |
27 | 查询构造（Query Construction）:许多企业数据存储在传统数据库（如 SQL、NoSQL、图数据库）中，而不是纯文本格式。LLM 需要理解用户查询并转换为数据库可执行的查询语言来精准检索相关信息 | Concept | Other | ★★★★☆ | Routing and Query Construction | 探讨了在RAG中，如何通过查询路由和查询构造技术，将用户的自然语言查询转换为数据库可理解的查询语言（如 SQL 或 Cypher），以有效地从多种数据源中检索信息 | |
Concept | LangChain | ★★★★★ | Query Construction | 探讨了将自然语言查询转换为特定数据库查询语言（如 SQL、Cypher）的方法，以有效检索结构化和半结构化数据 | |||
Tutorial | Build a Question/Answering system over SQL data | 详细介绍了如何使用 LangChain 框架构建一个能够对 SQL 数据库进行问答的系统，涵盖了使用链（chains）和代理（agents）两种实现方法 | |||||
Medium | Constructing Queries with Langchain https://medium.com/munchy-bytes/constructing-queries-with-langchain-5e3ded7d0c1e | 介绍了如何使用 LangChain 的 SQL Agent，将自然语言转换为 SQL 查询，以实现与 SQL 数据库的灵活交互 | |||||
Youtube | Building SQL Queries from Natural Language using LLMs | 演示了利用 LLM 将自然语言转换为 SQL 来查询 PostgreSQL 数据库 | |||||
IBM | ★★★★☆ | Generating SQL from text with LLMs https://developer.ibm.com/tutorials/awb-text-to-sql-using-llms/ | 教程演示了如何使用IBM开发的Granite模型系列的LLM，将自然语言转换为有效的SQL查询 | ||||
Youtube | ★★★☆☆ | How to use AI Agents (LLMs) with RAG in order to query your SQL database | Building a FREE APP | 介绍了如何使用LLM agent将用户的自然语言问题转换为SQL查询 | ||||
4.2 Agents and tools Agents augment LLMs by automatically selecting the most relevant tools to provide an answer. These tools can be as simple as using Google or Wikipedia, or more complex like a Python interpreter or Jira. | |||||||
Name | Category | Article Category | Source | Rating | Resources | Note | |
28 | LLM 需要调用外部工具，才能给出更准确、更实时的答案 | Concept | Personal Blog | ★★★★★ | LLM Powered Autonomous Agents | 深入探讨了以LLM为核心的agent的架构，强调了规划、记忆和工具使用等关键组件的重要性 | |
Medium | ★★★★★ | The Emergence and Potential of AI Agents: A Transformative Frontier | 探讨了人工智能代理（AI Agents）的出现及其潜在影响 | ||||
Salesforce | ★★★☆☆ | What Are AI Agents? Benefits, Examples, Types https://www.salesforce.com/agentforce/what-are-ai-agents/#what | 详细介绍了AI代理的定义、工作原理、优势以及应用场景 | ||||
Youtube | ★★★★★ | What Do We Want From LLMs?: Agents and Tool Use | 讨论了通过代理将 LLM 与外部工具和数据源相结合，以创建更实用和可靠的应用程序 | ||||
29 | 传统 RAG 只能检索数据库，而高级 RAG 可以自动选择并调用外部工具（如 API、搜索引擎、计算器） | Concept | Concept | Mercity | ★★★★★ | Comprehensive Guide to Integrating Tools and APIs with Language Models https://www.mercity.ai/blog-post/guide-to-integrating-tools-and-apis-with-language-models | 详细介绍了如何通过函数调用和提示技术，将GPT-4与外部工具和第三方API集成，以增强模型的功能 |
LangChain RequestsTool https://python.langchain.com/docs/integrations/tools/requests/ | Tutorial | Medium | ★★★★★ | Integrating an External API with a Chatbot Application using LangChain and Chainlit | 展示了如何使用LangChain和Chainlit将外部API集成到聊天机器人应用中，以实现高级交互 | ||
Medium | Building a simple Agent with Tools and Toolkits in LangChain | 详细介绍了如何使用 LangChain 框架创建一个简单Agent，并结合工具和工具包（Toolkits）来增强其功能 | |||||
OpenAI Function Calling | Official Docs | OpenAI | ★★★★★ | Function Calling in the OpenAI API https://help.openai.com/en/articles/8555517-function-calling-in-the-openai-api | 详细介绍了如何在 OpenAI API 中使用函数调用功能，将LLM与外部工具和系统连接 | ||
Tutorial | Datacamp | OpenAI Function Calling Tutorial https://www.datacamp.com/tutorial/open-ai-function-calling-tutorial | 详细介绍了如何使用 OpenAI 的函数调用功能来生成结构化的 JSON 输出，解决了开发者在处理不规则模型输出时常遇到的问题 | ||||
30 | 通过智能代理（Agents），LLM 能够决定何时使用工具，以及使用哪个工具 | Concept | Concept | Youtube | ★★★★★ | AI Agents Explained: A Comprehensive Guide for Beginners | 由 Toolflow.ai 的联合创始人兼 CEO Alfie Marsh 主讲，深入浅出地为初学者全面讲解了 AI 代理的概念和应用 |
Tutorial | Youtube | LLM Agents with h2oGPTe: Tools, Applications, and Integration | 深入探讨了LLM代理的概念，并演示了如何将h2oGPT与外部工具集成，以实现更复杂的应用 | ||||
LangChain Agents | Official Docs | LangChain | Build an Agent | LangChain Agent doc, 提供了从模型选择、工具集成到内存管理的完整实现步骤 | |||
Tutorial | Pinecone | Building Custom Tools for LLM Agents https://www.pinecone.io/learn/series/langchain/langchain-tools/ | 探讨了如何为LLM代理构建自定义工具，特别是在LangChain框架中，提供了从简单到复杂工具的构建方法 | ||||
Medium | Mastering LLM AI Agents: Building and Using AI Agents in Python with Real-World Use Cases | 提供了一个分步指南，展示如何在 Python 中构建和使用能够调用外部工具的 LLM 代理，并提供了实际应用案例 | |||||
LangGraph https://www.langchain.com/langgraph LangChain 生态系统中的一个库，提供了一个框架，用于以结构化和高效的方式定义、协调和执行多个大型语言模型（LLM）代理或链 | Official Docs | LangChain | ★★★★★ | LangGraph Quickstart https://langchain-ai.github.io/langgraph/tutorials/introduction/ | 详细介绍了如何使用 LangGraph 构建一个支持搜索、状态管理和人机协作的客服聊天机器人，逐步引入关键概念，适合初学者学习 | ||
Tutorial | Datacamp | LangGraph Tutorial: What Is LangGraph and How to Use It? | 详细介绍了 LangGraph | ||||
AutoGen | Repo | GitHub | ★★★★★ | AutoGen | AutoGen is a framework for creating multi-agent AI applications that can act autonomously or work alongside humans. | ||
Official Docs | Microsoft | AutoGen 2.0 - Getting Started https://microsoft.github.io/autogen/0.2/docs/Getting-Started/ | 详细介绍了 AutoGen 的主要功能、安装步骤以及快速入门指南 | ||||
Tutorial | Medium | How to Implement a GenAI Agent using Autogen or LangGraph | 介绍了如何使用 AutoGen 或 LangGraph 框架实现生成式 AI 代理，提供了详细的步骤和示例代码 | ||||
Tutorial | Medium | A practical guide for using AutoGen in software applications | 文章为使用 AutoGen 提供了实用指南，填补了现有文档的空白 | ||||
4.3 Post-processing Final step that processes the inputs that are fed to the LLM. It enhances the relevance and diversity of documents retrieved with re-ranking, RAG-fusion https://github.com/Raudaschl/rag-fusion , and classification. 即使检索到的文档相关性较高，也可能存在冗余、低质量、或排序不理想的问题。因此，需要后处理步骤优化最终输入 LLM 的数据，以提高生成质量 | |||||||
Name | Category | Article Category | Source | Rating | Resources | Note | |
31 | 重排序（Re-ranking）：对检索到的文档重新排序，提高相关性 | Tutorial | Other | ★★★★★ | A Hands-on Guide to Enhance RAG with Re-Ranking https://adasci.org/a-hands-on-guide-to-enhance-rag-with-re-ranking/ | 详细介绍了在 RAG 系统中应用重排序技术的实用方法 | |
Datacamp | ★★★★☆ | RankGPT as a Re-Ranking Agent for RAG (Tutorial) https://www.datacamp.com/tutorial/rankgpt-rag-reranking-agent | 介绍了 RankGPT 方法，利用大型语言模型（如 ChatGPT）对检索增强生成（RAG）系统中检索到的文档进行重新排序 | ||||
NVIDIA | Enhancing RAG Pipelines with Re-Ranking https://developer.nvidia.com/blog/enhancing-rag-pipelines-with-re-ranking/ | 介绍了使用 NVIDIA 的 NeMo Retriever 重排序微服务（NIM） | |||||
Pinecone | Rerankers and Two-Stage Retrieval | 介绍了如何利用重排序模型对初始检索结果进行重新排序，还讨论了如何在RAG管道中实施两阶段检索策略，以优化整体性能 | |||||
Medium | Improve Retrieval Augmented Generation (RAG) with Re-ranking | 探讨了重排序（Re-ranking）技术，用huggingface dataset和pinecone index示例 | |||||
32 | RAG-Fusion（多轮检索融合） | RAG-Fusion | Repo | GitHub | ★★★★★ | RAG-Fusion: The Next Frontier of Search Technology | RAG-Fusion 采用多个不同检索方法，如 BM25 + 向量检索，再融合结果，获得更全面的答案 |
Concept | Youtube | Advanced RAG 06 - RAG Fusion | 视频介绍了 RAG 融合的概念，探讨了使用 LangChain 实现 RAG 融合的过程，并给出了如何在各种场景中应用它的示例 | ||||
Medium | RAG Fusion Revolution — A Paradigm Shift in Generative AI | 对RAG-Fusion的出现以及解决的问题作出非常全面的介绍 | |||||
Tutorial | Medium | Langchain RAG Fusion — Advance RAG https://medium.com/@nageshmashette32/langchain-rag-fusion-advance-rag-32eefc63da99 | 文章介绍了如何使用 Langchain 实现 RAG-Fusion，通过生成多个查询并使用互惠排名融合算法对它们进行重排序 | ||||
Youtube | RAG from scratch: Part 6 (Query Translation -- RAG Fusion) | Langchain的RagFusion新手教程 | |||||
33 | 分类（Classification）用 LLM 或 ML 模型对检索的文档进行分类 | Discussion | ★★★★☆ | RAG – How I moved from Re-ranking to Classifier-based Filtering https://www.reddit.com/r/Rag/comments/1f3b4sc/rag_how_i_moved_from_reranking_to_classifierbased/ | 分享了从重排序方法转向基于分类器的过滤方法的经验 | ||
4.4 Program LLMs Frameworks like DSPy https://github.com/stanfordnlp/dspy allow you to optimize prompts and weights based on automated evaluations in a programmatic way. | |||||||
Name | Category | Article Category | Source | Rating | Resources | Note | |
34 | 在高级 RAG 任务中，通常需要优化 LLM 的提示词（Prompts）和权重（Weights），以提高任务性能 | DSPy | Official Docs | DSPy | ★★★★★ | DSPy Programming—not prompting—LMs | 允许开发者使用可编程方式优化 LLM 提示，提高 RAG 质量 |
Concept | IBM | ★★★★★ | What is DSPy? | 详细介绍了 DSPy 工具包 | |||
Datacamp | What Is DSPy? How It Works, Use Cases, and Resources | 详细介绍了 DSPy 的工作原理、主要功能、应用场景以及相关资源，为开发者提供了深入理解该框架的实用指南 | |||||
Tutorial | Youtube | ★★★★★ | DSPy Explained! | 对 DSPy 中思想的回顾，涵盖了核心概念，并介绍了如何编译一个简单的检索然后读取 RAG 程序，以及一个更高级的多跳 RAG 程序，其中有 2 个 LLM 组件可以使用 DSPy 编译器进行优化 | |||
DSPy: MOST Advanced AI RAG Framework with Auto Reasoning and Prompting | 非常全面详细的DSPy解析和教程 | ||||||
Complete DSPy Tutorial - Master LLM Prompt Programming in 8 amazing examples! | 通过 8 个示例逐步解释 DSPy 背后的主要概念以及如何仅用几行代码构建真正复杂的 LLM 程序；使用 LLM（如 ChatGPT、Mixtral、Gemini、LLama-3）以及本地模型（如 T5、LLama、GPT-1 等）构建程序 | ||||||
Course | ★★★★★ | Can You Explain to Me about DSPy https://www.youtube.com/playlist?list=PLbzjzOKeYPCqoCjk_rTuZA1Qobq5_D_hX | 系列视频将以易于理解的方式介绍了DSPy的各个部分及其各种模块 | ||||
5. Inference optimization Text generation is a costly process that requires expensive hardware. In addition to quantization, various techniques have been proposed to maximize throughput and reduce inference costs. | |||||||
Name | Category | Article Category | Source | Rating | Resources | Note | |
35 | 文本生成是一个计算密集型过程，需要高成本的硬件来运行大型语言模型（LLMs）。为了提高推理（inference）效率、最大化吞吐量（throughput）并减少计算成本，研究人员提出了多种优化技术。 | Concept | HuggingFace | ★★★★☆ | LLM inference optimization | 详细介绍了在 Hugging Face Transformers 库中可用的优化技术，以加速大型语言模型（LLM）的推理过程 | |
Tutorial | HuggingFace | ★★★★★ | Optimizing LLMs for Speed and Memory https://huggingface.co/docs/transformers/main/en/llm_tutorial_optimization | Explain three main techniques to optimize speed and memory, namely quantization, Flash Attention, and architectural innovations. | |||
Youtube | ★★★★★ | Deep Dive: Optimizing LLM inference | 重点介绍了 LLM 推理的优化，并研究了有助于减少延迟和提高吞吐量的关键机制：KV 缓存、连续批处理和推测解码，包括最先进的 Medusa 方法 | ||||
Deep dive - Better Attention layers for Transformer models https://www.youtube.com/watch?v=2TT384U4vQg&list=PLJgojBtbsuc0Z7LdHRT1Usn5lXDp2On5e | 介绍了自注意力机制及其多头变体所涉及的计算，讨论专注于计算和内存优化的较新的注意力实现，即多查询注意力、组查询注意力、滑动窗口注意力、Flash 注意力 v1 和 v2 以及分页注意力 | ||||||
NVIDIA | ★★★★★ | Mastering LLM Techniques: Inference Optimization https://developer.nvidia.com/blog/mastering-llm-techniques-inference-optimization/ | 深入探讨了大型语言模型（LLM）在推理阶段面临的挑战，并介绍了优化技术，如 Flash Attention、键值缓存和推测解码，以提高推理效率和降低计算成本 | ||||
Medium | ★★★★★ | How to Optimize LLM Inference ? https://medium.com/@manindersingh120996/how-to-optimize-llm-inference-0076d9f3dd1b | 详细探讨了优化LLM inference的多种方法，包括量化、模型剪枝、知识蒸馏等技术，旨在提高模型效率并降低计算成本 | ||||
Youtube | ★★★★★ | Quantization vs Pruning vs Distillation: Optimizing NNs for Inference | 优化模型推理速度的四种技术：Quantization，Pruning，Knowledge Distillation， Engineering Optimizations | ||||
Youtube | ★★★★★ | Mastering LLM Inference Optimization From Theory to Cost Effective Deployment: Mark Moyou | 涵盖模型规模、性能和成本管理等方面，详细讲解了模型大小、计算硬件、量化和并行化方法、键值缓存管理、输入输出长度预测等关键技术 | ||||
Other | ★★★★☆ | LLM Inference Optimization 101 https://www.digitalocean.com/community/tutorials/llm-inference-optimization | 概述了LLM推理的方法，包括量化、剪枝、知识蒸馏、模型并行化、缓存机制和硬件加速 | ||||
Best Practices | Databricks | ★★★★★ | LLM Inference Performance Engineering: Best Practices https://www.databricks.com/blog/llm-inference-performance-engineering-best-practices | 涵盖了硬件选择、模型优化、并行化策略等方面，为提升LLM推理效率提供了全面的指导 | |||
★★★☆☆ | Best practices for optimizing large language model inference with GPUs on Google Kubernetes Engine (GKE) | 详细介绍了在 Google Kubernetes Engine上使用 GPU 优化LLM inference的最佳实践，重点讨论了如何通过 vLLM 和文本生成推理 (TGI) 服务框架来提高开放 LLM 的推理性能 | |||||
5.1 Flash Attention Optimization of the attention mechanism to transform its complexity from quadratic to linear, speeding up both training and inference. | |||||||
Name | Category | Article Category | Source | Rating | Resources | Note | |
36 | Flash Attention： 优化 Transformer 注意力计算，将复杂度从 O(n²) 降至 O(n)，加速长文本推理并减少显存占用。 | FlashAttention | Concept | Medium | ★★★★★ | What is Flash Attention? https://medium.com/data-science-in-your-pocket/what-is-flash-attention-f5dc22522a77 | 详细介绍了 FlashAttention 的工作原理，并讨论了其在优化 Transformer 模型注意力机制方面的优势 |
Youtube | ★★★★★ | How FlashAttention Accelerates Generative AI Revolution | 讲解了 FlashAttention 的工作原理、性能优势以及其在加速生成式 AI 模型中的应用 | ||||
Other | ★★★★☆ | Flash Attention | 文章清晰易懂的介绍了 Flash Attention 技术 | ||||
Tutorial | Medium | ★★★★★ | Understanding Flash Attention - Fueling Large language Models | 深入探讨了 Flash Attention 技术，分析了其在大型语言模型中的应用，以及如何通过优化注意力机制来提高模型的训练速度和推理效率 | |||
Tutorial | Youtube | ★★★★☆ | Flash Attention Machine Learning | go over了flash attention的github repo，详细解读了技术核心和代码 | |||
Course | Youtube | ★★★☆☆ | Flash Attention, Flash Attention 2, and Standard Attention https://www.youtube.com/playlist?list=PLBWdTDczuFNrxnetcH-5CVLRP1u4Ua87m | A series of animations showing how the Flash Attention, Flash Attention 2, and Standard Attention algorithms are implemented on modern GPUs. | |||
5.2 Key-value Cache Understand the key-value cache and the improvements introduced in Multi-Query Attention (MQA) https://arxiv.org/abs/1911.02150 and Grouped-Query Attention (GQA) https://arxiv.org/abs/2305.13245 . | |||||||
Name | Category | Article Category | Source | Rating | Resources | Note | |
37 | 键值缓存（KV Cache）：存储已计算的 Key-Value 对，避免重复计算，提升 LLM 生成效率，特别适用于聊天机器人和长文本任务。 | Concept | Medium | ★★★★★ | LLM Inference Series: 3. KV caching explained https://medium.com/@plienhar/llm-inference-series-3-kv-caching-unveiled-048152e461c8 | 深入探讨了KV Cache的应用，详细分析了其工作原理、性能优势以及在不同场景下的优化策略 | |
LLM Inference Series: 4. KV caching, a deeper look https://medium.com/@plienhar/llm-inference-series-4-kv-caching-a-deeper-look-4ba9a77746c8 | |||||||
Youtube | ★★★★★ | How To Reduce LLM Decoding Time With KV-Caching! | |||||
★★★★☆ | LLM Jargons Explained: Part 2 - Multi Query & Group Query Attent | ||||||
LLM Jargons Explained: Part 4 - KV Cache | |||||||
5.3 Speculative decoding Use a small model to produce drafts that are then reviewed by a larger model to speed up text generation. | |||||||
Name | Category | Article Category | Source | Rating | Resources | Note | |
38 | 预测解码（Speculative Decoding）：使用小模型生成 Token 草稿，大模型批量验证，降低推理延迟，提高文本生成速度 | Concept | Medium | ★★★★★ | Speculative Decoding — Make LLM Inference Faster https://medium.com/ai-science/speculative-decoding-make-llm-inference-faster-c004501af120 | 详细介绍了推测解码技术 | |
Youtube | ★★★★★ | Speculative Decoding: When Two LLMs are Faster than One | 详细介绍了推测解码（或推测采样）的原理 | ||||
Youtube | ★★★★☆ | Speculative Decoding Explained | |||||
Tutorial | Datacamp | ★★★★★ | Speculative Decoding: A Guide With Implementation Examples | 详细介绍了推测解码的概念、工作原理、适用场景，并提供了使用 Gemma2 模型进行实现的示例代码 | |||
HuggingFace | ★★★★★ | Assisted Generation: a new direction toward low-latency text generation | HF's version of speculative decoding, it's an interesting blog post about how it works with code to implement it. | ||||
6. Deploying LLMs Deploying LLMs at scale is an engineering feat that can require multiple clusters of GPUs. In other scenarios, demos and local apps can be achieved with a much lower complexity. | |||||||
6.1 Local Deployment Privacy is an important advantage that open-source LLMs have over private ones. Local LLM servers (LM Studio https://lmstudio.ai/ , Ollama https://ollama.com/ , oobabooga https://github.com/oobabooga/text-generation-webui , kobold.cpp https://github.com/LostRuins/koboldcpp , etc.) capitalize on this advantage to power local apps. | |||||||
Name | Category | Article Category | Source | Rating | Resources | Note | |
39 | 本地部署（Local Deployment） 开源 LLM 允许本地运行，保护隐私，使用 LM Studio、Ollama、oobabooga、kobold.cpp 等工具即可实现。 (LM Studio, llama.cpp和Ollama的介绍见1.2 Open-source LLMs， Index 5-6) | oobabooga | Official Docs | GitHub | ★★★★☆ | oobabooga Documentation | oobabooga 是一个开源 LLM Web UI，支持本地运行开源大模型，如 LLaMA、Mistral、Phi-3，并提供聊天、文本生成、角色扮演等多种功能，适合用户自定义调试和实验 |
Tutorial | Youtube | How to Install TextGen WebUI - Install ANY LLMs IN Minutes Locally! (Oobabooga) | 引导完成安装和使用 TextGen-WebUI 的整个过程 | ||||
How to use Oobabooga WebUI with SillyTavern | 展示了如何将 Oobabooga WebUI 与 SillyTavern 结合使用，以使用 SillyTavern 运行本地模型 | ||||||
kobold.cpp | Official Docs | GitHub | ★★★★☆ | The KoboldCpp FAQ and Knowledgebase | kobold.cpp 是基于 llama.cpp 的轻量级本地 LLM 运行工具，主要用于角色扮演、互动小说和文本生成，支持 CPU 运行，适用于低资源环境。 | ||
Tutorial | Medium | Running an LLM (Large Language Model) Locally with KoboldCPP | 详细介绍了如何在本地环境中使用 KoboldCPP; github repo有比较完整的下载tutorial | ||||
Youtube | Easiest Tutorial to Install koboldcpp on Windows to Run LLMs Locally | ||||||
Installing KoboldCPP on Windows | |||||||
6.2 Demo Deployment Frameworks like Gradio https://www.gradio.app/ and Streamlit https://docs.streamlit.io/ are helpful to prototype applications and share demos. You can also easily host them online, for example using Hugging Face Spaces https://huggingface.co/spaces . | |||||||
Name | Category | Article Category | Source | Rating | Resources | Note | |
40 | 演示部署（Demo Deployment） Gradio 和 Streamlit 便于快速搭建 LLM 应用原型，并可通过 Hugging Face Spaces 等平台在线分享。 (Hugging Face Spaces 的介绍见1.2 Open-source LLMs， Index 4) | Gradio | Official Docs | Gradio | ★★★★★ | Gradio Documentation | Gradio 是一个用于快速创建交互式机器学习（ML）和 LLM 应用的 Python 库，支持一键本地或在线共享 Web 界面，适用于原型开发和演示 |
Tutorial | Datacamp | ★★★★★ | Building User Interfaces For AI Applications with Gradio in Python | 详细介绍了如何使用 Gradio 将机器学习模型转换为交互式用户界面，包括安装步骤、基本用法以及与不同模型的集成方法 | |||
Medium | ★★★★★ | Getting started with Gradio Python Library Dr. Nimrita Koul https://medium.com/@nimritakoul01/getting-started-with-gradio-python-library-49e59e363c66 | |||||
Datacamp | ★★★★☆ | Llama 3.2 and Gradio Tutorial: Build a Multimodal Web App | 详细介绍了如何使用 Llama 3.2 11B 视觉模型和 Gradio 创建一个多模态 Web 应用程序 | ||||
Youtube | ★★★★★ | Gradio Crash Course - Fastest way to build & share Machine Learning apps | 关于 Gradio 的速成课程，介绍了如何使用这个 Python 框架轻松构建和分享机器学习应用程序 | ||||
Course | HuggingFace | ★★★★☆ | Introduction to Gradio | 用Gradio build demo model的详细课程 | |||
Youtube | Gradio Tutorial - ML UI Demo & Deployment https://www.youtube.com/playlist?list=PLpdmBGJ6ELUJsU8e-B_QwokxOpWjzfYxZ | ||||||
Streamlit | Official Docs | Streamlit | ★★★★★ | Streamlit documentation | Streamlit 是一个专为数据应用和机器学习模型可视化设计的 Python 框架，允许开发者用极少的代码快速构建和部署 Web 应用 官方文档的使用教程很详细 | ||
Tutorial | Datacamp | Streamlit Python: Tutorial | 新手友好的介绍和教程 | ||||
geeksforgeeks | A Beginners Guide To Streamlit https://www.geeksforgeeks.org/a-beginners-guide-to-streamlit/ | ||||||
Youtube | ★★★★☆ | Build a Python Website in 15 Minutes With Streamlit | |||||
Getting Started With Streamlit in Python | |||||||
Streamlit Explained: Python Tutorial for Data Scientists | |||||||
Streamlit | ★★★★★ | Build a basic LLM chat app https://docs.streamlit.io/develop/tutorials/chat-and-llm-apps/build-conversational-apps | Tutorial to make a basic ChatGPT-like app using Streamlit. | ||||
Course | Youtube | ★★★★☆ | Streamlit videos https://www.youtube.com/playlist?list=PLM8lYG2MzHmRpyrk9_j9FW0HiMwD9jSl5 | 很详细的streamlit使用教程，涵盖了很多features | |||
6.3 Server Deployment Deploy LLMs at scale requires cloud (see also SkyPilot https://docs.skypilot.co/en/latest/docs/index.html ) or on-prem infrastructure and often leverage optimized text generation frameworks like TGI https://github.com/huggingface/text-generation-inference , vLLM https://github.com/vllm-project/vllm/tree/main , etc. | |||||||
Name | Category | Article Category | Source | Rating | Resources | Note | |
41 | 服务器部署（Server Deployment） 大规模 LLM 部署通常依赖云（如 SkyPilot）或本地服务器，并使用 TGI、vLLM 等优化框架提高推理效率。 | SkyPilot | 作者presentation | Youtube | ★★★★★ | NSDI '23 - SkyPilot: An Intercloud Broker for Sky Computing | 描述了名为 SkyPilot 的跨云代理的设计和实现，评估了它的好处，并报告了它的实际使用情况 |
Official Docs | SkyPilot | ★★★★★ | SkyPilot Documentation | SkyPilot 是一个自动化云计算管理框架，支持多云（AWS、GCP、Azure 等）资源调度，优化 LLM 训练与推理的成本和性能 | |||
SkyPilot | Tutorial: AI Training https://docs.skypilot.co/en/latest/getting-started/tutorial.html | Official training tutorials | |||||
GitHub | SkyPilot Tutorial | This tutorial is a collection of Jupyter notebooks that will walk you through the basics of using SkyPilot. | |||||
Tutorial | Youtube | ★★★★☆ | SkyPilot Installation and Running in LLM in Any Cloud | 该视频展示了如何在本地安装 SkyPilot | |||
Other | ★★★☆☆ | Using SkyPilot to deploy a Kubernetes cluster https://docs.lambdalabs.com/education/scheduling-and-orchestration/skypilot-deploy-kubernetes/ | 详细介绍了如何使用 SkyPilot 在 Lambda Public Cloud 上部署 Kubernetes 集群的步骤，包括防火墙配置、Cloud API 密钥生成、SkyPilot 的安装与配置等，为用户提供了清晰的指导 | ||||
TGI | Official Docs | HuggingFace | ★★★★☆ | Text Generation Inference https://huggingface.co/docs/text-generation-inference/en/index | TGI 是 Hugging Face 开源的高效 LLM 推理框架，专为大规模部署优化，支持高吞吐量、低延迟的文本生成 | ||
Tutorial | Datacamp | ★★★★★ | Hugging Face's Text Generation Inference Toolkit for LLMs - A Game Changer in AI https://www.datacamp.com/tutorial/hugging-faces-text-generation-inference-toolkit-for-llms | 详细介绍TGI在本地设备上自托管大型语言模型的优势和实现方法 | |||
Other | ★★★☆☆ | Running Hugging Face Text Generation Inference (TGI) with Llama-3.1 8B | 文章详细介绍了如何在 AMD Instinct™ GPU 上使用TGI框架部署和运行 Llama-3.1 8B 模型，提供了从环境配置到模型推理的完整指南 | ||||
Other | ★★★☆☆ | Mastering Text Generation Inference Toolkit for LLMs on Hugging Face https://blogs.novita.ai/mastering-text-generation-inference-toolkit-for-llms-on-hugging-face/ | 详细介绍了TGI的架构、关键特性以及如何利用 TGI 在本地部署和服务LLM | ||||
Medium | ★★★☆☆ | Deploy Gemma 2 LLM with Text Generation Inference (TGI) on Google Cloud GPU | 详细介绍了如何在 Google Cloud GPU 上使用TGI部署 Gemma 2 model | ||||
Youtube | ★★★★★ | How to install the Enterprise grade AI Playground from Hugging Face: Text Generation Inference (TGI) | 介绍了TGI用途，详细的分步安装指南，以及运行TGI的scripts | ||||
vLLM | Official Docs | vLLM | ★★★★★ | vLLM Documentation https://docs.vllm.ai/en/latest/getting_started/installation/index.html | vLLM 是一个高性能 LLM 推理引擎，采用连续批处理（PagedAttention）技术，大幅提升 GPU 利用率，优化推理速度和吞吐量 | ||
Tutorial | Personal Blog | ★★★★★ | Deploying vLLM: a Step-by-Step Guide | 个人经历详细介绍了 vLLM 的部署 | |||
Datacamp | vLLM: Setting Up vLLM Locally and on Google Cloud for CPU | 详细介绍了如何使用 Docker 在本地以及在 Google Cloud 上设置和运行 vLLM | |||||
Medium | Unlock Faster LLM Serving with vLLM: A Step-by-Step Guide | 提供了使用 vLLM 加速LLM服务的分步指南，详细介绍了如何通过 Python 代码实现高效的推理部署 | |||||
Medium | Deploying Large Language Models: vLLM and Quantization | 详细介绍了如何使用 vLLM 框架和量化技术来加速大型语言模型的部署，提供了逐步指导 | |||||
Youtube | What is vLLM & How do I Serve Llama 3.1 With It? | 介绍了vLLM以及其使用教程，简短精炼 | |||||
Other tools | Tutorial | Datacamp | ★★★★★ | Deploying LLM Applications with LangServe https://www.datacamp.com/tutorial/deploying-llm-applications-with-langserve | 本涵盖使用 LangServe 部署 LLM 应用程序的安装、集成和最佳实践 | ||
HuggingFace | ★★★★☆ | Introducing the Hugging Face LLM Inference Container for Amazon SageMaker | Deploy LLMs on Amazon SageMaker using Hugging Face's inference container. | ||||
Other | ★★★★☆ | How to Deploy an LLM: More Control, Better Outputs | 提供了用Amazon SageMaker部署 LLM 的详细流程 | ||||
Other | ★★★★☆ | Building a Low-Cost Local LLM Server to Run 70 Billion Parameter Models | 本文通过提供全面的指南来构建一个能够运行多达 700 亿个参数的模型的低成本本地 LLM 服务器，结合 Kubernetes 和 Ollama | ||||
Resources | Personal Blog | ★★★★★ | Philschmid blog | Collection of high-quality articles about LLM deployment using Amazon SageMaker. | |||
Resources | Personal Blog | ★★★★★ | Optimizing latency | Comparison of TGI, vLLM, CTranslate2, and mlc in terms of throughput and latency. | |||
6.4 Edge Deployment In constrained environments, high-performance frameworks like MLC LLM https://github.com/mlc-ai/mlc-llm and mnn-llm https://github.com/wangzhaode/mnn-llm/blob/master/README_en.md can deploy LLM in web browsers, Android, and iOS. | |||||||
Name | Category | Article Category | Source | Rating | Resources | Note | |
42 | 边缘部署（Edge Deployment） 在资源受限的环境下，可用 MLC LLM 和 mnn-llm 在 Web 浏览器、Android、iOS 设备上高效运行 LLM | MLC LLM | Official Docs | MLC LLM | ★★★★★ | MLC LLM: Universal LLM Deployment Engine With ML Compilation https://blog.mlc.ai/2024/06/07/universal-LLM-deployment-engine-with-ML-compilation | MLC LLM 是一个跨平台推理框架，支持在 Web 浏览器、Android、iOS 等设备上高效运行 LLM，并优化模型以适应不同硬件环境 |
Technique | Youtube | ★★★★☆ | MLC LLM: Enabling LLMs To Be Deployed Across Multiple Devices | 该视频深入介绍了 MLC LLM 的方法论，展示其如何通过 Python 优先的工作流程，实现跨设备的 AI 模型开发、优化和部署 | |||
☆☆☆☆☆ | Talk | 卡内基梅隆大博士生侯博涵：MLC-LLM-机器学习编译与在大语言模型上的应用 | MLC-LLM-机器学习编译与在大语言模型上的应用 | |||||
Tutorial | Other | ★★★★★ | Mlc-Llm Tutorial: Learn Efficiently | 提供了关于 MLC-LLM 的高效学习教程，涵盖了安装、使用 Chat CLI，以及在 Python 中运行聊天补全的实用示例和深入见解 | |||
mnn-llm https://github.com/wangzhaode/mnn-llm/blob/master/README_en.md | Repo | GitHub | ★★★★★ | mnn-llm | mnn-llm 是基于 MNN（Mobile Neural Network）的轻量级 LLM 推理框架，专为移动端和边缘设备优化，提供高效的低功耗推理能力 | ||
Technique | 知乎 | ★★★★★ | mnn-llm: 大语言模型端侧CPU推理优化 | 介绍了 mnn-llm 项目，涵盖了多种LLM的统一导出方案，以及 MNN 针对 LLM 在端侧 CPU 推理的性能优化策略 | |||
7. Securing LLMs In addition to traditional security problems associated with software, LLMs have unique weaknesses due to the way they are trained and prompted. | |||||||
Name | Category | Article Category | Source | Rating | Resources | Note | |
43 | 除了传统软件的安全问题，LLM由于其训练方式和提示交互（prompting）的特性，存在一些独特的安全漏洞 | Resources | Other | ★★★★★ | OWASP Top 10 for Large Language Model Applications https://owasp.org/www-project-top-10-for-large-language-model-applications/ | List of the 10 most critical vulnerabilities seen in LLM applications. | |
Other | ★★★★★ | LLM Security | Extensive list of resources related to LLM security. | ||||
44 | 提示攻击（Prompt Hacking） 提示注入（Prompt Injection）：向模型输入恶意指令，篡改其输出，如无视原始任务要求。 数据/提示泄露（Data/Prompt Leaking）：通过特定提问获取模型训练时使用的敏感数据。 越狱（Jailbreaking）：构造特殊提示词，绕过模型的安全限制，使其生成违规或危险内容。 | Concept | IBM | ★★★★★ | What is a prompt injection attack? | 深入探讨了提示注入攻击的工作原理、潜在风险以及防范措施 | |
Concept, Tutorial, Technique | GitHub | ★★★★★ | PIPE - Prompt Injection Primer for Engineers | Short guide dedicated to prompt injection for engineers. | |||
Personal Blog | How To Protect Against Prompt Hacking https://www.prompthub.us/blog/how-to-protect-against-prompt-hacking | ||||||
Medium | Understanding Prompt Hacking: A New AI Vulnerability and How to Avoid It | 分析了prompt hacking的原理，并提出了方法来防止此类攻击 | |||||
Medium | LLM Hacking and Prompt Injection: The Silent Threat in AI Systems | ||||||
Prompt Hacking - What We Should Know https://www.linkedin.com/pulse/prompt-hacking-what-we-should-know-ravi-prakash-gupta/ | |||||||
Other | What prompt hacking is and how to avoid it https://en.paradigmadigital.com/dev/what-prompt-hacking-is-how-to-avoid-it/ | ||||||
Youtube | ★★★★★ | Attacking LLM - Prompt Injection | 探讨了提示注入（Prompt Injection）攻击，分析了其对信息技术安全的潜在影响 | ||||
45 | 后门攻击（Backdoors） 训练数据投毒（Data Poisoning）：在训练数据中植入虚假信息，使模型在推理时输出错误答案。 后门触发（Secret Triggers）：在训练时注入隐蔽的触发器，攻击者可在推理阶段利用特定输入让模型产生异常行为 | Concept | Other | ★★★★★ | Backdoor Attacks on AI Models | 概述了后门攻击，解释了攻击者如何在训练过程中巧妙地改变 AI 模型，以在特定触发下导致意外行为 | |
★★★★★ | Backdoor Attacks in Machine Learning Models https://securing.ai/ai-security/backdoor-attacks-ml/?utm_source=chatgpt.com | 讨论了后门攻击如何涉及故意操纵模型的训练数据或算法逻辑以植入隐藏的漏洞，并在特定条件下激活 | |||||
★★★★★ | Data Scientists Targeted by Malicious Hugging Face ML Models with Silent Backdoor | 分析了如何利用机器学习模型通过代码执行来破坏环境，重点关注流行存储库中发现的恶意模型 | |||||
Discussion | ★★★★☆ | Putting Undetectable Backdoors in Machine Learning Models | 讨论了恶意行为者在分类器中植入无法检测的后门的可能性，强调了检测此类漏洞的挑战 | ||||
A Comprehensive Overview of Backdoor Attacks in Large Language Models within Communication Networks | Paper | 技术细节梳理, 引导理解, 翻译式解读 | CSDN | ★★★★☆ | A Comprehensive Overview of Backdoor Attacks in Large Language Models within Communication Networks | ||
BackdoorLLM: A Comprehensive Benchmark for Backdoor Attacks on Large Language Models | Paper | Repo | GitHub | ★★★★☆ | BackdoorLLM | We introduce BackdoorLLM, the first comprehensive benchmark for studying backdoor attacks on Large Language Models (LLMs). | |
46 | 防御措施（Defensive Measures）- 安全测试（Red Teaming）：主动测试模型的安全漏洞 | Concept | HuggingFace | ★★★★★ | Red-Teaming Large Language Models | 详细探讨了LLM在生成有害内容、泄露私人信息等方面的潜在风险，强调通过Red Teaming来发现并修复这些漏洞 | |
Tutorial | SuperAnnotate | LLM red teaming: Complete guide [+expert tips] | |||||
Microsoft | Planning red teaming for large language models (LLMs) and their applications https://learn.microsoft.com/en-us/azure/ai-services/openai/concepts/red-teaming | ||||||
Other | Red Teaming LLMs: The Ultimate Step-by-Step LLM Red Teaming Guide | ||||||
Red Teaming for Large Language Models: A Comprehensive Guide https://www.aporia.com/learn/red-teaming-large-language-models/ | |||||||
garak | Official Docs | Other | ★★★★★ | Welcome to garak! | 一种自动化安全测试工具，专门用于检测和评估 LLM（大语言模型）的安全漏洞，如提示注入、数据泄露和幻觉等攻击 | ||
Tutorial | Youtube | ★★★★★ | LLM Vulnerability Scanning with garak. Tutorial: Test your own chat bots! | 介绍了garak 的基本用法，探讨了如何测试基于 REST 的 LLM 应用程序 | |||
47 | 防御措施（Defensive Measures）- 实时监测（Observability）：在生产环境中持续监控 | Langfuse | Official Docs | Langfuse | ★★★★★ | Get Started with Langfuse Tracing | 一个用于监测和分析 LLM 交互的可观测性（Observability）框架，帮助开发者在生产环境中跟踪、记录和优化模型行为 |
Tutorial | Other | ★★★★★ | Hands-on Guide to Langfusefor LLM-Based Applications https://adasci.org/hands-on-guide-to-langfuse-for-llm-based-applications/ | 提供了一个详细的代码示例，演示如何在 Python 环境中将 LangFuse 与RAG模型集成 | |||
Medium | LangFuse with LLM for RAG: A Comprehensive Guide https://medium.com/@pysquad/langfuse-with-llm-for-rag-a-comprehensive-guide-7a77b69e8d39 | 详细介绍了 Langfuse，提供了如何将其与 OpenAI 集成的实用指南 | |||||
Tutorial | Youtube | ★★★★★ | Get Started with Langfuse - Open-Source LLM Monitoring | 简单快速的langfuse setup教程 | |||
Course | Youtube | ★★★★☆ | Langfuse Resources https://www.youtube.com/playlist?list=PL4v4zZF1rGG5slCdloT33O7Qe_Zq1zHfo | Langfuse的详尽课程 | |||