AI安全测试：LLM-03供应链测试

资源截图

MP4 |视频：h264，1920×1080 |音频：AAC，44.1 KHz，2 Ch
语言：英语 |时长：2小时13米

你将学到什么

• 使用 pip-audit 和结构化测试用例工作流程识别并扫描 LLM 应用程序堆栈中易受攻击的依赖项。
• 使用 SHA-256 校验和验证模型工件的完整性，并在加载到生产环境之前检测不安全的文件格式（例如 pickle）
• 在没有记录变更记录的情况下更新、交换或微调模型时，测试 LLM 行为基线并检测回归。
• 针对供应链发现的问题编写错误报告和发布门槛标准，包括严重性分类和补救证据要求。
• 创建包含控制、失败信号、所有者、证据和 CI/CD 发布门的 LLM-03 QA 测试矩阵。

要求

• 基本熟悉 Python 和命令行。
• 无需安全背景。
• 建议使用可在本地运行 Ollama 的计算机，但不是必需的。

描述

大多数安全检查表都将 LLM 本身视为风险。本课程将周围的一切视为风险。

本课程重点关注 OWASP LLM-03：供应链。简而言之，这意味着在应用程序到达用户之前测试 LLM 应用程序所依赖的组件。

法学硕士申请取决于您可能没有构建的软件堆栈。其中包括第三方包、开源框架、公共存储库中的模型文件、托管 API、供应商术语和 CI/CD 管道。在您的提示逻辑或应用程序代码运行之前，这些部分中的任何一个都可能会带来风险。

本课程教授 QA 工程师如何系统地测试 LLM 供应链。您将学习如何扫描依赖项中的已知漏洞、检查包和模型许可证、使用哈希值和更安全的文件格式验证模型工件的完整性，以及构建行为基线以捕获模型、适配器、提示策略或运行时更改后的模型偏差。

您还将学习如何将这些检查变成释放门。目标不仅仅是发现问题。目标是捕获您的团队可用于进行或不进行决策、错误报告、风险审查和关闭标准的证据。

本课程作为独立课程。它还与人工智能安全测试系列中的课程 1“快速注入测试”和课程 2“敏感信息泄露测试”自然配对。前三门课程从 QA 工程师的角度涵盖了 OWASP LLM Top 10 中的前三门课程。

在本课程结束时，您将了解如何查看 LLM 功能并提出重要的发布问题。这个模型从哪里来？自上次验证构建以来它是否发生了变化？加载之前是否检查工件身份？有行为基线吗？如果某些内容未通过检查，我们需要什么证据来路由它、报告它并关闭它？

本课程适合谁

负责使用 LLM 或 AI 功能的产品的 QA 工程师、SDET 和手动测试人员需要了解供应链风险是什么样的、如何测试这些风险以及如何记录可能阻止发布的发现。