NVIDIA/garak
通过运行多种探测（probes）来测试 LLM 是否会产生不期望的行为，如幻觉、数据泄露、提示注入、错误信息、毒性生成、越狱等，并输出失败率报告。
一句话商业模式
为AI 安全研究人员、红队工程师、LLM 应用开发者解决LLM 存在幻觉、提示注入、越狱等安全漏洞，缺乏系统化评估工具，通过garak 开源命令行工具，提供多种探测和检测器提供价值，主要依靠目前免费开源，潜在收费方式包括企业支持、高级功能或云服务（假设）赚钱
商业模式画布
提供类似 nmap 的 LLM 漏洞扫描器，帮助用户快速发现模型弱点，降低部署风险
评分解析
研究分 72
这是什么
- 是什么
- garak 是一个开源的 LLM 漏洞扫描器，类似于 nmap 或 Metasploit，但专门针对大语言模型。
- 给谁用
- 面向 AI 安全研究人员、红队工程师、LLM 应用开发者以及需要评估模型安全性的企业。