微软开放 AI 系统工具 Counterfit 源代码

2021-05-07 10:12:45 落霞 13

近日,微软开源了 AI 安全风险评估工具 Counterfit,该工具旨在帮助开发人员测试 AI 和机器学习系统的安全性。该公司表示,Counterfit 可以使组织进行评估,以确保其业务中使用的算法是可靠和可信赖的。

图片关键词

当前,人工智能技术正越来越多地应用在医疗,金融和国防等受监管的行业中。但是,组织在采用风险缓解策略方面处于落后状态。一个微软的调查发现,部分企业用户表示,他们没有合适的资源,以确保他们的 AI 系统的稳定性和安全性。

微软表示,Counterfit 诞生于该公司评估 AI 系统是否存在漏洞的需求,目的是主动保护 AI 服务。该工具起初是专门为目标 AI 模型编写的攻击脚本集,然后演变为自动化产品以对多个系统进行大规模基准测试。

在底层,Counterfit 是一个命令行实用程序,为对抗性框架提供了一层,并预先加载了可用于逃避和窃取模型的算法。Counterfit 寻求使安全社区可以访问已发布的攻击,同时提供一个界面,通过该界面可以构建,管理和发起模型攻击。

当使用 Counterfit 在 AI 系统上进行渗透测试时,安全团队可以选择默认设置,设置随机参数或自定义每个参数以覆盖广泛的漏洞。具有多个模型的组织可以使用 Counterfit 的内置自动化功能进行扫描,并可以选择多次扫描,以创建操作基准。

Counterfit 还提供日志记录以记录针对目标模型的攻击。正如微软指出的那样,遥测技术可能会促使工程团队提高对系统故障模式的了解。

在内部,微软将 Counterfit 用作其 AI 红色团队运营的一部分,并在 AI 开发阶段中使用,以在漏洞投入生产之前发现漏洞。该公司还表示,它已经与多家客户进行了 Counterfit 的测试,其中包括航空航天巨头空客公司(Airbus),该公司正在开发基于 Azure AI 服务的 AI 平台。

“人工智能在工业中的使用越来越多”。空客公司高级网络安全研究员 Matilda Rhode 在一份声明中说:“确保这种技术的安全至关重要,特别是要了解在问题空间中可以在何处实现特征空间攻击。”

基本上,企业希望人们相信 AI 是不受操纵,是安全的。1 月发布的 Gartner 的“管理 AI 风险的 5 大优先事项”框架中的一项建议是,组织“ 针对攻击性攻击采取特定的 AI 安全措施,以确保抵抗和复原力。”这家研究公司估计,到 2024 年,实施专门的 AI 风险管理控制的组织将避免负面的 AI 结果的发生频率是未消除负面结果的两倍。”

根据 Gartner 的 一份报告,到 2022 年,所有 AI 网络攻击中有 30%将利用训练数据中毒,模型盗窃或对抗性样本攻击以机器学习为动力的系统

转发自:https://www.ithome.com/0/549/947.htm