广东省建设交易中心网站首页手机免费网站建设哪家公司好

当前位置： 首页 > news >正文

广东省建设交易中心网站首页,手机免费网站建设哪家公司好,一键logo设计生成器,施工企业有没有制造费用对分类器的高层次攻击可以分为以下三种类型#xff1a;对抗性输入#xff1a;这是专门设计的输入#xff0c;旨在确保被误分类#xff0c;以躲避检测。对抗性输入包含专门用来躲避防病毒程序的恶意文档和试图逃避垃圾邮件过滤器的电子邮件。数据中毒攻击#xff1a;这涉及…对分类器的高层次攻击可以分为以下三种类型对抗性输入这是专门设计的输入旨在确保被误分类以躲避检测。对抗性输入包含专门用来躲避防病毒程序的恶意文档和试图逃避垃圾邮件过滤器的电子邮件。数据中毒攻击这涉及到向分类器输入对抗性训练数据。我们观察到的最常见的攻击类型是模型偏斜攻击者以这种方式污染训练数据使得分类器在归类好数据和坏数据的时候向自己的偏好倾斜。我们在实践中观察到的第二种攻击是反馈武器化feedback weaponization它试图滥用反馈机制来操纵系统将好的内容误分类为滥用类例如竞争者的内容或者报复性攻击的一部分。模型窃取技术用来通过黑盒探测「窃取」即复制模型或恢复训练数据身份。例如这可以用来窃取股市预测模型和垃圾邮件过滤模型以便使用它们或者能够针对这些模型进行更有效的优化。这篇文章依次探讨了每一类攻击提供了具体的例子并且讨论了可能的缓解方法。这篇文章是关于如何使用人工智能构建鲁棒的反滥用保护系统系列文章中的第四篇也是最后一篇。第一篇文章解释了为何 AI 是构建鲁棒的保护系统的关键这种保护用来满足用户期望和日益提升的复杂攻击。在介绍完构建和启动一个基于 AI 的防御系统的自然过程之后第二篇博文涵盖了与训练分类器相关的挑战。第三篇文章探讨了在生产中使用分类器来阻止攻击的主要困难。这一系列文章是根据我在 RSA 2018 上的演讲写出来的。声明这篇文章旨在为所有对利用人工智能进行反滥用防御感兴趣的人提供一个概述它是那些正在跳跃观望的人的潜在蓝图。因此这篇文章侧重于提供一个清晰的高层次总结有意不深入技术细节。也就是说如果你是一名专家我相信你会发现你以前没有听说过的想法、技术和参考资料希望你会受到启发并进一步探索它们。对抗性输入对手不断用新的输入/有效载荷来探测分类器试图逃避探测。这种有效载荷被称为对抗性输入因为它们被明确设计成绕过分类器。这是一个对抗输入的具体例子几年前一个聪明的垃圾邮件发送者意识到如果同一个 multipart 附件在一封电子邮件中出现多次Gmail 将只显示上图屏幕截图中可见的最后一个附件。他将这一知识武器化增加了不可见的第一个 multipart其中包含许多著名的域试图逃避检测。此攻击是称为关键字填充的攻击类别的一个变体。一般来说分类器迟早会面临两种对抗性输入变异输入这是为避开分类器而专门设计的已知攻击的变体零日输入这是在有效载荷之前从未见过的。让我们依次探究每一种对抗性输入。变异输入在过去的几年里我们看到地下服务爆炸式增长这种服务旨在帮助网络犯罪分子制造不可探测的有效载荷在秘密世界中最有名的是 FUD(完全不可探测的) 有效载荷。这些服务从允许针对所有防病毒软件测试有效负载的测试服务到旨在以使恶意文档不可检测的方式混淆恶意文档的自动打包程序。上面的截图展示了两个这样的服务。专门从事有效载荷制造的地下服务的重新出现凸显了这样一个事实:攻击者主动优化攻击以确保最小化分类器检测率。因此必须开发检测系统使攻击者难以进行有效负载优化。下面是三个关键的设计策略来帮助实现这一点。1. 限制信息泄露这里的目标是确保攻击者在探查你的系统时获得尽可能少的收获。保持反馈最小化并尽可能延迟反馈是很重要的例如避免返回详细的错误代码或置信度值。2. 限制探测此策略的目标是通过限制攻击者针对你的系统测试有效负载的频率来降低攻击者的速度。通过限制攻击者对你的系统执行测试的频率可以有效降低他们设计有害有效负载的速度。这一策略主要是通过对稀缺资源如 IP 和帐户实施速率限制来实现的。这种速率限制的典型例子是要求用户解决验证码验证他是否发布的太频繁如上所示。这种主动限制活动率的负面影响是它会鼓励不良行为者创建假账户并使用受损的用户计算机来分散他们的 IP 池。业内广泛使用限速是非常活跃的黑市论坛兴起的一个主要驱动因素在这些论坛中账户和 IP 地址被常规出售如上面的截图所示。3. 集成学习最后但同样重要的是结合各种检测机制使攻击者更难绕过整个系统。使用集成学习将基于声誉的检测方法、人工智能分类器、检测规则和异常检测等不同类型的检测方法结合起来提高了系统的鲁棒性因为不良行为者不得不同时制作避免所有这些机制的有效载荷。例如如上面的截图所示为了确保 Gmail 分类器对垃圾邮件制造者的鲁棒性我们将多个分类器和辅助系统结合在一起。这样的系统包括声誉系统、大型线性分类器、深度学习分类器和其他一些秘密技术。深度神经网络对抗攻击实例如何制作欺骗深度神经网络DNN的对抗例子是一个非常活跃的相关研究领域。现在创建难以察觉的扰动彻底骗过 DNN 是一件小事如上面从论文《Explaining and Harnessing Adversarial Examples》https://arxiv.org/abs/1412.6572截取的图片所示。最近的研究 (https://arxiv.org/abs/1711.11561) 表明CNN 容易受到对抗性输入攻击因为他们倾向于学习表面的数据集的规则性而不是很好地泛化和学习不太容易受到噪声影响的高级表征。这种攻击会影响所有 DNN包括基于增强学习的 DNN (https://arxiv.org/abs/1701.04143 )如上面视频中所强调的。要了解更多关于此类攻击的信息请阅读 Ian Goodfellow 关于此主题的介绍文章或者开始尝试 Clever Hans 的实验 (https://github.com/tensorflow/cleverhans。从防御者的角度来看这种类型的攻击已经被证明到目前为止是非常有问题的因为我们还没有有效的方法来防御这种攻击。从根本上说我们没有一种有效的方法让 DNN 为所有输入产生良好的输出。让他们这样做是非常困难的因为 DNN 在非常大的空间内执行非线性/非凸优化我们还没有教他们学习泛化良好的高级表征。你可以阅读 Ian 和 Nicolas 的深度文章http://www.cleverhans.io/security/privacy/ml/2017/02/15/why-attacking-machine-learning-is-easier-than-defending-it.html来了解更多关于这个的信息。零日输入另一种可以完全抛弃分类器的明显的对抗性输入是新的攻击。新的攻击不常发生但知道如何应对仍然很重要因为它们可能具有相当大的破坏性。尽管出现新攻击有许多不可预测的潜在原因但根据我们的经验以下两种事件可能会触发新攻击的出现新产品或功能推出本质上增加功能会为攻击者打开新攻击面有利于它们快速进行探查。这就是为什么新产品发布时提供零日防御是必要的但很难。增加奖励 虽然很少讨论但许多新的攻击激增是由攻击媒介推动的变得非常有利可图。这种行为最近的一个例子是针对 2017 年底比特币价格飙升滥用 Google Cloud 等云服务来挖掘加密数字货币的行为有所抬头。随着比特币价格飙升至 1 万美元以上我们看到新的攻击风起云涌企图窃取 Google 云计算资源用于挖掘。稍后我将在这篇文章中介绍我们是如何发现这些新攻击的。总之Nassim Taleb 形式化的黑天鹅理论Black swan theory适用于基于人工智能的防御就像它适用于任何类型的防御一样。不可预测的攻击迟早会抛弃你的分类器并将产生重大影响。然而不是因为你无法预测哪些攻击会抛弃你的分类器或者这样的攻击什么时候会攻击你而你无能为力。你可以围绕这类袭击事件进行规划并制定应急计划来缓解这种情况。在为黑天鹅事件做准备时这里有几个可以探索的方向。1. 制定事件响应流程首先要做的是开发和测试事件恢复过程以确保在措手不及时做出适当反应。这包括但不限于在调试分类器时有必要的控件来延迟或停止处理并知道调用哪个。Google SRE站点可靠性工程手册有一章关于事件管理https://landing.google.com/sre/book/chapters/managing-incidents.html还有一章关于应急响应 ( https://landing.google.com/sre/book/chapters/emergency-response.html。有关更加以网络安全为中心的文档应该查看 NIST (National Institute of Standards and Technology网络安全事件恢复指南https://nvlpubs.nist.gov/nistpubs/SpecialPublications/NIST.SP.800-184.pdf。最后如果你更愿意看一段对话请看一下「Google 如何运行灾难恢复培训 (DiRT) 程序」的视频 (https://www.usenix.org/conference/lisa15/conference-program/presentation/krishnan)以及「Faceboook 如何做出事件响应」的视频https://www.usenix.org/node/197445。2. 使用迁移学习来保护新产品明显的关键困难是你没有过去的数据来训练你的分类器。缓解这一问题的一种方法是利用迁移学习它允许你重用一个域中已经存在的数据并将其应用到另一个域。例如如果你处理图像你可以利用现有的预先训练好的模型https://keras.io/applications/而如果你处理文本你可以使用公共数据集比如Toxic Comment的 Jigsaw 数据集。3. 利用异常检测异常检测算法可以用作第一道防线因为从本质上说新的攻击将产生一组从未遇到过的异常这些异常与它们如何使用你的系统有关。引发一系列新反常现象的新攻击的历史性案例是针对马萨诸塞州 WinFall 彩票游戏的麻省理工赌博集团攻击https://www.theatlantic.com/business/archive/2016/02/how-mit-students-gamed-the-lottery/470349/。早在 2005 年多个赌博集团就发现了 WinFall 彩票系统的一个缺陷当累积奖金在所有参与者之间平分时你每买一张 2 美元的彩票平均就能挣 2.3 美元。每次资金池超过 200 万美元时这种被称为「roll-down」的分裂就会发生。为了避免与其他团体分享收益麻省理工学院的团体决定提前三周大规模买断彩票从而引发一场减持行动。很明显这种从极少数零售商手中购买的大量彩票造成了彩票组织察觉到的大量异常现象。最近正如本文前面提到的当比特币价格在 2017 年疯狂上涨时我们开始看到一大批不良行为者试图通过免费使用 Google cloud 实例进行挖掘从这一热潮中获益。为了免费获取实例他们试图利用许多攻击媒介包括试图滥用我们的免费层、使用被盗信用卡、危害合法云用户的计算机以及通过网络钓鱼劫持云用户的帐户。很快这种攻击变得非常流行以至于成千上万的人观看了 YouTube 上关于如何在 Google cloud 上挖掘的教程这在正常情况下是无利可图的。显然我们无法预料恶意挖矿会成为如此巨大的问题。幸运的是当异常发生时我们已经为 Google Cloud 实例准备了异常检测系统。正如预料的那样从我们的异常检测系统仪表板上直接获取的上图中可以看出当实例开始挖掘时它们的时间行为发生了巨大的变化因为关联的资源使用与未妥协的云实例所显示的传统资源使用有着根本的不同。我们能够使用这种移位检测来遏制这种新的攻击媒介确保涉及到的云平台和 GCE 客户端保持稳定。数据中毒分类器面临的第二类攻击涉及试图毒害你的数据以使你的系统行为出错的对手。模型偏斜第一种中毒攻击称为模型偏斜攻击者试图污染训练数据以移动分类器对好、坏输入归类的学习边界。例如模型偏斜可以用来试图污染训练数据欺骗分类器将特定的恶意二进制文件标记为良性。具体例子在实践中我们经常看到一些最先进的垃圾邮件制造者团体试图通过将大量垃圾邮件报告为非垃圾邮件来使 Gmail 过滤器偏离轨道。如图所示2017 年 11 月底至 2018 年初至少有 4 次大规模恶意行动试图歪曲我们的分类器。因此在设计基于 AI 的防御时你需要考虑以下事实:攻击者积极地试图将学到的滥用和合理使用之间的界限转移到对他们有利的位置。缓解策略为了防止攻击者歪曲模型可以利用以下三种策略:使用合理的数据采样需要确保一小部分实体包括 IP 或用户不能占模型训练数据的大部分。特别是要注意不要过分重视用户报告的假阳性和假阴性。这可能通过限制每个用户可以贡献的示例数量或者基于报告的示例数量使用衰减权重来实现。将新训练的分类器与前一个分类器进行比较以估计发生了多大变化。例如可以执行 dark launch并在相同流量上比较两个输出。备选方案包括对一小部分流量进行 A/B 测试和回溯测试。构建标准数据集分类器必须准确预测才能投入生产。此数据集理想地包含一组精心策划的攻击和代表你的系统的正常内容。这一过程将确保你能够在武器化攻击对你的用户产生负面影响之前检测出该攻击何时能够在你的模型中产生显著的回归。反馈武器化第二类数据中毒攻击是将用户反馈系统武器化以攻击合法用户和内容。一旦攻击者意识到你正在出于惩罚的目的以某种方式使用用户反馈他们就会试图利用这一事实为自己谋利。具体例子我们在 2017 年目睹的最令人震惊的将用户反馈武器化的尝试之一是一群 4chan 用户他们决定通过留下数千个 1 星评级破坏 CNN 在应用商店的排名。反馈武器化之所以被坏人积极利用有很多原因包括试图压制竞争、进行报复、掩盖自己的行踪。上面的截图展示了一个黑市帖子讨论了如何使用 Google 来击败竞争对手。因此在构建系统时你需要在以下假设下工作:任何反馈机制都将被武器化以攻击合法用户和内容。缓解策略在缓解反馈武器化的过程中需要记住以下两点:不要在反馈和惩罚之间建立直接循环。相反在做出决定之前确保评估反馈真实性并将其与其他信号结合起来。不要以为受益于滥用内容的所有者对此负有责任。举例来说不是因为一张照片得到了数百个假的「赞」所有者才买下它。我们已经看到无数袭击者为了掩盖他们的踪迹或试图让我们惩罚无辜用户而榨取合法内容的案例。模型窃取袭击如果不提及旨在恢复训练期间使用的模型或数据信息的攻击这篇文章将是不完整的。这种攻击是一个关键问题因为模型代表了有价值的知识产权资产这些资产是根据公司的一些最有价值的数据进行训练的例如金融交易、医疗信息或用户交易。确保接受过用户敏感数据如癌症相关数据等训练的模型的安全性至关重要因为这些模型可能被滥用泄露敏感用户信息 ( https://www.cs.cornell.edu/~shmat/shmat_oak17.pdf )。攻击模型窃取的两个主要攻击是:模型重建这里的关键思想是攻击者能够通过探测公共 API 来重新创建模型并通过将其用作 Oracle 来逐步完善自己的模型。最近的一篇论文https://www.usenix.org/system/files/conference/usenixsecurity16/sec16_paper_tramer.pdf表明这种攻击似乎对大多数人工智能算法有效包括支持向量机、随机森林和深度神经网络。成员泄露在这里攻击者构建影子模型使他能够确定给定的记录是否用于训练模型。虽然此类攻击无法恢复模型但可能会泄露敏感信息。防御最著名的防御模型窃取攻击的方法是 PATE ( https://arxiv.org/abs/1802.08908)这是一个由 Ian Goodfellow 等人开发的隐私框架。如上图所示PATE 背后的关键思想是对数据进行划分并训练多个组合在一起的模型来做出决策。这一决策随后被其他不同隐私系统的噪声所掩盖。要了解更多有关差分隐私的信息请阅读 Matt 的介绍文章https://blog.cryptographyengineering.com/2016/06/15/what-is-differential-privacy/。要了解更多关于 PATE 和模型窃取攻击的信息请阅读 Ian 关于此主题的文章http://www.cleverhans.io/privacy/2018/04/29/privacy-and-machine-learning.html。结论是时候结束这一系列关于如何利用人工智能打击欺诈和滥用的长文了。本系列的主要收获详见第一篇文章是:AI是构建满足用户期待的保护机制和应对愈加复杂的攻击的关键。正如这篇文章和前两篇文章所讨论的那样要使这项工作在实践中发挥作用还有一些困难需要克服。但是既然 AI 框架已经成熟并有很好的文档记录那么在你的防御系统中开始使用 AI 是再好不过的时候了所以不要对这些挑战望而却步。