Anthropic-Detecting-and-countering-091026

Published on Sep 11, 2026

Anthropic-Detecting-and-countering-091026

Anthropic-Detecting-and-countering-091026 - PDF Translation

Published on Sep 11, 2026

Description:

检测与应对人工智能滥用: 2026年9月 发布日期 2026年9月10日 检测与应对人工智能滥用:2026年9月 3 4 41 81 111 129 139 143 目录 概述 网络行动 影响力行动 监控行动 常 规武器 生物滥用 诈骗与欺诈 非法蒸馏 3 概述 过去八个月中,我们的威胁情报团队识别并瓦解了 威胁行为者试图利用Claude进行恶意活动的行动。在本 报告中,我们分享了这些行动中的案例研究,并描述了自2025年3月、8月和11月的前几份威 胁报告以来,Claude被恶意使用的方式如何演变。在每起案例中,我们都瓦解了相关活动, 利用所学经验加强了我们的 防护措施,并在适当情况下与当局和行业合作伙伴共享了情报 。 本报告涵盖了我们于2025年12月至2026年8月期间在七个危害领域瓦解的活动:网络行动、 影响力行动、监控、诈骗 与欺诈、生物滥用、常规武器开发以及蒸馏 。涉及使用的模型包括Claude Haiku、Sonnet和Opus。除了一起非法 蒸馏案例外,所有滥用案例均未涉及Claude Fable或Mythos级模型 。 我们在此分享的案例并非典型的滥用行为,而是迄今为止我们识别出的最显著且新颖的威胁 活动。我们发布这份报告,是因为我们认为有责任披露我们服务被恶意滥用的情况。随着模 型能力日益增强,除非人工智能开发者和社会防御者采取行动使其更安全,否则其风险也将 增加 。 本报告涉及的威胁行为者包括疑似国家支持的组织、受经济利益驱动的犯罪分子、商业 间谍软件供应商、国家宣传 机构以及受政治动机驱动的个人。案例范围从旨在诈骗用户的虚假约会应用网络,到用于识 别和监控异见人士的监控系统 。 老练且持久的威胁行为者不断测试我们的防护措施,并试图规避我们用于检测和防止滥用的 技术手段。我们将继续改进防护措施,并与合作伙伴协调,以提升我们检测、瓦解和防止未 来滥用的能力 。 我们希望本报告中的发现能帮助其他开发者识别其平台上的类似模式,让政府和公民社会更 清晰地了解新兴威胁如何形成 ,并加强集体防御能力。 检测与应对人工智能滥用:2026年9月 4 网络作战 人工智能增强的网络作战 网络作战:从辅助者到协调者 过去六个月,我们的威胁情报团队识别并破坏了一系列利用Claude实施的网络行动。这些行动 者包括疑似国家支持的黑客组织、受经济利益驱动的犯罪分子以及政治动机明确的个人。本节 将介绍其中部分案例。 在这些案例研究中,报告将引用生成式威胁组织(GTG)这一概念。这是Anthropic内部对滥 用人工智能行为者的代号。报告还尝试衡量"效能提升"‑‑即我们用来描述AI能力增强的术语, 指使用AI相较于未使用AI时造成的危害增幅。我们从速度、规模和深度三个维度审视效能提 升,并试图确定行动者采用AI如何实质影响这些特征。 许多评论者聚焦于AI大规模开发漏洞的风险。尽管这确实构成威胁,但AI应用带来的风险在网 络杀伤链中更为显著‑‑对手能以更少资源,在更广更深的面域上实现更快行动。 这些案例涵盖2025年12月至2026年8月期间。所有案例均涉及Claude Haiku、Sonnet和Opus 模型;未在Claude Fable或Mythos(该系列内置多重安全防护,大幅降低执行有害网络任务 的能力)上发现恶意活动。针对每起案例,我们均破坏了相关行动,根据经验强化了AI安全防 护措施,并适时向当局及行业合作伙伴共享情报。 本报告将首先讨论在这些网络行动中观察到的关键趋势,随后通过案例研究展示这些趋势的具 体表现。 检测与应对人工智能滥用:2026年9月 5 趋势 复杂攻击不再需要复杂的攻击者 AI模型的网络安全技能意味着,人工智能已经消除了过去将资源充足的国家支持行动与个人 操作者隔开的劳动力和工具差距。在我们下面报告的案例研究中,一名使用被盗API密 钥的黑客活动分子、 分散的出于经济动机的个人以及一名国家间谍操作者各自 维持了多受害者行动,而就在一年前,这些行动还需要许多熟练操作者和专业知识。 对于威胁情报调查人员来说,复杂性已不再是判断行动背后是谁的可靠信号。进攻行动的每 一层都被人工智能提升,从侦察和工具开发到数据处理和利用。这种能力提升的一个例子记 录在案例研究GTG‑50014中 (如下所述)。能力提升的净效果是获取更广泛和深入的知识,进而推动能力 开发和实施的速度加快。 2025年11月,我们记录了一个疑似 国家支持行动用于进行自主攻击的操作模式。该操作模式现已扩散到我们调查的每一类行动 者中。公开可用的 进攻性代理框架,如PentAGI,为任何下载它们的人复制了大部分相同的支撑结构。这种支撑 结构有效地自动化了网络杀伤链的每一步。观察到的案例背后的操作者范围从国家服务到个 人,遍布越来越多的国家。这种采用 人工智能驱动的杀伤链的一个例子记录在案例研究GTG‑20006中。随着模型的不断演进和改 进,我们评估认为,从独狼到有组织实体,更多的行动者将继续采用人工智能框架,以更快 的速度和更大的规模实施更复杂的网络攻击 。 人工智能在网络行动中的角色已变得日益自主 本报告所述的大部分操作均通过人工智能直接执行或编排实现。人工智能的应用已超越聊天 机器人简单的问答模式,转而采用多智能体框架执行侦察、利用和数据窃取。人类仍通过以 下方式保持对流程的参与: 检测与应对人工智能滥用:2026年9月 6 设定攻击目标并审查数据窃取。这一趋势的一个例子是GTG‑20006。该行为者开发了一个 人工智能辅助工作流程,如果其工具包被安全产品检测到,该流程会自动重建并重新部署 工具包。 GTG‑20006:俄罗斯间谍活动 历史上,网络间谍行为者通常遵循一种模式:开发并部署旨在规避检测的定制工具包。他们 会使用这些工具,直到防御方识别并构建出检测和阻止它们的特征码,随后便会开启新一轮 的规避与检测循环。因此,强大的防御和检测能力增加了对手的成本。然而,如今人工智能 的采用威胁着防御方仅通过静态检测来向对手施加成本的能力,这种能力可能被迅速且轻易 地瓦解。 GTG‑20006是一个通过人工智能自动化操作而提升速度的行为者。我们的归因与公开报告中 将该行为者与午夜暴雪相关联的结论一致。其中一名操作者是俄语使用者,化名"JackPoterz ",其技战术和攻击目标与俄罗斯国家关联的间谍活动相符。他们针对乌克兰和欧洲政府的军 事情报目标,以及与外交和国防相关的组织和个人,以及与美国外交政策相关的个人开展了 攻击行动。我们观察到GTG‑20006通过定制的人工智能驱动工作流程运行,该流程自动化了 其大部分操作,包括开发、基础设施获取、钓鱼攻击、通过命令与控制实现持久化,以及数 据窃取。 GTG‑20006使用了一个定制工具包,包含两个基于Windows的植入程序系列、一个移动设备 利用工具包、一个针对浏览器密码存储的凭证窃取工具、一个旨在模仿政府组织 等优先目标的钓鱼平台,以及一个用于管理被入侵账户的管理控制台。在网络行动期间,这 些工具均通过人工智能辅助工作流程按需进行管理和重新调整。 该行为者还使用人工智能来监控其工具如何规避已知安全防御的检测。如果其监控人工智能 代理识别出任何已部署的恶意软件被安全产品检测到,代理便会启动自主修改和重建恶意软 件的过程,以规避现有检测。这些代理被设计为持续迭代GTG‑20006的工具包,直至其不被 检测。此时,这些工具会被部署到一次性托管服务器上,用于实时操作,受害者流量会被引 导至这些服务器以获取恶意软件,这些操作包括钓鱼攻击、ClickFix以及DNS劫持方案。 检测与应对人工智能滥用:2026年9月 7 该行为者还利用人工智能驱动其网络钓鱼行动。他们开发了基于AI的工作流程,用于研究并 注册域名,随后配置用于发送钓鱼邮件的主机基础设施。此外还开发了其他工作流程,用于 发送邮件并监控C2信道以确认成功入侵。当需要优化时,人类行为者主要参与修改驱动这些 工作流程的Claude Code技能。 我们的调查发现,该行为者在作战规划、侦察和实际行动中锁定了超过20个不同组织。这些 目标包括政府部门、国防与情报机构、大使馆与外交使团、智库以及国防工业企业,主要集 中在乌克兰和欧洲,但也延伸至中东地区以及亚洲的海事相关政府机构。这些目标的共同主 题是乌克兰及军用无人机技术供应商与供应链。例外情况包括一个涉及海运与追踪的东南亚 政府实体,以及一个北非政府技术主管部门。 网络作战 最常重复出现的攻击目标是乌克兰政府、军方及外交人员。该行为者对超过二十个乌克兰 政府组织的电子邮件服务和远程访问系统进行了扫描。 检测与应对人工智能滥用:2026年9月 8 盗窃的次要重复目标是无人机供应链技术。该行为者批量导出了至少两家无人机零部件制造商 的邮箱,针对一家军用无人机制造商,并窃取了一套完整的无人机视觉系统专有软件开发工具 包。他们花费数天时间逆向工程该无人机的视觉系统,恢复了其产品架构、硬件物料清单、供 应商依赖关系以及一款未发布产品的细节。军用无人机控制和人工智能视觉相关固件似乎是其 特别关注的对象。 并非所有目标都是直接的:为了间接接触目标,该行为者入侵了至少三家运营酒店客房WiFi的 酒店供应商。他们利用被入侵的管理员凭证修改DNS记录,使其指向行为者拥有的服务(这种 技术称为DNS劫持)。使用被入侵供应商服务的酒店客人连接酒店WiFi后,其流量、设 备标识符和IP地址被发送至行为者的服务器。此时,行为者部署了ClickFix式诱饵,向受害者 设备投放Windows、Android和iOS恶意软件。该行为者能够结合从酒店管理系统窃取的客人 信息与从个人客人设备窃取的数据,进一步聚焦额外攻击目标。特别关注的目标包括与乌克兰 相关的个人,如政府官员和无人机制造商。请注意,2026年7月,微软威胁情报部门发布了一 份关于此处使用的盗窃和恶意软件投放方法的报告,并将其称为CaptiveCrunch。 该行为者还接管了受害者的WhatsApp账户,利用一个无头浏览器平台将受害者账户关联为配 套设备。部分通过使用WPPConnect开源WhatsApp自动化库,行为者的配置抑制了已读回 执,因此受害者在其批量导出俄语和乌克兰语对话时不会察觉。至少有两名乌克兰前高级官员 以这种方式成为目标。 该行为者还针对监控平台。他们在摄像头流媒体服务的应用接口中发现了授权漏洞,并由此枚 举用户并窃取令牌,从而获得访问受害者实时摄像头流的权限。 同一行为者还入侵了一个北非政府技术机构。他们窃取了VPN设备的凭证,并利用这些凭证接 管了该组织的中央账户服务器。这使他们能够窃取其完整的凭证数据库:超过30万份国民身份 记录,以及该国运营的50多万家公司的商业注册数据。 该行为者继续开发一个云电子邮件间谍平台,该平台部分使用"大使馆工具包"(行为者用于管 理设备代码钓鱼的框架)来操作 检测与应对人工智能滥用:2026年9月 9 Microsoft 365令牌窃取活动。该平台被用于针对外交和政府人员,导致至少八个组织(包括 一个国家检察官办公室、一所军事教育学院和一个区域政府间组织)的邮件记录被访问和窃 取。 Windows凭据窃取程序通过伪装成更新的社交工程诱饵进行传播,同时附带具有完全远程访 问能力的配套载荷。这些载荷旨在冻结受害机器的安全更新,意味着安全厂商发布的新恶意 软件检测签名将无法在受害机器上被检索或运行。 攻击者在行动的每个环节都使用了人工智能:・侦察:攻击者利用人工智能对电子邮件和远 程访问系统进行指纹识别,并从公开来源收集信息,构建用于钓鱼的目标列表。 ・初始访问:攻击者利用人工智能构建并运营执行这些网络入侵活动的平台。该活动的主要 访问技术是一种设备代码钓鱼,滥用了云电子邮件服务的合法登录流程(关于设备代码钓鱼 的更多详情,请参阅微软的这篇文章)。攻击者利用人工智能设置钓鱼基础设施和利用工 具,并直接执行部分入侵操作,包括在受害者系统上运行命令、窃取凭据以及在攻击者指挥 下横向移动网络。 ・收集与窃取:攻击者利用人工智能执行对数百GB被盗数据的提取和组织。在某些情况下, 通过从被入侵邮箱进行批量导出实现数据窃取。 ・维持访问:攻击者利用人工智能协助维持对被入侵账户和租户的访问,通过自动将攻击者 控制的设备注册到受害者组织的租户中。 在本地环境中,攻击者利用人工智能监控其植入程序的隐蔽性和持久性。当植入程序被安全 产品标记时,攻击者使用Claude系统性地识别、修改并重新部署被检测到的工件。 上述结果意味着人工智能已将成本转嫁给了防御者。以往,防御者或许能通过部署新 的检测手段来减缓攻击者的行动节奏。而现在,至少理论上,有能力的对手可以"闭 环",比防御者开发和部署新检测的速度更快地绕过传统安全检测。 检测与应对人工智能滥用:2026年9月 ms365-live[.]com teams.ms365-live[.]com m365-owa[.]com owa-ms365[.]com ms365-device[.]com mslivetest.duckdns[.]org my-invite[.]org chamber-ua[.]org chathamhouse[.]eu ukrinform-share[.]net 104.145.210[.]184 31.57.243[.]154 statistic-ms[.]live static-ms[.]live 104.194.151[.]133 ad-g[.]org 104.194.159[.]55 docs-viewer[.]org 144.172.114[.]192 wa-connect[.]eu mygreatmarket[.]org mygreatmarket[.]com 213.145.86[.]112 2.26.53[.]194 cdncounter[.]net static.cdncounter[.]net stuseamandesilt[.]org api.stuseamandesilt[.]org cdn.stuseamandesilt[.]org update.stuseamandesilt[.]org itechx[.]tel 10 该演员的恶意软件包括:・Windows恶意软件:PowerChrome、WUEngine、Shadow C 2、MiniPlasma、CloudSyncSvc;・Android恶意软件:GiftDrop(一款重新包装的Gifts Express Android监控远程访问木马);・iOS恶意软件:DarkSword(一条iOS漏洞利用 链)。 入侵指标 检测与应对人工智能滥用:2026年9月