权威政府和犯罪团伙正在争先恐后地利用人工智能增添其网络攻击的能力，这些攻击可能会打开守护我们最敏感机密和最重要基础设施的大门--这将增加医院、学校、城市和企业的危险，因为它们已经经常成为黑客欺诈性电子邮件的牺牲品，而黑客还会继续制造混乱。
随着技术的不断发展，人们越来越担心大型语言模型（LLM）（如 ChatGPT）被用于犯罪目的的可能性。人工智能将大大提高网络钓鱼邮件的成功率，这是黑客入侵人们的计算机、电子邮件账户和公司服务器的最具破坏性的有效技术。目前，90% 以上的网络攻击都是从网络钓鱼信息开始的，它们伪装成来自朋友、家人或商业伙伴的合法通信，诱骗人们在虚假登录页面上输入密码或下载恶意软件，从而窃取数据或监视他们。通过利用人工智能的文本生成和数据分析能力，黑客将能够发送更有说服力的网络钓鱼信息，诱骗更多受害者，造成难以计数的损失。
地下社区对 LLM 抱有极大的兴趣，恶意 LLM 产品也将随之出现。一个名为 last/laste 的未知开发者创建了自己的 ChatGPT LLM 聊天机器人，旨在帮助网络犯罪分子： WormGPT。WormGPT 诞生于 2021 年 3 月，直到 6 月，开发者才开始在一个流行的黑客论坛上出售该平台的访问权限。与 ChatGPT 等主流 LLM 不同，这个黑客聊天机器人没有任何限制，无法回答有关非法活动的问题。聊天机器人的创建平台是 2021 年推出的相对过时的开源大型 GPT-J 语言模型。聊天机器人接受了恶意软件开发相关材料的培训，这就是 WormGPT 的诞生过程。开发人员估计，访问 WormGPT 的费用为每月 60 欧元至 100 欧元，或每年 550 欧元。
专家认为，俄罗斯等威权国家正在研究人工智能的恶意用途，包括用于网络钓鱼。而在地下犯罪组织中，有才华的开发者已经在构建和出售定制人工智能平台的访问权限，如 WormGPT（可生成令人信服的网络钓鱼信息）和 FraudGPT（可创建虚假网站以支持网络钓鱼活动）。
网络公司 Trustwave 高级安全研究经理菲尔-海伊（Phil Hay）说："我们完全可以预见，攻击者将越来越多地利用人工智能来创建他们的网络钓鱼活动。"
网络钓鱼领域这场迫在眉睫的革命--由同样的技术驱动--已经让用户眼花缭乱，因为这种技术能够在几秒钟内撰写论文并制作出假肖像--让一些网络安全专家感到震惊，他们担心即将出现的恶意信息会过于复杂，大多数人都无法识别。
联邦网络安全和基础设施安全局网络部门前负责人布赖恩-瓦尔（Bryan Ware）说："如果人工智能像我们现在谈论的那样起飞，那么网络钓鱼的企图将变得越来越严重，越来越难以防范，也越来越难以发现。"
如果犯罪分子拥有自己的类似 ChatGPT 的工具，那么对网络安全、社交工程和整体数字安全的影响将是巨大的。这一前景凸显了我们在努力确保人工智能技术安全和负责任地开发人工智能技术时保持警惕的重要性，以降低潜在风险并防止滥用。
