“AI诈骗”冲上热搜，AI“出笼”后如何“向善”？｜钛度热评

近期，包头市公安局电信网络犯罪侦查局发布了一起使用智能AI技术进行电信诈骗的案件，受害者10分钟内被骗430万元，“AI诈骗”的话题，冲上热搜。

随着AI技术的愈发成熟，拟真度和欺骗性都越来越强，以假乱真的AI歌手、酷似明星的主播等等，当容貌、声音都能被“高仿”时，人们应该如何防范？

目前对于生成式AI的规范建设进展如何？AI技术的应用如何规避法律风险？

目前频发的侵权、诈骗事件是否会制约行业的发展？

本期《钛度热评》特邀资深媒体人一起就话题“AI诈骗”冲上热搜，AI“出笼”后如何“向善”？进行了讨论，下面是部分观点集锦。

关于当容貌、声音都能被“高仿”时，人们应该如何防范。

贝多财经主理人贾小俊表示，工具是中立的，关键在于如何去使用，“AI诈骗”就是典型的例子。对于普通人来说，这类AI技术产生的诈骗非常难以辨别，尤其是在模拟了声音和视频的情况下。

之所以能够出现AI诈骗，本质上还是个人信息泄露所带来的问题，对方能够掌握相关方的敏感信息，准确提供账户、地址等资料，也能够获取通讯录，进而骗取用户资金。

对于一般人来说，涉及到资金这一类情形时，必须要保持敏感度，认真核对是否存在问题，最好能够做到交叉验证，看紧自己的钱包。

从监管的角度来说，应该加强科技人员的引进，对相关对抗技术进行创新，做到能够及时有效的提醒、防范等。同时，强化平台准入门槛，采取合理拦截措施。

《鲸平台》智库专家郭施亮表示，人人都在谈AI，但人们看到更多AI的好处，却很少看到AI带来的负面影响。有人10分钟被骗了430万，关键是骗子利用了AI换脸技术，而且受害者也通过了视频验证后，才把钱转过去，想不到竟然是一个骗局，而且这是一个高端的骗局，似乎表现得毫无破绽。

后来，在银行全力协助之下，用时10分钟，把该诈骗账户内的336.84万元被骗资金成功拦截，但依然有93.16万元资金仍在追缴之中。AI诈骗手段很高明，既使用了声音合成技术，也使用了AI换脸技术，竟然还可以侵入对方好友的联系方式，并成功盗取好友的钱财。

AI时代的到来，带来了机遇，也带来了考验。这个时候，骗子使用新技术诈骗，防骗手段也需要与时俱进，大家的防骗意识也需要得到提升，但凡牵涉到转账等敏感内容，都应该要打起十二分精神。AI时代全面到来，与之相关的法律法规也需要跟进到位，科技在进步，监管执法能力与防骗技术也需要与时俱进。

盘古智库高级研究员江瀚表示，随着人工智能技术的发展，AI诈骗也开始出现。AI诈骗是利用了人工智能技术的一种诈骗行为，这种诈骗方式优势在于可实现更高频率的攻击、更精准的针对性及更高效的欺骗效果，也是技术发展过程中的双刃剑。对于此类诈骗现象，应该如何看待与应对？

首先，频发的诈骗事件需要大家不断提升学习能力，识别潜在的诈骗风险。AI技术从基础数据分析、模型训练、人工智能决策等方面强化了不法分子的攻击手段，对于消费者来说，防范此类诈骗，需要提升自身的技术认知和风险识别能力。需要尽量不给未知电话接听机会，不轻信、不受骗，保护自己的隐私和财产安全。

其次，企业需要加强自律，监管需要引导市场规范，而个人则应进一步强化风险防控意识。AI技术可以为企业带来效率和竞争优势，但也应注意创新与合规之间的平衡，尤其在涉及到用户信息、隐私等敏感领域时，企业更是要强化自律和合规把控。对于监管机构来说，需要引导市场规范发展，防范这类违法犯罪行为。对于个人来说，应积极参与公共安全的管理，学习防诈骗新知识，增强识别潜在诈骗的能力。

长期来看，生成式大模型的AI风口还在继续，但是如何利用AI这个工具变好，需要每个人去共同努力。在AI的发展过程中，需要重视技术的合规性、安全性，并促进AI技术与传统法律、道德和伦理的实现。AI发展不能单纯追求速度和效率，与此同时还应立足于研究人性，不忘初心目的地利用好人工智能来更好的服务社会，探索优化 AI 的范式，防范潜在的滥用和危害，助力 AI 良性发展。

新经济观察团主编毕晓娟表示，所谓道高一尺魔高一丈，科技一直是一把双刃剑。过去几年，可以看到大数据和共享经济发展带来了可观的经济社会效益，但副产品却是个人隐私信息的大量泄露，电信网络诈骗、骚扰短信层出不穷。但伴随监管的查缺补漏、政策法规的及时跟进以及公众防范意识的提高，类似的诈骗事件得到一定缓解。

如今同样的进程也在AI领域上演。AI技术的商业价值在持续释放，但也使诈骗分子AI“如虎天翼”：通过换脸、声音模拟等手段冒充用户的亲友，几乎能做到以假乱真的诈骗，用户很难分辨，极易上钩。不仅如此，利用AI技术，犯罪分子可以同时对大量用户同步实施诈骗，带来的危害范围更广、受害者的财产损失也更大。

但作为一名普通用户，在AI面前绝对不是毫无招架之力的。首先，要提高对个人财产的风险防范意识，警惕这种新型诈骗手段；其次，强化个人信息保护，不要大量注册非官方、交友类APP；再次，若对方通过音频、视频手段要求借钱、转账的，无论对方表现出多么急切的状态，尽量使用多个手段、有条件的话进行线下验证再转账，涉及大额转账，甚至可去银行柜台办理；最后，如果不幸上当，要第一时间报警处理，并联系相关银行最大可能止损。

在法律法规和监管方面，应及时跟进，对AI技术的发展应用设置门槛和防火墙，推动AI向善。好消息是，4月初，国家网信办起草了《生成式人工智能服务管理办法（征求意见稿）》，向社会公开征求意见，目的是促进我国AI产业科学有序、健康规范发展，杜绝乱象和侵权行为。

对于AI从业机构来说，则要跟随国家监管政策走向，保持对AI伦理道德的敏感度，实现技术发展和企业责任的统一。

行业观察者文子表示，对AI 安全的研究最早可以追溯到2008年。到现在已经包含了众多领域。2022 年对自然语言处理 (NLP) 社区的一项调查中，37% 的人同意或略微同意，人工智能决策可能导致“至少与全面核战争一样糟糕”的灾难。不过，也有一些不同的声音，例如斯坦福大学兼职教授 Andrew Ng 将其比作“在我们甚至还没有踏上地球时就担心火星上的人口过剩。”

Dr. Samuel Bowman的观点是对这个问题比较中肯的理解——与其停止在世界各处对AI/ML的研究，人们更应该确保以负责任的方式，构建和部署所有足够强大的人工智能系统。

互联网京日记创始人张京科表示，对于AI高速制造的海量信息，人类将不可避免再度面临互联网信息爆炸时代百倍以上虚假信息的困扰。

想要保护大多数人免受其害，可以参考传统新闻以及著作版权保护模式。即信息传播需要标注出处，如果是AI写作，需要标注作者。这也是网民和资本为消除信息传播中介付出的必要代价，长期来看，缺乏监督的免费信息将不再具有公平与效率可言。

关于目前对于生成式AI的规范建设进展如何？AI技术的应用如何规避法律风险？

多少说主理人褚少军表示，首先，传播和舆论领域，往往是“好事不出门，坏事传千里”，利用AI诈骗，本质上来说并不是新鲜事，而且也只是万千诈骗手段之一，但因为和时下流行的AI技术和应用关联捆绑，就很容易发酵成为热点事件，受到各方舆论的关注，甚至一定程度上形成了对新技术新领域的讨伐，要求监管新技术的呼声又会短时间迸发。但是目前来说，完全没必要对新技术和新领域过度关注和过早特别监管，毕竟任何新技术新领域的发展都需要发展壮大，都需要时间和宽容度，甚至有时候还需要一定的“野蛮生长”时间和空间。

第二，对于新领域和新技术，监管和立法往往是滞后的，此事更多的需要企业和行业自律，企业在发展业务和技术的同时，要更多地考虑到自身肩负的社会责任，在研发和设计阶段，有更好的预判和预防。同时，要加强用户教育和科普，让用户和普通受众也能了解新技术和新领域，防患于未然。同时用户和受众自身也要多学习和关注，同时一定要多一个心眼，挣钱和借钱转账等要多方式核对，同时千万别相信“天上会掉馅饼”。

第三，新技术可以用于诈骗，但是换一个角度，新技术的出现，也可以用于防诈和反诈。很多时候技术是中立的或者是中性，关键看怎么应用和规范。目前频发的侵权、诈骗事件的事件不会制约行业的发展，反而会促进行业规范化发展，毕竟野蛮生长之后，负面事件的频发，一方面会引发舆论监督，自然会触发企业和行业更加自律，另一方面监管和立法的角度肯定也会加快，最终讲行业推向更加规范化发展。

最后，要防止极端思维和过度监管思维，即使有负面事件发生，一方面需要监管和立法规范；另一方面，也需要监管和立法的同时考虑宽容度和时间，给行业足够的发展空间。毕竟往大了说，AI，尤其是AIGC等领域，未来发展可能不仅事关企业行业，还事关国家在技术领域的话语权等，各方都有责任让新技术发展得更好更稳。

互联网科技博主皮皮推表示，AI人工智能技术越来越成熟，到底有没有风险，以及如何规避？通义千问给到的答案是：AI人工智能技术的发展确实给人们带来了许多便利和机会，但同时也带来了一些风险和挑战。

规避AI风险可以从以下几点来入手，首先是数据隐私：收集和使用个人数据时需要遵守严格的隐私和保护规定，确保数据不被滥用或泄露。第二，透明度和可解释性：AI系统应该具有透明度和可解释性，以便人们理解其决策和行为。第三，安全性：确保AI系统的安全性，包括防止恶意攻击、数据备份和恢复、错误纠正等方面。第四，法律合规性：确保AI系统符合相关法律法规和伦理规范，避免与法律相冲突。第五，技术水平：确保AI系统的技术水平，防止出现技术滥用或误用的情况。最后，合作和协作：与其他利益相关者合作和协作，确保AI系统的开发和应用符合公共利益和社会责任。

总之，规避AI风险需要确保AI系统的开发、使用和管理符合道德、法律和安全标准，同时需要加强教育和公众参与，促进AI技术的健康发展。

种火国际战略发展部总监郑阳表示，当前AI诈骗的类型主要包括声音合成、AI换脸，以及利用大数据和AI技术对信息进行筛选、过滤，从而锁定目标人群等。技术本就是一把双刃剑，短信电话诈骗、盗号、p2p等历史经验一次又一次的验证着一个真理，那就是每一次新技术的迭代都会带来层出不穷的技术诈骗。

利用逆向思维来思考，首先AI诈骗的核心在于可以以假乱真，防范和监管的重点就在于如何更简单的识别AI生成内容，如何让普通人深入了解AI技术可能产生的风险（常识普及）。其次AI诈骗技术的基础在于数据，防范和监管的重点就是如何防止个人信息的泄漏和滥用。

另外从监管的角度来说，一方面需要提前对易受骗人群进行精准的教育和防控，例如空巢老人、狂热追星族等。另一方面可以对网络婚恋、交友、贷款、网络游戏等渠道进行严密监管。

任何一种技术在市场化的过程中，其社会价值与经济价值都需要实现平衡。就目前的AI技术发展来说，比较突出的社会性问题有隐私和数据保护风险、知识产权侵权风险、道德伦理风险等。而这些问题势必会影响AI技术的市场化速度，但这本身就是技术落地必经的过程。

AI技术想要从根本上减少法律风险，一方面需要AI技术及其工具的生产公司进行平台的自我监管，比如谷歌将标记其工具创建的每一个AI生成图像的行为就是一个良好的开端。另外一方面则需要相关部门尽快建立相关的监管法律法规和标准体系，明确法律边界和责任主体，比如4月份网信办发布的条例中要求提供AI服务的组织与个人需要承担内容生产者的责任。

大力财经创始人魏力表示，从目前的公布的AI诈骗案件信息来看，AI诈骗所涉技术主要为深度合成技术，包括AI换脸技术、语音（声音）合成技术和文本生成模型。不法分子可以使用AI换脸技术制作虚假的视频或照片，以冒充他人身份进行欺骗。

在技术层面，也有许多技术公司和研究人员积极实践，通过“技术反制”的方式来识别这类AI深度合成内容，这些“技术反制”产品通常也是基于深度学习技术，例如，通过分析视频的特征、处理痕迹以及检测人脸特征的“不吻合性”来识别AI生成视频。

从法律防治方面，国家机关、平台、个人共同努力，平台在根据各类法规要求不断提升审核、监测能力的同时，个人也需要时刻提高警惕。可能，还需要建立协作和共享数据库，收集和存储已确认的视频样本，或者建立反AI诈骗联盟等执法实践。

如何让人工智能技术“科技向善”，成为了当前亟待解决的问题。首先，数据隐私和安全非常重要。需要加强对于人工智能技术的监管和管理，防止个人信息其被滥用和误用。其次，需要加强人工智能技术的安全性和可靠性，透明和公正。最后，需要加强人工智能技术的教育和普及，提高公众的科技素养和安全意识，避免被骗和受害。

关于目前频发的侵权、诈骗事件是否会制约行业的发展？

资深媒体人祖腾飞表示，“技术本身是无罪的”，关键看谁来运用。AI这种新技术不是今天才有的，诈骗牟利的“坏人”也不是今天才有的，不能因噎废食。从全球角度来看，AI几乎是各国都大力发展的方向，它能应用在多个领域，能解放生产力、提高生产效率。

追根溯源，AI诈骗的源头是个人信息泄露。更早前，因为个人信息泄露，大家被电话骚扰、短信轰炸，再加上现在的AI诈骗，个人信息保护已经到了不得不做的地步。各类APP在下载时就要求读取电话、照片、地理位置等等，那这些信息是否被相关软件企业有效保护了呢？还是被别有用心之人拿来倒卖、牟利？

应对AI诈骗这种新型式，还是要做到各个反诈博主科普的那些知识点，比如保护个人信息、对消息进行核实、不转账不支付等等。同时相关企业也要严格遵守相关政策，健全AI技术伦理规范，加强安全监管举措。

唐辰同学主理人唐辰表示，AIGC发展过程中出现的负面案例不可避免，AI诈骗、数字人、换脸等，都是人工智能工具能力的呈现。如何规避人工智能发展带来的负面效应，根本上还是要规范人工智能为谁所用。前两天，孙燕姿回应“AI孙燕姿”引发的版权争议称“凡事皆有可能，凡事皆无所谓，我认为思想纯净、做自己，已然足够。”孙燕姿的这番回应得到大众极高的评价，除了简单的文采好、格局大的称赞外，更重大的深意在于她呈现了人之所以为人的底气，这也是人类自信人工智能短时间内无法替代人类的底气。她的心态也应该成为大众的参考。

同样的，这个逻辑适用于人工智能正在改造的任何行业。正如OpenAI首席执行官萨姆奥特曼所言，人工智能技术将重塑大家所知的社会，可能是“人类迄今为止发展出的最伟大的技术”，将极大地改善人类的生活。但正视它会带来真正的危险，人们应该为对此有点害怕而感到高兴。心存敬畏，才能在科技发展中把人工智能技术为人类所用。在这个过程中，人们担心的不是技术本身，就像孙燕姿本尊并不过于担心AI孙燕姿，而是人类使用技术的动机。大家更应该关注，到底希望技术进化成什么样子？而非技术会把人类改造成什么样子？这或许才是问题的本质。