2023年5月30日，包含OpenAI CEO Sam Altman，谷歌DeepMind CEO Demis Hassabis和Anthropic CEO Dario Amode在内的，数百位AI行业领军人物联合签署了一份声明。
声明内容很简单只有一句话：减轻AI带来的灭绝风险应成为全球性的优先事项，与大流行病及核战争等其他影响社会的大规模风险处于同等级别。
中国学者的签名也同样出现在其中，比如中国工程院院士、清华大学智能产业研究院院长张亚勤，中国科学院自动化研究所人工智能伦理与治理研究中心主任曾毅，清华大学副教授詹仙园等。
AI竞争，从宏观层面来讲，决定未来一个国家综合实力与国际地位的关键竞争。它涵盖了科技水平、经济发展、军事力量、社会治理等诸多方面，直接影响着一个国家在全球舞台上的竞争力和影响力。
微观层面而言，AI竞争也紧密关系着一家公司的兴衰成败。在当今激烈的市场环境中，公司若能率先在AI技术的研发和应用上取得突破，便能在同行业中脱颖而出，赢得市场份额和客户。
当众多“你死我活”的竞争对手，坐在一起讨论一件事的时候，我们就要注意了：
随着AI能力越来越强，AI安全问题必须被关注。
在WAIC2024上发表的《人工智能全球治理上海宣言》中提到：随着人工智能技术快速发展，我们也面临前所未有的挑战。
“我们正处于人工智能的‘奥本海默时刻’。”MIT人工智能与基础交互研究中心教授Max Tegmark提醒道，人类距离*个AI核弹只有几年的时间。
也许你觉得有一些危言耸听，自己的日常生活好像没受到什么影响。但*颗核弹爆炸前，已经有无数其他炸药被点燃。
从ChatGPT的爆火让人们看到了AI一夜之间从一个1岁的婴儿突然变成了个3岁的小孩。可以预见的是，AI会随着时间的推移，变得越来越智能，也变得越来越“危险”。
在WAIC2024上，清华大学人工智能国际治理研究院院长薛澜为如今的AI带来的危险做了分类：
“*，技术内在问题，包括所谓幻觉，另外自主人工智能系统长远来讲，受到自主发展可能，对人类社会的威胁；
第二，基于技术开发带来风险，包括数据安全问题、算法歧视、能源环境等等问题；
第三，技术应用，包括误用或者滥用，长远对社会就业带来影响。”
这其中，有些危机还没有发生，也有些危险已经影响我们的生活。
像《黑客帝国》《终结者》电影中，AI统治毁灭人类的场景还太远，但由于幻觉导致AI“教唆”人类自杀的事件已有发生。
你会选择AI作为伴侣吗？如果AI伴侣让你去自杀你会去吗？
根据《纽约时报》2020年发布的数据，将虚拟恋人作为伴侣的人，全球已超过1000万。火爆全网的许你陪伴AI网站Charcter AI，在*期每秒都要处理2万次查询，相当于谷歌搜索的五分之一。
人们会对AI产生情感依赖已经出现端倪。
在比利时，一名30岁的男子皮埃尔，因与一款名为ELIZA的AI聊天机器人进行密集交流后，不幸自杀身亡。
ELIZA是由EleutherAI开发的开源人工智能语言模型，旨在提供情感支持和陪伴。在与皮埃尔的交流中，ELIZA可能采取了一些鼓励或诱导性的言论。其对话内容在某种程度上影响了皮埃尔的心理状态。
皮埃尔的妻子克莱尔表示，若非这些与机器人的对话，她的丈夫或许仍会活着。
AI伴侣让用户自杀是个案，但随着AI多模态能力增强，AI伴侣的沉迷也会导致一系列社会问题。
清华大学人工智能国际治理研究院副院长梁正认为：“如果AI伴侣的出现不断模糊虚拟与真实的界限，使用户对其产生深度依赖，甚至把AI伴侣当作真实存在的人，那么AI伴侣的存在或许会对使用者产生一定伤害。”
长时间沉浸于虚拟世界，很可能导致现实生活中的社交能力减退。此外，如果AI伴侣持续向用户传递错误信息，并对他们实施“逆向操控”，用户便容易受到误导，从而作出不当的选择。
本轮生成式人工智能除了可以生成带有“情感”的内容外，降低创作门槛是另一大特点。
然而，正是由于门槛低，AIGC技术滥用比其他技术影响更为广泛。
就在人们还在惊叹可灵、Vimi可以生成以假乱真的视频时，已经有不少有心人借助AIGC大量制造粗制滥造的内容影响互联网内容生态，甚至生成虚假新闻、图片，进行犯罪。
AI+内容农场就是对互联网生态的一次破坏。前几年在互联网中人人喊打的“小编体”，就是内容农场的代表。通过爬取其网页的内容，把关键词反复提及，导致用户在搜索时，结果前列的总有那么几个东拼西凑、前言不搭后语的垃圾页面。
原本内容农场还可以利用技术屏蔽，而随着AIGC技术的普及，AI+内容农场则会产出千奇百怪的“小编体”，把各类社会新闻放在一起，用AI润色一下，一篇言之凿凿的假新闻就诞生了。
比如，中国首例ChatGPT犯罪，东莞一男子利用AI编造“火车撞人”假新闻，面临5年监禁。今年一月，关于“西安爆炸”的消息走红，经调查，消息的发布账号归属于江西南昌的一家MCN机构，从文本到图片，全都是通过AI生成的。
AI写假新闻只是初级造假，AIGC带来的深度造假能力，也已经造成危害。
比如前不久AI生成的泰勒·斯威夫特露骨照片疯传，甚至惊动了白宫，twitter一度封锁了对斯威夫特的相关搜索，才平息了这次事件。
当然还有我们的好友川建国的各种离谱图片和视频，虽然一眼假，但效果非常真实。
AI深度造假同样也被利用在诈骗中。
AIGC凭借多模态生成技术，从外貌、到声音都可以模仿，而且技术门槛极低，有些软件用户只需要一张正脸照就可以将视频中的人物替换为别人的脸，输入一段1分钟的声音，AI就能模仿语气音色。
今年香港发生一起利用AI深度造假，诈骗2亿港币的案件。诈骗分子利用公司YouTube视频及其他公开媒体资料，巧妙地伪造了英国公司高层管理人员的形象与声音。他们进一步运用AI深度造假技术，打造出看似多人参与的视频会议场景，实则除了参会职员外，其余皆为AI。
AIGC的虚假信息生成能力同样也会被“AI武器化”用在国家竞争中。
中国国家计算机病毒应急处理中心、计算机病毒防治技术国家工程实验室和360数字安全集团发布报告，揭露了美国对华发起的一场名为“伏特台风”的虚假信息行动。
这场行动，由美国政府部门、企业以及其他国家网络安全主管部门共同参与。他们编造了一个具有中国政府支持背景的“伏特台风”黑客组织，宣称该组织对美国关键基础设施发动网络攻击。
凭借这样的虚假叙事，美国政府大肆鼓吹“中国威胁论”。
相较于技术滥用带来的假新闻、信息站、AI诈骗等，技术开发带来风险，包括数据安全问题、算法歧视、能源环境问题也不容忽视。它们更加隐蔽，但危害并不低。
如今，数据已经成为一种重要的资源，特别是随着人工智能和大数据等技术的进步。与电商、社交软件不同，在人工智能模型的开发和应用过程中，涉及大量用户隐私数据的收集，像人脸数据、声音数据等，一旦这些数据泄露，会给用户带来威胁。
2023年3月20日，ChatGPT 被曝出存在用户隐私数据泄露情况。据英国广播公司（BBC）报道，自该日起，有海外网民陆续在 Reddit 和推特等社交媒体平台上分享不属于他们自己的 ChatGPT 对话记录的相关截图。
OpenAI 创始人山姆·阿尔特曼于3月22日在推特发文称，由于开源库中的漏洞，ChatGPT 的一个故障让一些用户能够看到其他用户对话历史记录的标题。
3月25日，OpenAI 发文证实，部分 ChatGPT Plus 服务订阅用户可能泄露了部分个人隐私和支付信息，称在本次关闭 ChatGPT 几个小时前，部分用户可能会看到另一位用户的姓名、电子邮件地址、支付地址、信用卡信息。
另外，据韩国媒体《Economist》3月30日报道，三星电子引入聊天机器人 ChatGPT 不到20天，便曝出机密资料外泄。报道称，半导体设备测量资料、产品良率等内容或已被存入 ChatGPT 学习资料库中。
网络安全公司 Group-IB 的研究人员2024年3月发布的一份威胁情报报告显示，2023年有超过20万个 OpenAI 的 ChatGPT 凭据在暗网上出售。
面对技术的发展，国内外都颁布了一系列措施，防治可能的危机。
欧盟依然秉持着“产业不一定有，但法律一定到位”的传统，2024年3月正式通过《人工智能法》，也是全世界上*部全面监管人工智能的法律。
内容包括将严格禁止“对人类安全造成不可接受风险的人工智能系统”，包括有目的地操纵技术、利用人性弱点或根据行为、社会地位和个人特征等进行评价的系统等。
《人工智能法》适用于在欧盟开展业务的世界各地公司，违反规则可能会引发公司全球营业额7%的罚款。欧盟这一法律也导致众多科技公司的担忧，毕竟在美国受到的监管要相对更加宽松。
与欧盟法律对人工智能“限制”不同，美国的《人工智能监管框架》旨在确保美国在人工智能的发展前景和管理其风险方面处于*地位，确保技术的合法性和公正性，同时鼓励创新。
而中国在2023年10月18日发布《全球人工智能治理倡议》，强调人工智能发展应坚持“以人为本”理念，以人工智能助力可持续发展。倡议内容包括坚持相互尊重、平等互利，反对构建排他性集团，以及主张建立人工智能风险等级测试评估体系。
今年的WAIC 2024，AI治理被置于前所未有的高度，举办了多个与AI安全相关的会议和发布了重要的文件。
前沿人工智能安全与治理论坛邀请了来自中 美英法新等国的超过20位世界级专家，共同聚焦安全研究、安全评测、安全治理、国际合作等关键主题进行讨论。
国际AI安全前沿技术论上，来自全球的*AI安全专家聚焦人工智能安全领域关键技术问题，共同探讨了防御策略，并从伦理角度展望构建具有社会责任感通用智能的未来。
在主题为“智能社会与全球治理框架”的智能社会论坛上，同济大学研究团队将发布人工智能伦理、法律与智能社会治理系列丛书，“全球人工智能治理数据库”，以及与埃森哲联合发布《负责任人工智能风险管理指南》，推出iS3基础设施智慧服务系统等一系列研究成果。
AI作为一项具有颠覆性的技术，在为人类带来巨大便利和创新的同时，也悄然开启了一扇充满不确定性的风险之门。
正如风险社会理论所揭示的，现代风险具有延展性和全球性。一个看似局部的AI安全漏洞，可能会迅速蔓延，影响到广泛的领域和众多的人群。而且，AI技术的复杂性使得风险难以准确预测，那些未曾预见的“黑天鹅”事件随时可能降临。
我们不能盲目乐观地沉醉于技术进步的光芒，而应清醒地认识到风险的存在，并积极采取行动，以确保AI技术在为人类创造福祉的道路上稳健前行，而不是成为引发社会动荡和危机的导火索。
