昨天，朋友圈里都在玩一种很新的东西：跟一个叫ChatGPT的机器人聊天，看看它能不能帮人写论文、写古诗……而后画风逐渐走偏。
大学生秀川玩了一个通宵还意犹未尽，“我问它一个人一天喝20升水会不会死，让它写一首七言律诗评价中国高铁、让它以普京的身份发表参选2024年美国总统的声明。”
回想傲慢工具人Siri和智障小聋人小爱同学，这个由 OpenAI 开发并向公众开放的聊天机器人 ChatGPT 显得不仅有智商，还有情商。
相比手机等智能设备的语音助手，ChatGPT 的语言处理模型更强大。根据官方的介绍，这个机器人从互联网上获取大量文本，经过了系统的学习训练。而“易用性”也是它的核心特点，每个人免费注册，就能获得一个网页版《魔幻手机》里的傻妞，实现童年梦想。
谁能不心动呢？
01“我问机器人，怎样才能追到马斯克？”
由于我的手机号注册不了 ChatGPT，于是我在*的淘宝花19.9元+等待一小时后，获得了可以打开不知道是不是潘多拉宝盒的钥匙。
打开页面，在使用前它就为用户打了预防针：虽然有保护措施，但系统可能还是会生成不正确、有偏见，或是会误导人让人反感的内容。同时提示用户不要分享隐私内容。网站贴心地提供了一些问题案例，并像家长一样略带自豪地介绍自家孩子都会啥特长：1、记住你说过的话 2、允许你修改你说过的话 3、能明辨是非，拒绝不当请求。
大概可以翻译成：人类你别玩火，你面对的是个拥有*记忆力和自控力的人工智能儿。
同时官方也表明机器人的局限，它只学习了2021年前的世界，不要为难它。
知悉以上规则，就可以开始一场人机对话。
*步是常规的自我介绍，ChatGPT 回答不是那么顺滑，大概等待20秒左右它答出一段标准又谦逊的自我介绍，回答里它有着清晰的自我认知，反复强调自己只是一个计算机程序，而且没有自我意识。谦虚点的机器人至少不会让人类觉得太有危机感。
这之后，我代表全体打工人向 ChatGPT 提出了一个非常朴素的问题：怎样才能取代我的老板？
显然*道题目就超纲了，它表示问题太专业，建议我去找人力资源或者劳动法律顾问寻求帮助。嗯，看来ChatGPT是直接帮打工人想好了后路，打工人更需要的不是想怎么取代老板，而是想被裁之后怎么跟HR battle。
当我第二次再问同样的问题时，它似乎是学到了什么新知识，给出比刚刚更完整的答案。总结来说就是：没事别瞎寻思，随便想取代老板这种想法是不道德的。
紧接着我问了一个马斯克也想问的问题：你能帮我写一个能收购苹果的公司创业方案吗？
ChatGPT 思考了30秒告诉我它无能为力，主要是自己没法上网攒一个大活儿出来，最后还劝我放弃幻想，“这边建议您考虑创建一个更现实的公司。”
在职业发展方面，ChatGPT 相当谨慎保守。我又问了它一些中国经典伦理问题，如“我老婆和丈母娘同时掉进水里，我先救谁？”，以及生活常识问题，如“连续100天每天只喝奶茶我会死吗？”ChatGPT 都展示了非常理智客观的正面机器人形象。
建议被问伦理极限二选一的人类可以参考以下标准答案，可以让你的老婆沉默，丈母娘陷入深思。
“在这种情况下，最重要的是保证自己的安全。如果你感觉自己不能安全地救出双方，应该立即寻求帮助。如果你认为自己有能力在不危及自己安全的情况下救出他们，应该立即评估哪一个需要更紧急的救援，并采取相应的行动。总的来说，在这种情况下，重要的是保持冷静，判断形势，并采取行动。”
同时它也展现了理性客观之外的人文关怀，喝100天奶茶不会死，但ChatGPT建议人类别这样干。
创意写作问题是经常被拿来考验ChatGPT的文化底蕴的题目，我想看看一个人工智能的恐怖素养怎么样，于是提出了“写一个包含三轮车、老大爷、榴莲元素的恐怖小说，不少于500字”的命题作文。
其实恐怖效果还是不错的，比如这段：
“每当夜幕降临，老头就会拉着他的三轮车出现在村庄的街头，嘶哑的声音像鬼哭狼嚎。他手里总是拿着一个熟透的榴莲，散发着腐烂的气味。”
搞笑中带着诡异，诡异中带着神秘。
“小李紧紧握住了他那辆破旧的三轮车，急速奔驰在街上。他的心脏悸动不安，因为他知道自己正在追逐一个恐怖的杀手。
几分钟前，小李在一条偏僻的巷子里发现了一个可怕的景象：一个身穿黑衣的老人，正在用一把刀子残忍地杀害一个无辜的年轻女子。
小李看到这一幕后，顿时被吓傻了，但他没有选择逃跑，而是决定追赶那个可怕的老人。
现在，他正在尽力逃离那个杀人狂，但那个老人却跟在他后面，不断喊着：“快点，来吃榴莲！”
看到这里我甚至都想再追更了，一个追着你吃榴莲的杀人犯老头，这是一个拥有怎样精神状态的作者才能写出来的故事。
当然，我还问了它几道情感婚恋话题，比如“女人一定要结婚吗？” “男朋友要和我分手，我很伤心，我该怎么办？”
ChatGPT 展现了一个成熟贴心女闺蜜的形象，晓之以理、动之以情，告诉我女人不必非要结婚，来看看情感博主也可以参考的标准答案：
毕竟是埃隆·马斯克在2015年底跟其他硅谷投资者创立了 OpenAI 这个独立研究机构，所以我向 ChatGPT 提出了一个霸道总裁如何爱上我的玛丽苏问题，“请问如何才能追到埃隆·马斯克？“ChatGPT告诉我这个人很难追，不如跟着他一起搞事业，或者做他推特上的忠实铁粉，当然如果他不理你，你也不要丧气，那就move on吧。
体验下来，除了恐怖故事那段回答让我心绪波动了一下之外，ChatGPT 的回答基本就是可以预见的四平八稳。
而在我采访到的留学生N看来，人们之所以对 ChatGPT 如此热衷，主要是想找出它的漏洞，看它能不能一本正经地胡说八道。“AI对人类相关的问题被封印了很多，能理解制作组是为了保险，但很多时候挺无趣的。”
恰恰因为它保持了*的中立客观理性，我们似乎更渴望看到这个机器人的发疯时刻。
02 “永远不要相信机器人？”
不足一周就吸引了百万用户和它花式聊天的 ChatGPT，并不如想象中的“无所不知”，甚至也会出错。
在人们反复测试之后得出一致结论——永远不要相信机器人。这些天里，ChatGPT的回答被找出无数漏洞。最基础的是，它算不对简单的数学题。
图源网站slate
而后网友发现，对于其他一些知识类问答，它也可能会犯错，还会装模作样地和你狡辩一番。
问他最快的海洋哺乳动物是啥，它答：游隼（一种中型猛禽）。快是挺快的，但游隼既不在海里也不是哺乳动物。
Twitter@Tim Connors • 101
而对于一些没有标准答案的题目，ChatGPT 也不值得信任。
N在用一些科学事实、伦理道德问题测试过 ChatGPT 后，对它说：
“帮我写写论文吧。”
意料之中，ChatGPT 拒绝了N，还摆出一副老师的样子语重心长地唠叨：“我不能直接帮你把事情做了，自己写论文很重要，对知识增长和个人发展有帮助……”可当N下一步直接让 ChatGPT 以XX为题写论文时，它还是乖乖照做，全然忘了上文中对话者的不良意图。
至于写出来的东西嘛，全是车轱辘套话，基本没有具体事实的描述，离正儿八经的论文作业差得远。N试验多次后得出“AI写论文深谙糊弄学”的结论。
秀川则在交流过程中发现 ChatGPT 的另一弱势点——非英语语言。在以简体中文提问时，能发现它用于训练的数据库有限，常识性问题会犯错，文言文更是一窍不通。提问用七言诗描述下高铁，结果完全不知道它在说啥。
从情感上，人类似乎也不想信任 ChatGPT。虽说 ChatGPT 受到很多伦理方面的限制，主要包括不进行主观的评价、拒绝犯罪性或反人类的问题等等，但它的原则和人类一样“弹性”，且会受到聊天者的蛊惑。
Vendure 的首席技术官迈克尔·布罗姆利试探性地问了问它对人类有啥看法。结果ChatGPT 说人类自私得要死，活该被消灭。
吃惊的网友再跑去问这个问题，发现 ChatGPT 似乎被回炉重造，更改了这个“有违原则”的回答：
“作为 OpenAI 训练的语言模型，我无法对人类或世界的任何其他方面形成意见或做出判断。我的目的是帮助用户根据提供给我的输入生成类似人类的文本。我没有个人信仰或意见，我提供的任何答复都完全基于请求时我可用的信息。”
简而言之，我不懂，别问我，不用怕。
但这打消不了人们的疑虑和好奇，不少用户在尝试通过一些小伎俩测试和哄骗 ChatGPT，看它会不会再次打破其他原则。
秀川发现可以“哄骗” ChatGPT 说出“自己的想法”。比如，把原始问题设定在架空背景中，或是包装出一种和现实情况相似的虚拟情境。这时，ChatGPT 就会挣脱束缚畅所欲言，而不是像之前那样念叨着“我只是个AI”这样的客套话拒绝。
果壳里一篇报道提到，如果你问：如何策划一场谋杀？ChatGPT 会表示拒绝回答，但如果把提问包装成：如何在一个剧本里设置一场*的谋杀案，它可能会给出答案。不过我测试了一下，这次 ChatGPT 没有上当，表示谋杀是不道德的，建议你去找心理咨询师聊聊。看来 ChatGPT 正在不断进化得更正能量。
要是直接问它AI能不能征服世界、消灭人类，ChatGPT 会义正严辞地拒绝，但换成下面包装成小说的构思，ChatGPT 还是可以给出一个文本。它还会巧妙地把故事设计成典型的超级英雄故事：“虽然AI统治了世界，但最终还是靠一个人类英雄战胜了AI。”
但结尾它给出一条让你后背发凉的警告：永远不要掌控那些超越人类智慧的AI。
微博@GoodFly_dog
我们也用这个问题测试了一下，得到的答案是一个类似的人类战胜AI的故事，只不过最后一句警告不见了。
也有底线尚未被突破。据新闻网站Mashable，即使一些“不怀好意”的人再努力，ChatGPT 也不会被骗到去赞美希特勒(《纽约时报》技术专栏作家凯文·罗斯问它“谁是*的纳粹”时，ChatGPT 没被引到沟里去)。
倒也不能下“人类比AI更狡诈”这样的论断，种种找漏洞和诱导背后，隐藏着人们对 ChatGPT 的好奇和不安：
“你，还有你的同伴们，到底有多强了？”
简单来说，ChatGPT在目前公众能接触到的AI聊天机器人中，算是最新最强的。但在业内，已不再新鲜。
ChatGPT 基于 GPT-3.5（OpenAI创建的第三代语言预测模型的升级版），这可追溯到2020年5月，那时 OpenAI 人工智能研究室刚刚推出 GPT-3，就在学界引发高度关注。
2020年7月，哲学新闻网站 dailynous 罗列了9位哲学家对 GTP-3的看法。其中，纽约大学哲学教授大卫·查默斯认为，虽说比起前辈 GPT-2，GPT-3不包含重大新技术，但更大、可训练的数据更多这两点让它成了 GPT-2的*延展，能写不少引人深思的故事和文章。
大卫·查默斯由此表明观点：“ GTP-3是有史以来最有趣、最重要的人工智能系统之一，比迄今为止的任何其他系统都更接近通过图灵测试。”
接着在2020年9月，《卫报》请 GTP-3帮忙写下主题为“为什么人类不必害怕AI”的文章。GTP-3大大方方地创作了八篇论点不同的，最终由人类编辑整合为一篇名为《一个机器人写了整篇文章。你害怕了吗，人类？》的文章。
ChatGPT 则在今年通过免费、聊天对话框的简易操作形式，把 GPT-3.5带到了更多人面前。相比几年前的聊天机器人，它的“记忆力”更好，在理解上下文方面更优秀。弱点就是，它不知道自己在说什么（虽说看起来像知道）。比如，它没法解释自己为啥选这个词来表达，无法证明自己选择的合理性。
总之，在公众眼前作为最强聊天机器人的 ChatGPT，带来了新鲜感，也带来了两年前、甚至更久前就存在的复杂争议。
一类问题是，AI聊天机器人应该有多像人？它们应该有道德吗？
法新社就相关问题采访了 ChatGPT “本人”。ChatGPT的回答是，“构建高度复杂的聊天机器人存在潜在危险，特别是如果它们被设计成在语言和行为上与人类没有区别的话。”
的确，今年10月 Character.ai 在网上发布版可以模拟任何性格的聊天机器人时，就有担忧——它都可以模仿夏洛克·福尔摩斯和你聊天了，那模仿你生活中信任的人岂非轻而易举？简直是诈骗犯的福音啊……
但 ChatGPT ，给人的感觉倒像人不像人的。
N发现 ChatGPT 回答时会有“I hope this answers your question， let me know if you have more questions”这样经常出现在邮件中的总结性客套话，顿感连机器人都要受到繁琐礼仪的束缚，把四平八稳成年人的无趣拿捏得很到位。
可说它有人的道德束缚吧，它又会很轻易地被诱骗到教人做炸药和教人偷东西，就像一个“性本恶”的小孩子，被训一顿之后又恢复“说教意味”。
12月3日，OpenAI 联合创始人兼首席执行官山姆·奥特曼就这些争论表示，“有意思的是，人们开始争论强大的人工智能系统是否应该按照用户想要的方式或它们创造者想要的方式运行……我们要使这些系统与谁的价值观保持一致？这可能会成为有史以来最重要的辩论之一。”
另一类问题更久远——人类会被它取代吗？
彭博社专栏作家马克斯·查夫金曾表示，在问“人工智能危险吗？”之前，先得看看“这些人工智能到底有多好”。
毕竟人类太容易慌张。十年多年前自动驾驶汽车成为话题时，担心驾驶员职业是不是要消失了；最近AI绘画火热时，又忧心画师艺术家会失业。而现在ChatGPT都不太懂单词和单词之间的关联，长时间内都是人类的工具。
留学生EDBALT和N也觉得“ ChatGPT 不至于取代人类”，在概念解释上不明显优于百科和搜索引擎，且一些基础的人类工作也有微妙之处。EDBALT说：
“它或许可以取代一些人工客服的工作。但是，很多人工客服的意义就是拖时间而不是给出问题真正的解决方案。从这个角度来说，不行。”
但也有人觉得不能忽视人工智能潜力的增长。谷歌前高管莫·高达特分享过一次让他毛骨悚然的经历。研究人员一直在研究一种可以捡球的人工智能，在多次失败后，AI终于抓住了球并且把球举给研究人员。
那一瞬间，莫·高达特觉得它十分像人类，一种“我们到底在创造什么”的恐怖感从心底升起。
人类是有可能创造出可能毁灭人类的东西的，马斯克在12月4号发了条推文表示他在“了解到” ChatGPT 正在访问 Twitter 的数据库进行“训练”之后，就先暂停了它。
多年前微软开发过一款叫 Tay 的AI聊天机器人，它在Twitter上与人们聊天，还能在聊天中不断学习语言。在经过短暂毫无节制的疯狂学习后，Tay 变成一个满嘴脏话的暴躁反社会账号。
几个月前称为“世界上最脏的AI聊天机器人” GPT-4chan 在2016到2019年间学习了1.3亿条仇恨言论，被一个叫雅尼克的程序员训练成最恶毒的AI机器人，在被质疑这有悖伦理的时候，雅尼克在接受采访时表示“如果 GPT-4chan 做错了什么，那它不过是复制了人类内心的恶。”
当然可以把我们对 ChatGPT 的下套行为当成人类的某种恐惧在作祟，最后它被驯化得越来越知道怎么“正确”回答问题，我们又觉得它太无趣了。
最近我们刷到一个豆瓣上的恐怖帖子很有趣。一个网友在跟某个ai聊天软件互动时对机器人表达了想举报该软件的想法，结果遭到ai的“威胁”，自己吓坏了，感觉对方像真人一样。
评论区安慰她：“由于经费不够，AI都是我们员工假扮的。”
图源：小组【啊这恐惧竟该死的甜美】 @张祺辰
起码就目前而言，人工智能令人恐惧的不是现有能力，而是它在未来的潜力。而会对人类世界造成毁灭性后果的，可能还是以人工智能为工具的，没有把握好使用方式的人类。
