如果你和我一样,看到 Transformer 八子这种表述,就默认他们都是男性,今天是重新检查自己的 bias 的时候了。
很遗憾,这个世界的媒体资源并不总是按照重要性平均分配的。
同样在推进科技前沿,在大众认知中,开发出击败人类棋手的 AlphaGo 和或许能让人类潜在受益无穷的 AlphaFold 的 DeepMind 的领 导者Demis Hassabis,就不如上演了一场宫斗大戏的 OpenAI 领 导者Sam Altman 出名。
而他们两个加在一起,可能也没有尝试投资他们两个公司失败的马斯克出名。
马斯克无疑是杰出的。不过,他得到的媒体资源,要远远超过与他同等杰出的人,而与他相关的新闻,即使重要性不高,往往也能获得新闻头条——在马斯克接手推特之前,我真的不记得曾在科技新闻中频频看到「推特可能要增加一个小功能了!」而且只是可能哦!
马斯克敢做,也敢说。每有一个像马斯克这样的网红企业家,总会有十个 Demis Hassabis 这样低调做事的推进者,只在业界享有名望,而在大众领域不被熟知。
而如果谈到女性,这样的情形往往更加严重。女性科技工作者往往背着双重 debuff,一方面,女性科技工作者往往个性低调,而另一方面,女性面临着来自社会的结构性的不利因素。
在做同样的事情的时候,女性的科学成就,往往被人们忽视,而被归功于与她们同时工作的男性同事——这件事早已被人们发现,并被命名为马蒂尔达效应。
比如,想到编程与人工智能,有多少人能马上意识到,人类历史上最早的计算机程序是由 Ada Lovelace,一位女性撰写的,而 AI 方向的第 一本教科书,来自 Elaine Rich,一位女性呢?长期关注 AI 领域的人,又有多少人能脱口而出几位 AI 领域的杰出女性呢?
没有关系,在做这个选题之前,我也无法马上讲出很多个这样的杰出女性,但这并不代表没有杰出的女性科技工作者正在从事 AI 行业。这正是国际妇女节的意义。
在 3 月 8 日这一天,让我们花几分钟,了解五位杰出的女性 AI 研究者和创业者。
01
李飞飞,创建 ImageNet,
引发图像 AI 大爆发
AI 领域的大爆炸,在学界有着连贯的历史,而在产业界,几乎可以追溯到一个时刻:2012 年,深度学习网络 AlexNet,在图片识别上达到了极高的成功率。
人工智能从此逐渐进入深度学习主导的时代,十年内,人工智能也因此变成了我们每个人生活中的热词。
而 AlexNet 的提出,往前推导,归根结底,要来到李飞飞在 2009 年建立的 ImageNet。
李飞飞 1976 年出生在北京,在成都长大。12 岁那年,李飞飞搬去了美国生活。当时,她几乎不会讲英语,在两年内,她迅速达到了极强的英语水平,同时展现出了很强的数学能力。1995 年,她靠奖学金进入普林斯顿大学,当时她几乎每个周末都要回家,帮助家人打理借钱开张的干洗店。
2007 年,李飞飞成为普林斯顿大学的助理教授。在那个时候,计算机视觉领域的科研人员,通常需要专门编写一套算法来辨识狗,再编写另一套算法来辨识猫。
李飞飞的直觉是:模型能力可能是足够的,问题在于数据。
她想要创建一个巨大的数据库,为每个图片中的每个可能物体,都加上标签。当时,这样的项目,几乎无人问津。
她先是让普林斯顿的学生做兼职来建立 ImageNet,但进展缓慢,后期她使用众包平台,让世界各地的兼职共同来做数据标注。
「在线工人,他们的目标是用最简单的方法赚钱,对吧?」她在 Wired 对她的采访中说。如果你让他们从 100 张图片中选择熊猫,怎样才能阻止他们乱点一气呢?因此,她嵌入并跟踪了一些图像,例如已经正确识别为狗的金毛猎犬的照片,作为对照组。如果众包的工人可以正确标记这些图像,那就可以认为他们在诚实地工作。
她开启的 ImageNet 项目,最初收集了 320 万张图片,后来增加到 1500 万张。正是在这样的数据库上,科研人员可以有一个比较谁的算法更加厉害的机会。而 2012 年的 AlexNet,也正是在 ImageNet 挑战赛中,一举成名。
可以说,ImageNet 为深度学习的进步铺平了道路,自动驾驶汽车、面部识别、物体识别等等领域,都是从 ImageNet 开始的。
直到今天,当人们提到人工智能某领域的数据突破,还常常会用,「这是它的 ImageNet 时刻吗?」来形容。
近年来,除了仍在推进科研工作外,李飞飞还在关注增加人工智能的多样性和包容性,为人工智能学界争取资源,而不使学界落后于工业界。
2023 年,她的著作《我眼中的世界:AI 时代黎明时刻的好奇心、探索和发现》出版,书里讲述了她亲身经历的科学故事,以及她对本世纪的 AI 重大历史时刻的解读。
02
Niki Parmar,Transformer
架构的八位作者之一
大模型浪潮出现在公众视野里,或许是 ChatGPT 出现之后,但是大模型浪潮的源起,毫无疑问,来自于 2017 年八位来自谷歌的工程师,撰写的论文「Attention is All You Need」。
这篇论文提出了跨时代的 Transformer 架构,目前我们看到的领 先AI 公司,包括 OpenAI 的 ChatGPT,几乎都是建立在 Transformer 的架构基础上。
不知道读者如何,但我确实曾经一度被媒体中的「Transformer 八子」误导过,认为其中的作者都是男性。
并不是这样的,Transformer 的第三作者,Niki Parmar,就是一位女性研究员。
Niki Parmar 来自印度,本科在印度的浦那计算机技术学院就读,2013 年才到美国南加州大学攻读计算机科学方向的硕士学位。
Niki 在本科时代就开始对机器学习感兴趣:「我参加了 Andrew Ng 和 Peter Norvig 开设的关于 ML 和 AI 的慕课(MOOC),当时就对数据、模式匹配和优化的组合力量感到好奇。」一次采访中她讲到。
2015 年毕业后,她进入谷歌的研究机构,开始对纯粹的研究感兴趣。而 2017 年,她就成为了 Transformer 的核心作者之一。
对于研究,她表示「一开始,周围的大量信息和研究不断让我不知所措。关注一个特定的问题,和同行一起探索,能够帮助你提出正确的问题。」
Niki Parmar 与同为印度裔的 Ashish Vaswani,也是 Transformer 论文的一作,共同成立过两家公司,Adept AI 和 Essential AI。目前主要管理后一家公司。
Essential AI 去年年底获得了科技巨头 AMD、谷歌和 Nvidia 的 5650 万美元新一轮融资。而 Adept AI 此前拿到了 3.5 亿美元的融资。
03
Daniela Amodei,
世界第二的大模型公司
Anthropic 的联合创始人
前两天,Anthropic 的模型,宣称超越了 OpenAI 的 GPT-4 能力,着实火了一把。
关于 Anthropic 的报道,通常会提到 Anthropic 由七名从 OpenAI 辞职的研究人员组建,或者提到 Anthropic 的 CEO 来自 OpenAI,而有意无意地淡化了 Daniela Amodei——Anthropic 的总裁,也是 Anthropic 的两位联合创始人之一。
事实上,Anthropic 是由 Daniela Amodei 和 Dario Amodei 联合创立的,他们之间是兄妹的关系。此次 Anthropic 发布的新的大模型,在许多电视媒体采访中,是由 Daniela 主外发布的。
在宣讲 Anthropic 的不同时,Anthropic 通常会提到它比 OpenAI 更加关注人工智能系统与人类价值观「保持一致」,而 Daniela Amodei 正是前 OpenAI 安全与政策副总裁。
Daniela 是意大利裔,成长于旧金山。
她的工作经历相对多元。大学时,她同时获得了英国文学、政治和音乐文学学士学位。而前期她的工作,更多在政治领域和非政府组织领域,拥有很强的管理技能。
2013 年,她选择加入了 2010 年刚刚成立的 Stripe——当时 Stripe 仍然是一家小公司,而目前,估值已达到 500 亿美金,巅 峰时估值超过 SpaceX。
从 Stripe 开始,她开始将她的管理和风控技能应用到科技企业中。
在 Stripe,她不但负责团队招聘,也负责支付企业中最重要的一环之一——风险管理。她与机器学习、数据科学、工程、法律、财务和供应商管理部门进行跨职能合作,带领三个 26 人的团队,分析了 7,000 多个潜在欺诈、信用和政策违规案例,实现了损失率较峰值下降 72%,达到公司历史最 低水平。
2018 年,她又一次展现了自己极强的战略眼光,加入了 OpenAI,直接带领两个技术团队:OpenAI 的自然语言处理和音乐生成团队,还管理了技术安全团队。
除了这些角色之外,她担任人事副总裁,负责监督招聘、人事计划、DEI、学习和发展、孵化新的业务运营团队等,是一个真正的多面手。
2021 年,她和 Dario Amodei 共同创建了 Anthropic。
04
Mira Murati,
OpenAICTO
虽然 OpenAI 举世闻名,但许多人可能不知道,目前 OpenAI 的 CTO,正是一位女性,Mira Murati。
Mira Murati 在 2018 年加入 OpenAI,2020 年晋升为负责研究、产品和合作伙伴关系的高级副总裁,并于 2022 年晋升为首席技术官,参与构筑了包括 ChatGPT、DALL-E 和 GPT-4 在内的多个项目。
在 OpenAI 宫斗期间,她还曾经短暂地被提名为新一代的 OpenAI CEO。
Mira Murati 在 1988 年出生在阿尔巴尼亚,在加拿大就读高中。
她的专业背景在工程学方面,在达特茅斯大学攻读工程学期间,她就曾直接在学校项目中造了一辆混合动力赛车。
在航空航天领域短暂工作后,Mira 加入「特斯拉」担任 Model X 高级产品经理,通过 Autopilot,她对人工智能方向的兴趣加深了。
她对研究的兴趣一望而明,在采访中,她曾经提到过「无聊是追求和探索任何事物前沿的强大动力。」
OpenAI 最重要的项目,ChatGPT 正是由 Mira Murati 领导的。她也深度参与了公司的许多重要历程。
2023 年,微软首席执行官萨蒂亚·纳德拉 (Satya Nadella) 通过穆拉蒂 (Murati) 管理的一项重要合作伙伴关系向 OpenAI 注资 130 亿美元,并公开表示,Murati「展现了组建兼具技术专长、商业头脑和深度认知人工智能使命重要性的团队的能力」。
3 月 8 日最新的消息显示,在 Sam Altman 被驱逐出 OpenAI 事件中,她和 Ilya Sutskever 都表现出了对 Sam Altman 的顾虑,而这对最后的决策有着重大影响。而不同于 Ilya Sutskever,目前在 OpenAI,似乎她并没有被边缘化的趋势。
这些公开信息当然代表不了所有的事实,但看了她,谁能说女性不会搞技术,女性不会搞政治呢?
05
Timnit Gebru,
一人掀翻谷歌 AI 伦理团队
近期,谷歌模型又因为 AI 伦理的事情,撤回了其文生图的模型。
这不禁让我想起了 2020 年谷歌 AI 伦理团队的一场大戏。
2020 年,谷歌的一位 AI 伦理研究员,Timnit Gebru,曾公开表示被解雇。而她被解雇的原因?——正是她批评了大语言模型中存在偏见。
Timnit Gebru 1983 年出生在厄立特里亚和埃塞俄比亚,2014 年,她在斯坦福大学获得电气工程博士学位,学习计算机视觉和机器学习。
毕业后,她一直致力于研究人工智能公平、问责、透明和道德相关的问题。她以一篇与人合作的开创性的论文而闻名,该论文表明面部识别在识别女性和有色人种方面不太准确,这意味着使用这样的人工智能技术,最终可能会导致歧视,她的研究最终使亚马逊改变了政策。
2020 年,Gebru 与另一位研究者合著论文,批评大型语言模型以及训练它们对环境的影响。该论文还对人工智能技术开发中缺乏多样性和伦理考量提出了担忧。
该文章本应在第二年发表,但谷歌人工智能负责人杰夫·迪恩(Jeff Dean)在一封内部电子邮件(他后来将其放在网上)中告诉同事,这篇论文「不符合我们的发表标准」,在与公司据理力争时,Gebru 发现自己在度假期间,公司邮件被切断了。
这在当时引起了轰动。许多著名的研究人员、民权领 袖和 Gebru 在谷歌 AI 的同事在 Twitter 上公开为她辩护。支持她的请愿书收到了超过 1500 名谷歌员工、2000 多名学者、非营利组织领导人和行业同行的签名。
然而最后,Timnit Gebru 还是离开了谷歌。离职后,她宣布成立了一家独立的人工智能研究所——「Distributed AI Research」,DAIR 旨在对抗大型科技公司在人工智能研究、开发和部署方面的普遍影响。
作为一个真正的战士,她曾表示:「我不能等待大科技公司最后去解决 AI 带来的问题。」
06
结语
一个基本事实是这样的:即使有这么多杰出的女性,科技圈、人工智能圈,还是一个男性主导的圈子。
要改变它,中间涉及的有太多:女性在学术界获得的压力,投资界得到的不平等待遇,甚至是对于女性从小的数理教育和职场的配套措施的保障。
一篇文章无法解决这些问题。
这也是国际妇女节,和许多针对女性的激励项目仍然存在的原因。事实上,文章的最后一位女性 Timnit Gebru,正是文章的第 一位女性研究者李飞飞的弟子。Sometimes it can be a beautiful cycle.
同时,我们也仍然可以在这个特殊的日子,从这些激动人心的女士们身上,获取力量。同时在这个媒体资源向她们倾斜太少的年代,在这个日子,花一点时间,记住她们。
Give credit when it's due。