描述网站建设的基本流程,专业定制网站企业,腾讯云网站建设视频教程,wordpress 图片站主题来源#xff1a;专知 微信号#xff1a;Quan_Zhuanzhi 你是学术机构的人工智能研究员吗?你是否担心自己无法应对当前人工智能的发展步伐?您是否觉得您没有(或非常有限)访问人工智能研究突破所需的计算和人力资源?你并不孤单; 我们有同样的感觉。越来越多的人工智能学者不… 来源专知 微信号Quan_Zhuanzhi 你是学术机构的人工智能研究员吗?你是否担心自己无法应对当前人工智能的发展步伐?您是否觉得您没有(或非常有限)访问人工智能研究突破所需的计算和人力资源?你并不孤单; 我们有同样的感觉。越来越多的人工智能学者不再能找到资源在全球范围内保持竞争力。这是一个最近出现的现象但正在加速发展私营公司将大量计算资源投资于前沿AI研究。在这里我们将讨论学术科研工作者如何在保持竞争力。我们还简要讨论了大学和私营部门如果愿意可以做些什么来改善这种状况。这不是一个详尽的策略列表你可能不同意所有的策略但它有助于开始讨论。这些策略包括 放弃 尝试扩展 缩小规模 重用与重制 分析而非综合 强化学习 小模型 无计算 在专业应用领域或领域开展工作 解决目前很少关心的问题 尝试那些“不应该”有效的事情 做一些“看起来不好”的事情 创业剥离出去 合作或跳槽 大型行业参与者如何提供帮助 大学如何提供帮助 https://www.zhuanzhi.ai/paper/f5b56758eda2c2fd84f5b70a9c567822 作为一个在大学里做人工智能研究的人你与企业人工智能研究机构(如DeepMind、Open AI、谷歌Brain和Meta AI)发展了一种复杂的关系。每当你看到这样一篇论文它训练某种巨大的神经网络模型来做一些你甚至不确定神经网络能做的事情毫无疑问地推动最先进的技术并重新配置你的想法你会产生矛盾的情绪。一方面:非常令人印象深刻。很高兴你推动了人工智能的发展。另一方面:我们怎么可能跟上?作为一名人工智能学者领导一个有几个博士生和(如果你足够幸运)一些博士后的实验室也许在你的实验室中只有几十个GPU这种研究是根本不可能做的。
要明确的是情况并非一直如此。就在十年前如果你拥有一台性能不错的台式电脑和互联网连接你就拥有了与顶尖研究者竞争所需的一切。那时的突破性论文通常是由一两个人在他们的普通工作站上完成所有实验。对于那些在过去十年内进入研究领域的人来说特别值得指出这一点因为对他们来说巨大的计算资源需求是理所当然的。
如果从深度学习中学到了一件事那就是规模化是有效的。从ImageNet[15]比赛及其各种冠军到ChatGPT、Gato[13]以及最近的GPT-4[1]我们看到更多的数据和计算能带来数量上和很多时候甚至质量上更好的结果。当你阅读这篇文章时这个非常近期的AI里程碑列表可能已经过时了。当然学习算法和网络架构也有所改进但这些改进只在大规模实验的背景下才真正有用。Sutton谈到了“苦涩的药丸”指的是在更多计算资源可用时扩展性好的简单方法总是能够获胜[18]。如今学术研究人员无法实现这种规模。据我们了解普通研究者可用的计算量与保持竞争力所需的计算量之间的差距每年都在增加。这在很大程度上解释了为什么许多学术界的AI研究者对这些公司怀有怨恨之情。与同行之间的健康竞争是一回事但与那些资源丰富到轻易做到你永远无法完成的事情的人竞争则是另一回事无论你的想法有多好。当你在一个研究课题上工作了一段时间而DeepMind或OpenAI决定研究同样的事物时你可能会有与小镇杂货店主人在沃尔玛在隔壁开设商店时的感受一样。这是令人悲哀的因为我们希望相信研究是一个开放且富有合作精神的事业每个人都能得到他们的贡献得到认可不是吗
那么如果你只是一位教授拥有有限的团队规模和有限的计算资源面对资金充足的研究公司的猛攻你如何保持相关性这是一个困扰我们和许多同事多年的问题。最近的事件如GPT-4等模型惊人地强大同时惊人地封闭源代码且缺乏公开细节使得这个问题变得更加紧迫。我们从不同级别的多位研究者那里听说无论是亲自还是通过社交媒体他们都担心在资源匮乏和大型科技公司的不公平竞争下进行有意义的研究。首先让我们明确一点我们两个都很安全。我们拥有终身教授职位我们在学术界的成长相当迅速部分原因是因为我们系统地在视频游戏领域推动AI的发展。尽管我们显然关心继续开展相关的AI研究但我们主要是为了更年轻的同事们写这篇文章他们可能想知道选择哪条职业道路。是进入学术界值得尝试还是加入大型科技公司或者创立一家初创企业从事AI职业是个好主意还是当一名水管工更好你应该成为机器中的一个齿轮还是一个叛逆者当你一无所失时通常更容易成为叛逆者这要么是在职业生涯初期要么是获得终身职位时。尽管一个人可以非常熟练但这场保持竞争力的辉煌战斗是否已经输掉了我们是不是就要在这里顺从我们的规律这篇论文部分是作为认真的建议部分是作为情感上的鼓励但最重要的是与大家展开讨论在战斗彻底失败之前改善我们作为学者的地位。我们并不希望阻止AI技术的发展即使我们能相反我们希望讨论那些能使尽可能多的人参与这一旅程的策略。
如果你是一名人工智能学者对你的选择感到绝望下面是一些想法的列表。这些选项没有特定的顺序。我们在这里也没有提出任何特别的建议。然而在文件的最后我们讨论了大型科技公司和大学可以做些什么来改善这种情况。在那里我们提出了一些具体的建议。
2. 放弃吧
放弃总是一个选择。不是放弃做研究而是放弃做真正具有影响力和突破性的事情。在中等级别的期刊和会议上发表论文仍然有很多技术细节和次次问题可以探讨。注意1这种方法最适合已经有稳定职位的人而且你并不太关心晋升2当你决定从事研究生涯时这并不是你真正想要做的事情对吧因为这种激烈的竞争而强迫自己调整研究议程类似于调整研究以适应欧洲委员会或美国国家科学基金会等资助机构的某些任意优先事项。至少争取后者可能为你的实验室提供一些资金反过来可以帮助你与一些有才华的AI研究者和博士生合作。值得注意的是我们两人都认为自己非常幸运因为我们曾经协调或参与了一些小型和大型研究项目这些项目让我们能够支持我们的研究议程并帮助我们部分地确保我们的职位。
3 尝试扩展
与压倒性的竞争对抗是一种令人钦佩的情怀。如果扩展有效让我们在大学实验室里实现它让我们去挑战风车GPU风扇最明显的问题是获取CPU和GPU的途径。假设你从某个地方获得了5万美元的云计算资金并开始运行你的大型实验。但与训练类似GPT-3的项目所需的费用相比这是非常少的。最近一个能在Minecraft中制作钻石稿的OpenAI代理需要在720个V100 GPU上训练9天[2]这相当于花费几十万美元进行一次实验。即使是享有声誉的ERC欧盟或NSF美国资助也无法支持如此高的投资水平。然而花费5万美元在云计算上可以让你获得比一堆游戏PC更多的计算能力所以你可以稍微扩展一下。至少对于那个实验来说。但正如我们所知大多数实验在第一次尝试时是行不通的。对于我们看到的每一个大型实验我们需要花费数月甚至数年的时间进行原型设计、概念验证、调试、参数调优和失败的尝试。你需要不断地获得这种计算能力。不太明显的问题是你需要一个合适的团队来构建可扩展的实验软件这与学术工作结构并不容易兼容。计算机科学领域的典型学术研究实验室的大多数成员都是需要在几年内完成学业的博士生他们需要进行独立的项目工作发表多篇第一作者论文以便在毕业后找到工作。一个大型AI项目通常意味着团队的大部分成员需要在同一个项目上工作很多个月或者几年而只有其中一个人可以成为论文的第一作者。团队可能还包括一些执行“平凡”的软件工程任务的人员这些任务对项目的成功至关重要但它们本身并不被视为AI研究。成功的大型项目所需的结构与学术界的结构根本不兼容。
4 缩小规模
一种绕过问题的热门方法是关注简单而具有代表性的玩具问题这些问题将在理论上证明一种新方法的优势或展示一种新方法的相对优势。比如一篇关于行为变换器的最近论文[17]展示了该方法在一个只需要简单的多层感知器来解决的玩具导航任务上的优势。后来在[11]中采用了类似的方法。然而这两项研究可能具有影响力因为它们在需要大型模型和大量计算训练的流行游戏和机器人基准问题上展示了算法的能力。在[10]中我们再次观察到了相同的模式在一个玩具赌博环境中提出了一个案例但影响力可以说来自于该算法在更复杂但计算密集型问题中所展示的相对优势。这种方法的一个缺点是人们会被高分辨率的漂亮颜色所吸引把一辆真正的汽车在道路上导航比一辆玩具汽车更认真对待尽管挑战可能是相同的。因此你会得到较少的媒体曝光。此外还有一些领域如语言很难进一步缩小规模。
5 重用与重制
过去十年中AI之所以能够如此迅速地发展核心原因之一就是研究人员将他们的代码和模型共享给科学界。在过去模型共享和代码可访问性既不是AI研究人员的常规做法也不是他们的优先事项。能够访问预先训练好的大型模型如ImageNet [15]、ViT [4]或GPT的变体[?]可以帮助你节省时间和精力因为你可以采用它们的大部分内容并对自己的特定问题进行微调。可以说一个人需要假设这些大型模型的表示足够通用以便在有限的训练中为下游任务提供良好的性能。不幸的是对大型模型进行微调和事后分析通常还不足以提供良好的性能。
6 分析而非综合
另一种方法是分析公开可用的预训练模型。虽然这可能不会直接为新功能做出贡献但仍然可以取得科学进展。目前的状况是我们拥有公开可用的优秀文本和图像生成模型但我们对它们的理解并不充分。实际上我们几乎没有完全理解它们。让我们面对现实对于任何人来说变换器都不是直观的东西而这些模型所接受的培训数据的规模本身几乎是无法理解的。有很多工作要做例如以创造性的方式探测它们并开发可视化和概念设备来帮助我们理解它们。人们可以用不同的心态进行分析。尝试寻找和描述已经学到的特定电路和机制是有用的可以帮助我们好吧其他有资源的人在未来创造更好的模型。但是人们也可以扮演不断寻找破解方法的纠缠不休的角色这是有价值的不管那些试图从大型模型中获利的人怎么说。
7 强化学习无数据
人们可能会降低对数据的要求而是通过在线强化学习RL的视角来处理AI问题。遵循RL路径可能允许您绕过与数据可用性、分析、存储和处理相关的所有问题然而它并不一定减少所需的计算工作量。事实上即使是最有效的RL方法也被认为在计算方面非常繁重因为探索过程本身就很昂贵。此外塑造奖励函数通常涉及黑魔法非正式或实用智慧更正式的形式。也就是说研究人员通常需要不断地用不同类型的奖励以及其他超参数运行漫长的实验才能取得突破性的结果。因此最终还是要降低问题的复杂性。关键是如果您想摆脱大数据集除非您在简单玩具问题或专门领域工作否则您可能仍然面临大型计算下一节将专门讨论后一种策略。
8 小模型无计算
另一种有效策略是在模型规模上进行妥协以节省计算。在许多情况下您可能希望或需要一个较小的模型。想象一下能够解决问题或完成任务的最小模型。这对现实世界的应用尤为重要。例如游戏、物联网和自动驾驶汽车等领域可以让AI部署在终端用户旁边以及用户生成的数据旁边即在网络的边缘。这通常被称为边缘AI[8]当内存要求较低且推理迅速发生时AI应用可以在物理世界的设备上运行。神经进化和神经结构搜索[8]以及知识蒸馏[5, 9]方法只是边缘AI可用方法的一部分。注意除了从较小的模型中学到更多信息外还可以尝试从更少的数据中学到更多信息[6]。遵循这条研究路径可能会在我们理解模型内部运作方面带来重大突破。研究小型AI模型使得分析变得更容易提高了模型所做的事情的可解释性。在设备上部署模型有助于解决隐私问题。重要的是它支持绿色AI研究倡议[16]提倡包容性AI考虑并试图最小化其环境足迹。显然小型模型能做的事情是有限的但我们认为这个研究方向的重要性将在未来几年急剧增长。
9 在专业应用领域或领域开展工作
选择一个小众但已经建立的研究领域是一种相当有效的策略这个领域可能超出了行业的直接兴趣范围尝试在该领域内创新。通常将您的想法带到一个全新的领域并进行测试是一种成功的策略但较少情况下这些成果会对该领域之外产生很大的影响。有很多例子表明小众领域最终由于少数专注的研究人员的推动而变得占主导地位。我们目前主要采取这种策略将游戏领域的AI作为我们的主要科学社区因为很少有大公司会认真投入到现代游戏AI。想想早期00年代视频游戏领域如何渗透并主导了机器人和计算机视觉研究社区例如当时的IJCAI和AAAI会议系列。想想神经网络和深度学习方法在支持向量机和回归模型投资社区的主导地位例如十年前的NeurIPS会议。还可以思考强化学习和深度学习如何改变了多智能体学习和认知/情感建模的核心原则例如在AAMASACII和IVA会议代表的社区中。这种策略的一个核心缺点是在AI领域最具影响力的大型场合如NeurIPSAAAIICML和IJCAI很难让您的论文被接受。您的论文及其结果可能最终无法引起广泛关注。然而创建您自己的社区并拥有自己的出版会议是非常可能的。
10 解决目前很少关心的问题
专注于一个已经确立的细分市场或应用领域是相对安全的策略而寻找一个尚不存在的细分市场或应用则有一定的风险。基本上关注几乎没有人看到其重要性的问题或者没有人认为有前景的方法。一个方法是寻找人们尚未认真将人工智能应用于其中的领域。一个好主意是研究一个既不及时也不“性感”的领域。这里的赌注是这个特定的应用领域将在未来变得重要无论是因为它本身的价值还是因为它使其他东西变得可能。我们两个人都走了这条路。15年前游戏的程序化内容生成是一个非常小众的话题我们都帮助将其引入研究界[20, 23]最近它不仅对游戏行业变得更加重要还作为一种帮助泛化深度强化学习的途径变得更加重要[14, 19]。强化学习研究是一个拥有每年成千上万论文发表的核心人工智能领域这使得这个曾经相对鲜为人知的话题变得更加重要。这种高风险高回报的心态可能导致一条孤独的道路但从长远来看它可能会带来丰厚的回报。因此看看周围和不是人工智能研究员的人交谈。你看到哪些问题领域很少应用人工智能而人工智能研究员似乎并不了解或关心未来可能会有人关心这些领域吗如果是这样你可能需要在其中一个领域深入挖掘。
11 尝试那些“不应该”有效的事情
小型学术团队的另一个相对优势是能够尝试那些“不应该有效”的事物这意味着它们不受理论或实验证据支持。大型工业研究实验室的动态通常是研究人员有动力尝试那些可能有效的事物否则钱就会损失。在学术界失败可能与成功一样有启发性和价值而且整体风险较低。许多AI领域的重要发明和观念来自于尝试“错误”的事物。特别是深度学习的所有内容都源于研究人员固执地研究神经网络尽管有很好的理论原因表明它们不应该有效。
12. 做一些“看起来不好”的事情
一家公司越大、越重要就越容易受到道德和观念的约束。任何公司最终都要对其股东负责如果股东认为公司遭受“声誉损害”他们可以很容易地解雇首席执行官。因此大公司会尽量避免做任何看起来很糟糕的事情。为了解决这个问题大公司有时会资助初创公司做更多可能出错的实验性工作(想想微软和OpenAI)。但即使是这样的戏剧也有局限性因为糟糕的公关可能会像旧金山湾的潮水一样涌回来。作为一个没有职位或已经有一个安全职位的个人研究员你不会有任何损失。你可以做你想做的疯狂的事情。你只受法律和你自己人格的约束。我们绝不认为你应该做不道德的研究。无论如何试着做正确的事情。但是你认为令人反感的东西可能与美国沿海地区一群受教育程度过高、以自由派为主的白人工程师所认为的令人反感的东西截然不同。富裕科技公司的公关部门、伦理委员会和董事会信奉一套非常特殊的价值观。但是世界很大充满了不同的人不同的文化。所以有一个很大的机会去做这些科技公司即使可以做也不会做的研究。作为一个利用这种机会的项目的例子我们中的一个人参与了一个项目通过创建一个自动补全系统来批判性地检查当前写作支持系统中“中性英语”的正统性该语言模型假设你以查克·廷格(Chuck Tingle)的语气写作查克·廷格是荒谬的科幻政治讽刺小说《同性恋情色》(gay erotica[7])的著名作者。我们的猜测是这个项目不会被Amazon或谷歌批准出版。另一个例子就是这篇论文。同样你可能会发现你偏离了大型科技公司关于裸体、性、粗鲁、宗教、资本主义、共产主义、法律和秩序、正义、平等、福利、代表、历史、生殖、暴力或其他话题的文化共识。由于所有AI研究都发生在文化和政治背景中并受到其影响因此请将偏离常规视为一次机会。如果你不能做他们不能做的研究那就做他们不愿做的研究。
13 创业剥离出去
现在应该很明显学术界在某种程度上矛盾地限制了学术人工智能研究。即使有人设法获得大规模的数百万项目这也仅涵盖了现代AI研究所需的人力和计算资源的一部分。AI科学家之间的一个流行选择是将他们的想法从大学实验室剥离出去创立一家公司逐步将AI研究转化为一系列商业标准的服务或产品。两位作者都通过共同创立modl.ai [12] 参与了这个过程并从中学到了很多。成为应用AI领域的一员有很多好处。原则上您可以获得实际应用中丰富的数据而这些数据您以前无法获得。此外您的AI算法在具有挑战性的商业标准应用中得到测试并且必须在实际环境中运行。最后您通常会获得更多的计算能力并且如果初创公司扩大规模您将获得不断增长的人力资源。然而这个过程远非理想因为有几个限制因素需要考虑。首先并非所有研究想法都直接适用于创业商业模式。您最好的研究想法可能在理解世界方面非常出色或者至少能在高度知名的场合发表但这并不意味着可以轻易地将其制成产品。其次如今实验室中取得的许多杰出成果可能需要经历漫长的跑道直到它们变成某种商业案例。大多数初创公司进行开发而不是研究因为跑道较短你需要在两年左右的下一轮融资之前拥有一个功能正常的产品最好还有一些市场吸引力。第三即使您获得了一些投资这并不意味着您拥有无限的计算预算。种子基金通常在数百万美元的范围内这并不能让您具备进行OpenAI级别实验的能力尤其是您需要支付员工真实的工资而非博士生津贴。第四并非每个AI学者都喜欢这种冒险。归根结底大多数学者在选择学术职业道路时早就对他们的优先事项达成了共识。
14 合作或跳槽
如果上述所有选项都不适合您而您仍然想通过大规模方法进行创新这些方法需要大量数据进行训练那么您可以始终与拥有计算和数据的人合作。有几种方法可以继续采用这种方法。位于领先AI公司附近的大学具有相对优势因为本地社交网络和面对面会议使得合作更容易。远程大学的研究人员仍然可以通过研究访问、实习和实习作为联合研究项目的一部分建立合作关系。更激进地说一些成熟的AI教授决定将他们的部分如果不是全部研究时间投入到工业合作伙伴那里甚至将整个实验室搬到那里。这种合作伙伴关系、实习或实验室转移的结果可能是惊人的 [2122]。乍一看这对AI学者来说似乎是最好的前进方式然而1) 产生的知识产权并不总是可以发表2) 并非所有人都能或愿意在AI产业实验室工作。有人甚至认为创新应该由公共机构在产业的支持下推动而不是反过来。因此大学有责任保留部分或全部其培养的才华横溢的AI研究人员学者和学生以及他们产生的知识产权。否则AI教育和研究最终将在大学环境中变得多余。接下来让我们更仔细地看一下这种关系并概述工业公司和大学之间可能互相帮助的方式。 15 大型行业参与者如何提供帮助
目前尚不清楚拥有充足资金的AI实验室的大公司是否真的想帮助缓解这种情况。个别研究人员和管理者可能关心学术AI研究的低迷但公司关心的是底线和股东价值拥有竞争力的学术研究社区可能或可能不符合他们的最佳利益。然而在很大程度上大型私营部门行为体确实关心这个问题他们可以做很多事情。从最基本的层面上说开放源代码的模型包括权重和训练脚本会有很大帮助。这允许学术AI研究人员研究经过训练的模型对其进行微调并围绕它们构建系统。这仍然让学术研究人员在训练新模型方面处于劣势但这是一个开始。值得赞扬的是一些大型工业研究组织定期公开发布他们最有能力的模型。其他组织没有这样做他们因为不这样做而受到谴责是理所当然的。改善这种情况的下一步是与学术界合作。如前所述请参阅第14节一些大型机构经常这样做主要是通过接受现任博士生作为实习生允许他们进行大规模工作。有些公司提供给某些学术研究者联合任职还有一些甚至偶尔提供研究资助。所有这些都很好但还可以做更多。特别是学者们可以通过提出他们将共同完成的工作来发起合作。更进一步地说那些真正想要帮助弥补学术界和产业界鸿沟的私营公司可以选择公开合作公布他们的计划提交代码、模型和开发更新到公共存储库允许学者自由贡献。这不是大多数公司的工作方式通常他们有很好的保密理由。另一方面让学者免费为你的代码和培训做贡献可能会有很大的收获。
16 大学如何提供帮助
尽管产业界可能愿意提供帮助但主要的倡议应该来自那些希望推动创新的大学。值得注意的是更广泛的AI领域中一些最具影响力的论文涉及到大学部门。这些论文是由与公司合作或参与公司工作的研究人员共同撰写的。成功的例子已经有了[21, 22, 3]但大学需要做更多的工作来促成这样的合作。事实上学术机构有很多方法可以启动和促进与产业界的合作。大学还可以帮助教职员工应对发生变化的竞争格局鼓励和允许他们更具冒险精神。学术研究人员在AI领域的比较优势在于进行更多高风险的探索因此大学的激励结构必须发生改变以适应这一点。例如期望在顶级会议如NeurIPS和AAAI上持续发表论文是不合理的大型、资金充足的产业研究实验室在撰写这类论文方面具有很大优势。同样资助结构奖励在热门话题上进行安全和渐进式的研究这似乎是评估资助申请的方式固有的特征无论资助机构如何使用“颠覆性”等词汇这一现象都不太可能改变。最传统封闭式资助机制所偏爱的研究类型主要是学术研究人员无法与产业界竞争的研究类型。因此大学应该避免将资助作为聘用和晋升的条件。如果大学认真对待激励教师发挥竞争优势他们应该奖励尝试和失败并推动高风险高收益的资助方案和研究计划。这样一来资助机构很可能会顺应潮流在基础研究和蓝天研究上投入更多资金。
17 结语
我们写这封信有几个目的。
首先与其他人工智能研究人员分享我们的关注希望作为一个社区找到一个共同的事业(和集体补救?)其次根据我们自己的经验以及我们在参与或组织的学术和工业AI场所进行的讨论提供一套指导方针。第三促进公开对话征求意见为我们所有人制定可能更有效的战略。可以说我们最后讨论的策略列表远远没有包含所有可能的可能性;然而我们相信它们是对话的种子在我们看来这是非常及时的
