bengio首期推特小课堂 从“AI未来五年”谈到“怎么教小孩学机械

最后更新 : 2021.01.08  

bengio首期推特小课堂 从“AI未来五年”谈到“怎么教小孩学机械插图

06.若何看待自我监视学习的近期生长?

自我监视学习是一个异常古老的想法,只使用新的术语。它基本上从未符号(或符号不充分)的数据天生示意。

近年来,它的气力越来越为人所知,并将继续成为我们工具箱的一部分。然则,单靠自监视学习并不能解决OOD泛化、学习更高抽象等问题。

07,现实生涯中存在私见/歧视,体现在数据上。既然现实中很难改变数据,那么若何战胜数据中的私见/歧视呢?

:这个问题我不是专家,然则我有专门针对这个问题的讲座和教程。起点是同情,去思索我们的行为是若何危险或辅助别人的,去明白不公正的坚持是不能接受的。

我们每个人都可以通过一点点改变来逐渐改变社会规范、文化和实践,从而走向一个加倍公平和包容的社会。

想想自己在一样平常生涯(包罗事情)中能做些什么,从别人正在做的事情中寻找灵感。

08.你的新论文是对计算机和人类推理私见的辩护吗?

:归纳私见()和私见不是一个看法。机械学习探索种种归纳私见。在本研究中,我们试图从大脑中获得灵感,探索具有更好泛化能力的神经网络体系结构。最好的归纳偏置具有优越的泛化能力。许多经典的基于推理的AI都是受到人类认知的启发,现代的机械学习也是云云。

09.研究模块化网络时要注意的主要陷阱有哪些?

:这是机械学习和深度学习研究的通例方式。我以为应该从迁徙学习义务中的OOD泛化和样本复杂度等方面来权衡收益,而不是通例的基准。

若是实验没有效果,可能会让人发生抑郁的感受,我以前也是这样。解决办法就是从久远角度重新思索,决议是否继续起劲。

10.你对汽车感兴趣吗?你以为AutoML和NAS是机械学习和深度学习未来生长的重点照样边缘领域,照样仅仅是面向应用的方式?

我对自动研究以及修建搜索和生物进化之间的联系异常着迷。不仅是架构,学习历程自己也应该是搜索的一部分。

然则这种盲目搜索的问题在于,让我们加倍难以科学地(好比数学地)明白算法的历程。

我想说,这种研究是一种绝望的选择,由于我们可能无法用理性去寻找解决方案,而是依赖蛮力。

11.萨米尔哈桑:有哪些问题是神经网络解决不了的?

优华本吉奥:现在的神经网络大多善于人类系统1(履历)能力,而不善于某些系统2(理论)能力。

语言学家一直强调,与现在的机械学习(包罗深度学习)相比,人类更善于系统归纳综合。人类可以系统地重组配合的看法,形成清晰新颖的寄义,甚至应用到新的领域。

12.MohitSharma:许多机械学习的研究很容易举行,可以自力举行。然而,在没有指导的情况下,理论研究很难在COLT/ICML自力揭晓。对此有什么建议?

优华本吉奥:与从事你以为有趣的事情的低级研究人员接触。

13.HiteshKumarBalapanuru:AI存在以下问题:

(1)有限测试数据集上的泛化能力与更高精度(数据可能反映真实天下的模式)

ai2018破解 等着我201ai初级教程最新动态8年全集

新框架在设计时坚持清晰简洁的概念,所以代码相对紧凑,大约15个文件。基于ALE基准,集成了DQN、C51、简化版和。为了使研究人员能够快速地将他们的想法与现有的方法进行比较,该框架为DQN、C51、简体版等提供了60款基于ALE的雅达利游戏的完整训练数据。另外,还有一批教。相关地址多巴胺谷歌博客:h…

(2)若是算法精度高,可注释性重要吗?

能否分享一下对此的看法?

YoshuaBengio:在机械学习领域,大量的研究事情都集中在泛化的一样平常形式上,以便测试与训练数据具有相同漫衍的数据。我以为我们正在转向漫衍外泛化,这将获得更强的鲁棒性。

bengio首期推特小课堂 从“AI未来五年”谈到“怎么教小孩学机械插图1

此外,从拟合数据漫衍到确立其抽象示意以捕捉因果结构(使用类似于词的看法,即语义示意)的方式也应该有助于注释。

14.文卡特什瓦拉加万@ICML’2020:既然神经科学对明白人工神经网络有着深远的影响,那么另有哪些学科(如物理学等。)会对明白人工神经网络黑箱起到关键作用?

YoshuaBengio:物理学对神经网络的影响很大,好比基于能量的模子,玻尔兹曼机,熵和互信息的看法,物理学与因果推理的关系。

推荐你看这个视频:https://www.youtube.com/watch? v=4qc 28 ra7hlq

15.UjjwalUpadhyay:有一种看法以为表征学习可以辅助解决匹敌性学习的问题。你怎么想呢?

优华本吉奥:首先,人类也容易受到匹敌攻击(视错觉、心理私见等)。).其次,我信赖,一旦我们能够训练深层网络来捕捉对天下的高级抽象明白,我们就会获得一个加倍结实的系统。

这个问题和系统2(理论)有关,固然也是基于系统1(履历)的。现在,许多乐成的作弊样本利用了系统依赖底层特征(即不够抽象的特征)的特点。

16.亚历克斯西蒙尼利斯:你以为国家应该限制人工智能研究吗?

优华本吉奥:这是一个棘手的问题。然则,作为研究者或者工程师,我们确实需要关注滥用AI对社会的影响。

>17、GregYang:我很好奇您在“意识先验”方面的最新研究成果是什么?

相关论文:https://arxiv.org/abs/1709.08568

YoshuaBengio:我最近的论文中有很大一部分是对此的后续研究,有几篇正在提交中。值得注意的有两个分支:一个是关于因果发现(在希罕的因果图中)的系列论文,另一个是关于模块化循环架构的论文。

关于循环自力模块,我在ICML揭晓的论文中涉及的自上而下的注意力就是一个例子。可以查看我最近的演讲以获得更普遍的领会,好比在Tubingen机械学习SummerSchoool上的演讲。

No1:https://www.youtube.com/watch?v=c_U4THknoHE

No2:https://www.youtube.com/watch?v=PDPdIDihPvc

18、HarmvanSeijen:您以为,是否存在可以对大多数形式的组合举行编码的模块化网络设计?照样我们需要差别形式来编码差别形式的组合?

YoshuaBengio:在深度网络架构中,至少已经利用了两种形式的组合性,一种形式来自漫衍式表征,另一种形式来自深度。

模块化和注意力以及可能的其他机制(例如事情记忆)可能是另一种形式的要素,有可能辅助实现人类所拥有的系统归纳综合能力。

相关阅读

- END -

4
0