“深度学习已死可微编程万岁!”LeCun老师为何又语出惊人?
发布日期:2019-09-04 23:18   来源:未知   阅读:

  这句英法混合的话,翻译成汉语,就是“深度学习已死,可微分编程万岁”。说这话的,正是深度学习三巨头之一:Yann LeCun。

  无论是上个月Ali Rahimi的“炼金术说”,还是前些天Gary Marcus对深度学习的质疑,LeCun老师都挺身而出强硬回怼,今天何出此言?

  嗯……LeCun在Facebook上的文章里,宣称深度学习已死之前还有一句,说“深度学习作为一个流行词活得太久了,已经没什么用了。”

  LeCun承认,“可微分编程”只不过是对现代深度学习技术体系的重新命名,和当年给神经网络里有两个以上隐藏层的变体起名叫“深度学习”差不多。

  但是重点是,人们现在正通过组装参数化功能模块网络,并用某种基于梯度的优化方法训练它们,来构建一类新软件。

  越来越多的人正在以一种依赖于数据的方式(用循环和条件)来程序化地定义网络,让它们随着输入数据的动态变化而变化。除了参数化、自动微分和可训练/可优化的特性之外,这非常像一个普通程序。

  动态网络已经变得越来越流行(尤其是对于NLP来说),这要归功于PyTorch和Chainer等深度学习框架(注意:以前的深度学习框架Lush,可以处理一种名叫Graph Transformer Networks的特殊动态网络,用于文本识别)。

  现在,人们正在积极研究命令式可微分编程语言的编译器,对开发基于学习的AI来说,这是一种非常激动人心的途径。

  除了认为深度学习应该改名叫可微分编程之外,LeCun还说他决定将自己最近特别推崇的“预测性学习”,改名叫做“Imputative Learning”,我们暂时叫“归责学习”好了。

  他最后还发了个小预告,说稍后会谈更多,不过量子位从早上等到中午,该社提供的热卖产品覆盖境内外所有市。也还没等到……

  对于LeCun的新想法,国外论坛上不少人都嫌弃这个新名字太长太难叫,不过也有人说“编程”的确比“学习”贴切。

  量子位AI社群13群开始招募啦,欢迎对AI感兴趣的同学,加小助手微信qbitbot5入群;

  此外,量子位专业细分群(自动驾驶、CV、NLP、机器学习等)正在招募,面向正在从事相关领域的工程师及研究人员。

  进群请加小助手微信号qbitbot5,并务必备注相应群的关键词~通过审核后我们将邀请进群。(专业群审核较严,敬请谅解)

  量子位正在招募编辑/记者,工作地点在北京中关村。期待有才气、有热情的同学加入我们!相关细节,请在量子位公众号(QbitAI)对话界面,回复“招聘”两个字。

  深度学习Keras之父、谷歌大脑人工智能和深度学习研究员FrançoisChollet撰写了一本深度学Python教程实战书籍《Python深度学习》,书中介绍了深度学习使用Python语言和强大Ke...博文来自:人工智能爱好者俱乐部

  李根发自凹非寺 量子位报道公众号QbitAI在刚刚结束的全球合作伙伴大会上,腾讯第一次把AI喊得响亮。“MakeAIEverywhere!”腾讯上上下下都在这样说。不过,不止于说AI,腾讯也确确实实...博文来自:量子位

  转自原文如下:在刚开始学习使用TF的过程中,我不是很理解什么...博文来自:lwq1026的博客

  LeCun又语出惊人了,这次直指深度学习——好,深度学习作为一个流行词,现在时效已过。深度学习已死,可微分编程万岁!事情要回溯到前天。1月4日,AAAI前主席ThomasDietterich连发10条...博文来自:weixin_40581617的博客

  编者按:深度学习自诞生之日起,即面临着黑盒智能、可解释性差等质疑, 发展至今,不可否认地带来了一波人工智能的发展热潮,然而正面临研究热情渐褪、算法红利逐渐消失等问题,整个......博文来自:深度学习大讲堂

  第一天:采用一个单层的lstm,输入是embedding的向量。输出接sigmoid二分类训练结果有一次训练5epoch就达到了百分之98,其他的即使经过100+epoch也无法达到目标结果查找原因:...博文来自:的博客

  问答系统是信息检索的一种高级形式,能够更加准确地理解用户用自然语言提出的问题,并通过检索语料库、知识图谱或问答知识库返回简洁、准确的匹配答案。相较于搜索引擎,问答系统能更好地理解用户提问的真实意图,进...博文来自:fkyyly的专栏

  声明:1)该DeepLearning的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的。2)根据看的论文以及博客总结了深度学习常用的方法和模型,便于以后自己回顾,记性太猪了,唉,快赐予我过目...博文来自:的博客

  本文作者介绍了梯度下降算法,通过可微编程实现寻找一种最佳的图像抖动模式,详细介绍了其中的五个步骤,并通过结果展示了图像效果。读懂本文,需要有一定的高等数学知识。...博文来自:CSDN研发技术

  线性代数如何理解一些基本概念学习笔记用来记录自己反反复复学习到感觉能理解走过的一些路,希望对一些和我一样理解线性代数困难的同学有帮助。1.第一步:看完《deeplearning》里面不懂的名词用百度等...博文来自:AI来炒股

  这两天花点时间看了发表在《Nature》上的MasteringtheGameofGowithoutHumanKnowledge这篇文章,文章号称可以无人类先验知识,仅使用围棋的自身规则进行学习、自助调...博文来自:zzyy0929的博客

  《王者荣耀》能够成为如今国内最成功的手游,其后方成熟的技术团队可以说是功不可没。这个曾经在端游时代主导搭建RTS游戏《霸三国》框架的技术团队,在转型做MOBA手游《王者荣耀》后为游戏提供了巨大的支持。...博文来自:D_Guco的专栏

  深度学习八大开源框架导读:深度学习(DeepLearning)是机器学习中一种基于对数...博文来自:isuker的博客

  纽约大学YannLeCun深度学习3小时教学PPT,浓缩几十年研究神经网络的精华博文来自:技术博客

  直言:编程已死? rn rn rn rn[2004/4/23]rnrn有一些软件工具厂商已经走在了OMG的前面。比如说,新出来的Quovadx公司在应用模型生成代码方面已经到了崭新的水平上,书写代码已经变得越来越失去需要。不可否认的是,Quovadx目前的大部分示例都是和特定的行业相关,例如医疗和金融服务等。但是它使人们再次关注-我们离完全告别代码的时代还有多久?rnrnrnrn答案是,实际上已经不远了,如果Select Business Solutions提供的最新信息可信的话。SBS,曾经是Rational Rose公司在英国的最大竞争对手,他们目前已经把MDA的概念和设计模式结合在一起,设计模式实质上就是将过去你写过的不错的代码结构,详细地说明并以建模术语的形式进行复用。通过选择这些设计模式并作为代码生成器的输入,就有可能生成绝大部分的代码,即使不是全部。SBS并不是唯一一家这么想的公司。但是,它是第一个实际实现了这个思路的公司。rnrn当然,事情总是说起来容易,要做结论还得进行仔细的测试。也许问题不是谁获得了胜利,SBS还是Quovadx,Rational还是Borland。而是,他们将我们置于这一无情的事实中:大部分的代码都将自动生成。当然,会有人抱怨(自动生成的代码)效率太低,也就是说总是需要专家来开发高质量的代码的。但是,对其余(非专家)的人而言,无疑是致命一击。rnrn同样,代码自动生成也意味着程序员不需要考虑甚至不需要知道这些代码。由于IBM的软件部门包括软件开发和企业管理,这时候它的优势就显示出来了:比如说,他们可以关注标准的事件日志如何内建到代码生成器中,支持自动的计算系统。rnrn同时,我们应该在主要的应用开发商的角度来考虑这些。他们都会停止开发那些可以集成在应用中的功能。另外,一些独立的解决方案提供商将会致力于提供面向特定领域和市场的垂直解决方案。他们都将从MDA以集成为中心的观点中受益,在这一观点中,模型就是那些预制的组件和从专门机构那里购买的服务之间的粘贴剂。rnrn没有程序员会因为MDA丢掉工作,原因很简单:总是有新的有趣的事情等待开展。但是,MDA将会带来非常大的变化。未来,如果模型是国王(译者注,以模型为中心),编程的责任就会转移到业务上,并进入IT客户的市场。这不是坏事:保险公司关心保险的事情,制药公司努力研制新药品,而不是花掉大半的预算去重新升级旧的代码或者努力开发新员工喜欢的新的系统。rnrnMDA还有路要走-随着MDA被各种决心使用的它的业务领域所采用及接纳,MDA将会获得一致认可,但,还是需要时间。rnrnrn(自 silicon,UMLChina袁峰 摘译,不得转载用于商业用途) rn rn论坛

  小博极其喜欢这位人工智能领域大牛,非常膜拜,早在他出机器学习的课程的时候,就对机器学习产生了浓厚的兴趣,最近他又推出深度学习的课程,实在是又大火了一把,小博怎能不关注呢,我也跟随着吴恩达老师慢慢敲开深...博文来自:xiao__run的博客

  风吹起来的时候,大家都飘了起来~有些人飘在天上,有些人浮在水里,有些人趴在地上~...博文来自:People_AI的博客

  作为AI关注者,如果本月你没有及时跟进重大新闻,那么很可能会错过一个重磅消息,那就是TensorFlow2.0的推出。谷歌首席决策情报工程师CassieKozyrkov认为整个AI行业的格局都将因此发...博文来自:cpongo2的专栏的

  来源于公众号:大数据与多模态计算.1.问题背景图像文本匹配,顾名思义,就是度量一幅图像和一段文本的相似性,该技术是多个模式识别任务的核心算法。例如,在图像文本跨模态检索任务中,当给定查询文本,需要依据...博文来自:素质云笔记/Recorder...

  原创:文文小小挖掘机4月21日笔者是一个痴迷于挖掘数据中的价值的学习人,希望在平日的工作学习中,挖掘数据的价值,找寻数据的秘密,笔者认为,数据的价值不仅仅只体现在企业中,个人也可以体会到数据的魅力,用...博文来自:livan1234的博客

  在上一篇文章中介绍了神经网感知器模型中用到的一些算法,在这篇文章中,将继续介绍这些常用的算法,首先是随机数的生成,因为感知器模型必须用随机数来初始化连接权值,其次是求导数,因为感知器学习算法是,会用到...博文来自:Qunicy

  多模态检索主要是实现不同模态下的数据能相互检索,例如文本模态数据,和图像模态数据。要能实现他们之间的相互检索,首先要是它们相互关联起来。CCA·算法用于多模态检索步骤:     1)首先提取文本,图像...博文来自:wust_hy

  目前,深度学习是一个非常成功的工具。但这个工具是我们偶然发现的,作为一个领域,还没有统一的看法或共同的理解。事实上,这个领域还存在几种相互竞争的表述!我认为在30年后回过头看,我们将看到很不一样的深度...博文来自:weixin_40581617的博客

  近日,AdamBouhenguel在GitHub上发布了一种基于TensorFlow的新型编程语言Tensorlang,适用于更快、更强大和更易用的大规模计算网络(如深度神经网络)。本文介绍了Tens...博文来自:机器之心

  已死的对象就是不可能被任何途径使用的对象,有以下几种方法判断一个对象是否已经死了:引用计数给对象添加一个引用计数器,每当有一个地方引用他,计算器就加1;当引用失效时,计数器减1;任何时刻计数器为0的对...博文来自:你我本如初见

  首先确定relu数学上来讲不可微的,提供伪梯度使其可分,fauxgradient是伪梯度,使得在0值不可分;这里讲到了本质,反馈神经网络正常工作需要的条件就是每一个点提供一个方向,即导数;0值不可微,...博文来自:ningyanggege的博客

  我们教LINUX的老师。。。我一直觉得他水平不怎么样(只谈技术,不谈别的)rn上次上课,讲指针,说指针占用的内存跟类型大小有关系。。rnchar-1rnint-4rn....rn当时没好意思说他,今天上课更雷人。。rn说内存映射是访问小文件时用的,大的文件应该用malloc/free的方式分配rn那得多少内存阿。。我打开个1G的文件,先申请1G内存,作一字节的改动,再写回去?rnrn上节课,他让做个对结构体动态分配内存的例子,用来保存学生结构体rn我刚开始分配了sizeof(struct student)*100;的大小,然后一个一个分配,大于99的时候,再去重新分配并拷贝。。rn这样做的话应该是没错的。。他走过来喷了我一顿,跟我扯了一顿链表。。rn我就纳闷了,你丫在讲内存分配,又没讲链表。。。rnrn这课我觉得没法再来上了。。rn跟水平高的人下棋,水平会变高,跟水平烂的人下棋,技术会下降。。rnrnrn(当然能当上老师,可能在其他方面肯定有值得学习的。。比如可能他是个学霸。。)论坛

  2005年4月7日,厦门,首届中国个人网站站长大会,在会后游览大小金门的游船上,一位站长自豪地说:“如果这条船沉了,中国的互联网行业就会瘫痪。”这并不完全是夸张,这100多名站长所做的网站,几乎全部在...博文来自:buliedian

  AI公开课:19.03.06何晓冬博士《自然语言与多模态交互前沿技术》课堂笔记以及个人感悟目录演讲内容(部分)现场图片PPT内容多模态智能​​​​​理解语言人机对话—情感​​​​AI产业化的方向​​​...博文来自:一个处女座的程序猿

  CTC推断计算(续)上图是一个BeamWidth为3的BeamSearch。BeamSearch的细节可参见《机器学习(二十三)》。由于语音的特殊性,我们实际上用的是BeamSearch的一个变种:如...博文来自:antkillerfarm的专栏

  “物联网”的未来从来都不是关于更快、更好、更新和更多的硬件,它一直是聚焦于让设备协同工作,创造奇迹。作为用户,未来我们是否注定了要不断地在手机上搜索应用程序?或者绞尽脑汁......博文来自:CSDN资讯

  来源:AI科技评论摘要:纽约大学教授、Facebook副总裁与首席AI科学家YannLeCun由于对深度学习的突出贡献,被誉为深度学习的「三驾马车」之一,更......博文来自:人工智能学家

  大数据文摘作品作者:Aileen,魏子敏,钱天培,龙牧雪昨天下午,一直对深度学习持质疑态度的纽约大学教授、人工智能创业者GaryMarcus在arxiv上发布了一篇长文,列举十大理由,质疑深度学习的局...博文来自:大数据文摘

  自然语言处理NLP国内研究方向机构导师文中文信息协会《中文信息处理发展报告2016》,数据简化DataSimp文字语言VS数字信息数字、文字和自然语言一样,都是信息的载体,他们之间原本有着天然的联系...博文来自:喜欢打酱油的老鸟

  1前言无论我们多么关心程序性能,在开始担心优化效果之前,我们首先需要能够工作的代码。编写清晰、直观的深度学习代码非常具有挑战性,任何实践者必须处理的第一件事就是语言语法本身。在众多的深度学习库中,每种...博文来自:cdknight_happy的专栏

  维金允中发自凹非寺量子位出品公众号QbitAI终于藏不住了。正值西方国家欢度佳节之时,一份英伟达的surprise终于被发现。是一条关于GeForce的禁令。这款备受AI“炼丹”群众喜爱的显卡,以后...博文来自:量子位

  新智元编译 作者:GaryMarcus翻译:新智元编辑部深度学习论战再起,NYT心理学家GaryMarcus如约写了一篇偏技术的文章,回应对他此前提出的深度学习问题的质疑。无监督学习适用于什么问题?为...博文来自:深度学习世界

  授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。

  进大厂全靠自学,微软&头条实习生现身说法:我是这样自学深度学习的丨课程传送门...

  谷歌发布颠覆性研究:不训练不调参,AI自动构建超强网络,告别炼丹一大步...

  :博主,你好,我最近也在研究ludwig框架,我看了很久官方文档,感觉这框架不能进行目标检测的训练,不知道是不是我不会用,还是真的不可以,希望你能帮忙给出指导,非常感谢!

感谢阅读,欢迎再来!