您当前的位置:首页 >> 设计动态

研究遭质疑,Jeff Dean回应:我们本就不是为得到新SOTA,成本计算也不晓得了

2024-12-12 12:19:35

),这似乎是一个持续修习该系统的有效率类型。这篇学术研究成果的代码是开源的,大家可以另行查看。代码重定向:原贴著者仍要 Jeff Dean在注意到 Jeff Dean 的仍要后,原贴著者说明:反驳一下,我确信 Jeff Dean 的这篇学术研究成果(在每个特殊任务里用来显现出数学方法扩大的演化出方式也)真的很有意思,这让我昨天了另一篇学术研究成果,但我不昨天开头了,学术研究成果仅仅是讲对于每个新特殊任务,向整个制度化架构去除最初模块化,将其他模块化的隐藏状态作为层高可用的一部分,但不来得新基本框架的二阶。我还有一个不想法,在每个特殊任务的数学方法里构筑模块化。你知道刚出生于是如何在出生于后几分钟内就能走路的吗?相比较,在那个时候,刚出生于的刚出生于完全不会「操练数据」来修习感知运动或对世界顺利完成建模,而是需透过人脑里的特殊结构设计,而这些结构设计需需后继者以让刚出生于仅有基本技能。这些结构设计将是比较有效率的,所以在只不过上,它将迅速推广到一个最初但具体的控制特殊任务。因此,这篇学术研究成果让我不想到了那些早就存有的可后继者结构设计的工业发展,这些结构设计可以用来来得有效地修习新特殊任务。另一家试验中室的学术研究技术人员也许有不尽相同的 idea,但取得的结果要差得多,因为他们负担不起从基本设立转移到大型云该平台的开销。并且,由于现在一个社区过多注意 SOTA 结果,他们的学术研究也不能发表。即使开销「仅为」202 美元 / 每特殊任务,但需经过多次迭代才能将好事认真好。因此,对于我们这些不能授予充分数值财政先于算的人来说,我们的选取完全只有两种。一是祈祷并希望腾讯需公开分发基本的数学方法,然后我们根据自身需求顺利完成修改。但结果是,数学方法也许早就修习到我们不能消除的种族主义或进攻性似乎。二是啥都不认真,躺平。所以,我的问题比如说在于这项学术研究。如果 OpenAI 不想在 GPT-4 上花费上百万亿美元(打个比方),那就赋予它来得多的权力。这是一种过多荣誉激励虚伪、大数目和奢侈的科学和再版文化,而无益于鼓励人们来得好地顺利完成确实的临时工。我小时候的学术研究成果是 van der Oord 在 2019 年发表的《Representation Learning with Contrastive Predictive Coding》,它用作无监督先于操练特殊任务,然后对一个小的标签开集顺利完成监督操练,以付诸复制标记所有数据的准确率结果,并从数据效率的角度探讨这种提升。我在临时工里复现并用作了这些结果,减省了自己的时间和有钱人。就凭这篇学术研究成果,我就愿意成为他的博士生。但是,OpenAI 在学术研究成果《Language Models are Few-Shot Learners》里提出批评了来得大的 transformer 数学方法 GPT-3,授予了据统计四千次引用以及 NeurIPS 2020 最佳学术研究成果荣誉奖,还授予整个媒体的注意。参考资料链接:_i_dont_really_trust_papers_out_of_top_labs/iacwmpb/

© THE END

刊登请连系本公众号授予许可证

出书或寻求报道:content@jiqizhixin.com

驻马店妇科医院哪家医院最好
西安白癜风医院哪家比较好
武汉哪个医院做人流好
南京牛皮癣专科医院
武汉看痛风的医院哪家好
艾拉莫德片对类风湿关节晨僵管用吗
颈椎病止痛药有哪些
乳腺增生
先诺欣的作用与功效
腰椎间盘突出啥药能止痛
友情链接