?
万家乐国际娱乐平台,重庆时时彩龙虎和规则,买彩票就这几招,重庆时时彩交流qq群 凤凰彩票

DeepMind与牛津联合授课并开放「全部」学习资料

时间:2017-09-26 18:43来源:未知 作者:admin 点击:
这是一门关于自然语言处理的高级课程。自动处理自然语言输入和产生语言输出是通用人工智能的关键组成部分。人类传播中固有的模糊性和噪音使得传统的符号AI技术无法表示和分析

  这是一门关于自然语言处理的高级课程。自动处理自然语言输入和产生语言输出是通用人工智能的关键组成部分。人类传播中固有的模糊性和噪音使得传统的符号AI技术无法表示和分析语言数据。最近基于神经网络的统计技术在自然语言处理方面取得了一系列显著的成功,在很大程度上引起了学界和学术界对此领域的浓厚兴趣。

  这是一门应用课程,侧重于使用循环神经网络分析并生成语言和文本的最新进展。我们会介绍相关机器学习模型的数学定义,并推导出相关的优化算法。该课程涵盖了神经网络在NLP中的一系列应用,包括分析文本中的潜在维度,将语音转录为文本,语言翻译和问题问答。这些主题分为三个高级主题,使其成为一个过程,从理解用于序列语言建模的神经网络的使用,到了解它们作为用于转导任务的条件语言模型的用途,最后是将这些技术与其他机制相结合形成的高级应用的方法。在整个课程中,还讨论了在CPU和GPU硬件上这些模型的实际实现。

  公开讲座在星期二和星期四(除了第八周),16:00-18:00(Hilary Term周末1,3-8)在数学研究所的演讲厅1号厅举行。

  词汇在语言中有着核心意义,表示和学习词汇的意义是NLP中的一项基本任务,在本讲座中,引入将单词嵌入的概念使其作为一个实践和可扩展的解决方案。

  •Mikolov,Tomas等人《单词、短语及其组合的分布式表达》。神经信息处理系统的进展, 2013。

  •Finkelstein, Lev等人《在情境中搜索:概念的重新审视》,第十届万维网国际会议论文集。 ACM,2001。

  •Levy,Omer和Yoav Goldberg。 《神经元词汇嵌入作为隐式矩阵分解》,神经信息处理系统的进展,2014年。

  语言建模是许多NLP应用程序中非常实用的重要任务。本讲座介绍了语言建模,包括传统的基于n-gram的方法和更多的当代神经学方法。特别引入流行的循环神经网络(RNN)语言模型,并描述其基本的训练和评估算法。

  本演讲是对上一讲的继续补充,并考虑了产生一个有效实施RNN语言模型所涉及的一些问题。描述了梯度消失和爆炸的相关问题,并介绍了诸如长短期记忆网络(LSTM)的架构解决方案。

  本节课讨论了文本分类,从基本的分类器(如朴素贝叶斯分类器)开始,然后慢慢延伸到RNN和卷积网络。

  本讲座介绍了图形处理单元(GPU)作为一种替代CPU执行的深度学习算法。讨论GPU的优缺点以及了解内存带宽和计算对RNN的吞吐量的影响的重要性。

  在本讲座中,我们将语言建模的概念扩展到先前的信息中。通过调整输入表示上的RNN语言模型,我们可以生成与内容相关的语言。这个很通用的方法,可以应用于将序列转换成用于任务的新序列,例如翻译和总结,或将图像转换成描述其内容的字幕。

  本讲座介绍了深度神经网络中最重要和最有影响力的机制之一:注意力机制。注意力增强了能够对输入的特定部分进行调整的循环网络,并且是在机器翻译和图像字幕等任务中实现高性能的关键。

  自动语音识别(ASR)是将口语的原始音频信号转换为文本记录的任务。这个讲座涵盖了ASR模型的历史,从高斯混合到注意力增强RNN,语音的基本语言学以及经常使用的各种输入和输出表示。

  本讲座介绍了将书面语言转换成口语(文本到语言)的算法。TTS是ASR的逆向过程,但在应用的模型中有一些重要的区别。在这里,我们回顾传统的TTS模型,然后更多地介绍最近的神经元方法,如DeepMind的WaveNet模型。

  我们将在课堂中使用Piazza以此促进课堂讨论。而不是直接通过电子邮件发送问题,我鼓励你在Piazza上发布你的问题,由同学、导师和讲师来回答。但请注意,本课程的所有讲师都自愿花费时间参加,并不总是能够及时回复。

  本课程的初步评估作业将在学期结束后发布。这项作业所问的问题可以借鉴课程中讨论的概念和模型,以及选定的研究出版物。问题的性质将包括分析模型的数学描述,并提出对这些模型的扩展、改进或评估。该作业还可能要求学生阅读特定的研究出版物,并在课程背景下讨论他们提出的算法。在回答问题时,要求学生既要提出连贯的书面论证,也要使用适当的数学公式,并可能使用伪代码来说明答案。

  如果没有DeepMind、牛津大学计算机科学系、Nvidia大学的支持以及来自Microsoft Azure的GPU资源的慷慨捐赠,这个课程是不可能实现的。返回搜狐,查看更多

(责任编辑:admin)
顶一?
(0)
0%
踩一?
(0)
0%
------分隔?----------------------------
?