Posts /

Time delay neural network

Twitter Facebook
03 Aug 2017

TDNN 是一种 ANN 结构,其主要目的是处理 sequential data。TDNN 的 units 独立于时间位移(i.e. sequence position)识别特征,通常用于组建一个更大的模式识别系统。例如,将连续的音频转换为分类号的音素(phoneme)标签 stream 来做语音识别。

一个输入信号用延迟的复制s增强(augmented)作为其他输入,神经网络是时移不变的,因为它没有内部状态。

时间延迟神经网络与其他神经网络一样,由多个由簇组成的互连层进行操作。 这些集群意在表示大脑中的神经元,像大脑一样,每个集群只需要注意输入的小区域。 原典型TDNN具有三层集群,一组用于输入,一个用于输出,中间层通过过滤器处理输入的操作。 由于它们的顺序性质,TDNN被实现为前馈神经网络而不是循环神经网络。

为了实现时移不变性,将一组延迟添加到输入(音频文件,图像等),使得数据在不同的时间点被表示。 这些延迟是任意的和特定于应用的,这通常意味着输入数据是针对特定延迟模式进行定制的。 在创造适应性延时TDNN方面已经做了很多工作。这个手动调谐被消除了。 延迟是试图向具有滑动窗口的循环神经网络或多层感知器中不存在的网络添加时间维度。 过去投入与现有投入的结合使TDNN的方法独一无二。

TDNN的一个关键特征是能够及时表达输入之间的关系。 该关系可以是特征检测器的结果,并且在TDNN内使用以识别延迟输入之间的模式。

神经网络的主要优点之一是缺乏对先前知识的依赖,以便在每层建立过滤器组。 然而,这需要网络必须通过处理大量训练输入来了解这些过滤器的最佳值。 监督学习通常是与TDNN相关的学习算法,由于其在模式识别和函数近似中的强度。 通常用反向传播算法来实施监督学习。

Applications


Twitter Facebook