卷积模型适用于固定数量的输入，生成固定大小的矢量作为输出，具有预定义的步数。循环网络允许我们在输入和输出中对矢量序列进行操作。在递归神经网络的情况下，单元之间的连接形成有向循环。与传统的神经网络不同，递归神经网络的输入和输出不是独立的，而是相关的。此外，递归神经网络在每一层共享公共参数。人们可以像传统的使用反向传播方法的神经网络一样训练复发网络。这里，梯度的计算不取决于当前步骤，而是取决于之前的步骤。称为双向递归神经网络的变体也用于许多应用。双向神经网络不仅考虑先前的而且预期的未来输出。在双向和简单的递归神经网络中，通过引入多个隐藏层可以实现深度学习。这种深度网络提供更高的学习能力和大量的学习数据。语音，图像处理和自然语言处理是可以使用递归神经网络的一些候选区域。