深度学习技巧应用13-神经网络中数据并行训练的原理
人工智能基础部分15-神经网络中数据并行训练的原理
一、数据并行训练过程
前向传播
在前向传播中,每个设备都会接受一个批次的输入数据,并使用当前的权重参数计算输出结果。这些结果被合并成一个大的张量,然后传递给下一层的设备进行处理。每个设备都有自己的损失函数,但是因为它们共享相同的权重参数,所以损失函数的计算结果也是相同的,可以直接累加求和。
反向传播
在反向传播中,每个设备都会根据自己的损失函数计算相应的梯度,并将结果发送给其它设备。当所有设备的梯度计算完成后,它们会把各自的梯度求和,然后通过梯度下降法更新权重参数。