说明一:中断继续训练后的Loss值恢复初始状态。
本次主要更新,取消了原本的中断训练Loss值并接的问题,我们发现,当loss值并接了,中断学习训练并不能很好的继续收敛loss值,导致很多用户认为模型训练无法收敛,可能模型无法学习新知识。
在Pro 1.8.3版本公告中,有说明中断后的Loss值并接算法,属于测试版,经过这么久,我们发现该算法并不是很好的服务用户,在1.9.3版本后,我们将彻底取消中断后的Loss值并接,还是采用NLP训练标准,每当开始训练,Loss值恢复初始状态,并根据每次训练单独计算,这样就能确保直观的了解模型的学习成果和模型收敛问题。
说明二:关于继续训练,学习速度的增长问题说明。
我们发现,较多用户在模型训练结束或者训练学习中途暂停训练后,想接着提升模型能力,并接着训练的时候发现学习速度增长过高的问题,这是一个有趣的现象,但是这也是一个正常的表现,各位Pro用户不必担心是否有异常。
初始训练,在一个训练周期内,预训练模型中,它需要加载各类初始参数以及训练数据集等大量数据,需要加载预训练模型的初始模型权重,所以并发会占用更大的资源去训练。
但是在训练一定的周期后,中断后继续训练,是从你已成功训练保存的模型中,继续加载模型权重和参数,这样就减轻了模型负重能力,同时也释放了更大的算力能力让模型继续学习训练下去,这样的情况就会让每秒学习速度得到一定的上升。
所以,当您继续加载训练,如速度有明显上升,不必担心,这是正常表现。但是建议还是尽可能保持模型在一个周期内完成初始训练。
看样子做网站得买一个