!
也想出现在这里? 联系我们
广告信息
!
也想出现在这里? 联系我们
广告信息

闪豚速写Pro 1.9.3 更新说明

说明一:中断继续训练后的Loss值恢复初始状态。

本次主要更新,取消了原本的中断训练Loss值并接的问题,我们发现,当loss值并接了,中断学习训练并不能很好的继续收敛loss值,导致很多用户认为模型训练无法收敛,可能模型无法学习新知识。

在Pro 1.8.3版本公告中,有说明中断后的Loss值并接算法,属于测试版,经过这么久,我们发现该算法并不是很好的服务用户,在1.9.3版本后,我们将彻底取消中断后的Loss值并接,还是采用NLP训练标准,每当开始训练,Loss值恢复初始状态,并根据每次训练单独计算,这样就能确保直观的了解模型的学习成果和模型收敛问题。

说明二:关于继续训练,学习速度的增长问题说明。

我们发现,较多用户在模型训练结束或者训练学习中途暂停训练后,想接着提升模型能力,并接着训练的时候发现学习速度增长过高的问题,这是一个有趣的现象,但是这也是一个正常的表现,各位Pro用户不必担心是否有异常。

初始训练,在一个训练周期内,预训练模型中,它需要加载各类初始参数以及训练数据集等大量数据,需要加载预训练模型的初始模型权重,所以并发会占用更大的资源去训练。

但是在训练一定的周期后,中断后继续训练,是从你已成功训练保存的模型中,继续加载模型权重和参数,这样就减轻了模型负重能力,同时也释放了更大的算力能力让模型继续学习训练下去,这样的情况就会让每秒学习速度得到一定的上升。

所以,当您继续加载训练,如速度有明显上升,不必担心,这是正常表现。但是建议还是尽可能保持模型在一个周期内完成初始训练。

给TA打赏
共{{data.count}}人
人已打赏
教程专区闪豚资讯

【推荐】一招教你如何计算闪豚速写模型训练成本!

2023-6-11 20:51:18

闪豚资讯

闪豚PLUS尊享会员订阅计划,Pro+LE各一套!官方出售语料、模型全部免费用!

2024-1-25 11:07:12

!
也想出现在这里? 联系我们
广告信息
0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索

本网站服务生成的所有内容均由人工智能模型生成,其生成内容的准确性和完整性无法保证,不代表我们的态度或观点。请自行甄别内容的可靠性。