闪豚项目更新记录

【优化】
1、优化生成框架；
2、优化生成内容输出效果，解决内容尾部内容有几率不完整问题。

【优化】
1、优化生成框架；
2、优化生成内容输出效果，解决内容尾部内容有几率不完整问题。

【优化】
1、优化生成框架；
2、优化生成内容输出效果；
【修复】
1、修复双标题功能字数超限问题；
2、修复图文生成功能图片URL失效问题；

【优化】
1、优化生成框架；
2、优化生成内容输出效果；
【修复】
1、修复双标题功能字数超限问题；
2、修复图文生成功能图片URL失效问题；

【优化】
优化生成框架模块代码逻辑。

【优化】
优化生成框架模块代码逻辑。

【新增】
新增生成去除通用AI特征词，可自行添加更多AI特征词，在软件根目录aiword.txt中添加。
【优化】
1、优化生成框架逻辑。
2、调整副标题字数读取从3个中文汉字增加到5个中文汉字。
3、优化生成文件保存特殊字符的替换。

【新增】
新增生成去除通用AI特征词，可自行添加更多AI特征词，在软件根目录aiword.txt中添加。
【优化】
1、优化模型词表。
2、优化生成框架逻辑。
3、调整副标题字数读取从3个中文汉字增加到5个中文汉字。
4、优化生成文件保存特殊字符的替换。

发布英文版Pro产品

【新增】

新增生成系统生成时自动过滤网址、手机号码和电话号码内容。

【优化】

1、优化生成框架。

2、优化底层代码。

3、底层代码兼容API-Server框架。

4、优化数据处理模块。

5、优化训练模块。

6、生成模块兼容英文版模型生成。

【新增】

新增生成系统生成时自动过滤网址、手机号码和电话号码内容。

【优化】

1、优化生成框架。

2、优化底层代码。

3、底层代码兼容API-Server框架

4、生成模块兼容英文版模型生成。

【优化】

1、优化生成长文本逻辑，能更好的保存完整的结果内容。

2、优化底层框架。

【优化】

1、优化生成长文本逻辑，能更好的保存完整的结果内容。

2、优化底层框架。

【修复】修复缩放界面时可能导致软件崩溃问题。

【优化】优化软件系统底层框架。

【修复】修复缩放界面时可能导致软件崩溃问题。

【优化】优化软件系统底层框架。

【优化】

优化了界面用户信息窗口的UI

【调整】

调整了生成字数不足的文件名，去除TXT文件名带“-字数不足”的后缀

【优化】

优化了界面用户信息窗口的UI

【调整】

调整了生成字数不足的文件名，去除TXT文件名带“-字数不足”的后缀

【更新】

更新了Small预训练模型词表权重

【新增】

新增了生成推理时间计算。

【修复】

修复训练日志中Epoch值不变问题。

【优化】

优化训练模型结构。

【新增】

新增了生成推理时间计算。

【优化】

1、训练结束提示。
2、优化了模型保存算法，采用更可靠的方法保存模型，减少出现当模型保存时候占用电脑资源导致GPU爆显存不足导致训练出错问题。

【修复】修复继续训练中，可能不同版本的模型，有极少情况终止不动，假死状态。

【修复】

1、修复图文生成功能崩溃问题。

2、修复训练某些设备条件下导致信号传输出错问题。

3、修复训练日志中Epoch数值与global_step不匹配问题。

【新增】

新增生成功能中，当生成标题中含有问号、感叹号时，也判定为双标题内容，程序也会以主标题和副标题生成两篇内容聚合合并。

【修复】

修复图文生成功能崩溃问题

【新增】

新增生成功能中，当生成标题中含有问号、感叹号时，也判定为双标题内容，程序也会以主标题和副标题生成两篇内容聚合合并。

1、优化程序代码结构。

2、优化程序应用图标。

1、取消中断续训Loss并接算法，恢复默认计算算法。

2、应用图标优化。

3、优化代码结构，精简训练算法逻辑。

1、优化生成逻辑。

2、优化生成保存逻辑，当有字数不够的内容保存，会在保存目录新建“字数不够”的专用文件夹存储字数不够的TXT。

3、重构了各界面参数输入记忆功能，现在支持各界面参数记忆。

1、优化生成逻辑。

2、优化生成保存逻辑，当有字数不够的内容保存，会在保存目录新建“字数不够”的专用文件夹存储字数不够的TXT。

3、重构了各界面参数输入记忆功能，现在支持各界面参数记忆。

1、优化训练结构。

2、优化训练max len参数。

3、新增24Gb显存自动识别small模型和标准模型进行训练。

4、优化训练报错提醒。

1、新增违禁词过滤功能。（违禁词或者需要过滤的关键词等内容，请自行前往软件根目录下，找到pword.txt文档进行增加替换，默认自带过滤政治类违禁词）

2、优化已知问题。

3、优化继续训练功能逻辑。

1、新增违禁词过滤功能。（违禁词或者需要过滤的关键词等内容，请自行前往软件根目录下，找到pword.txt文档进行增加替换，默认自带过滤政治类违禁词）

2、优化已知问题。

优化批量生成中多窗口提醒

优化批量生成中多窗口提醒

优化模型训练中最后一轮模型保存算法

1、优化训练线程的算法以及训练提醒。
2、优化最后一轮的模型保存逻辑。

1、新增训练模型硬盘存储空间检测，增加了配置文件，可自定义存储空间大小，当达到设置的阈值，保存新模型的时候，删除最先保存的模型文件。（阈值配置文件在软件根目录下yingpan.ini）
2、优化中断续写模型加载问题，从最新的调整到加载最新保存的前面一个模型。
3、优化了训练显示，现在显示整个训练步数，而不是单个epoch步数。
4、优化训练过程中，训练数据有问题，报出错误提示并继续训练。

1、取消验证绑定硬盘、内存特征码。

2、恢复批量生成模型提前加载导致的软件某些情况下卡死问题。

1、取消验证绑定硬盘、内存特征码。

2、恢复批量生成模型提前加载导致的软件某些情况下卡死问题。

1、优化生成报错逻辑。

2、新增软件多开限制。（可同时开启5个应用）

1、优化生成报错逻辑。

2、新增软件多开限制。（可同时开启5个应用）

1、优化生成模块，新增生成窗口配置提醒。

2、新增生成异常报错信息打印。

1、优化训练模块，新增训练按钮防误点提示。

2、优化生成模块，新增生成窗口配置提醒。

3、新增训练异常报错信息打印。

4、新增生成异常报错信息打印。

1、去除网络检测功能算法。

1、优化模型训练中断后继续训练的算法。

2、去除网络检测功能算法。

3、优化训练日志记录，新增模型检索记录。

4、优化训练界面日志文本框滑动组件。

5、新增训练参数记忆功能。

优化生成逻辑，新增标题过长自动截断（200字符）

优化了训练显存占用缓存清除。

优化生成逻辑，新增标题过长自动截断（200字符）

1、优化网络验证

2、优化框架冗余代码

1、优化网络验证

2、优化模型训练中断继续算法（当模型训练中断后，仅需保留完整上一个完整的步伐模型，均可接着训练）

3、优化框架冗余代码

4、开放高可用训练算法

1、优化文章生成逻辑。

2、修复软件正常关闭后导致无法启动的问题。

1、优化文章生成逻辑。

2、修复软件正常关闭后导致无法启动的问题。

1、新增副标题聚合生成功能。（当数据表中有副标题，闪豚速写自动识别将副标题也加入推理，最终的结果包含主标题和副标题内容）

2、新增最终结果标题带<h2>标签。

3、优化算法逻辑。

1、新增副标题聚合生成功能。（当数据表中有副标题，闪豚速写自动识别将副标题也加入推理，最终的结果包含主标题和副标题内容）

2、新增最终结果标题带<h2>标签。

3、优化算法逻辑。

1、新增训练Small模型，现在6Gb显存就可以训练私有模型了！

2、优化模型预载。

3、优化训练逻辑。

1、优化了网络提示，取消了网络问题导致程序关闭功能。
2、优化了网络验证状态。
3、优化了账号在线问题。

1、优化了网络提示，取消了网络问题导致程序关闭功能。
2、优化了数据处理。
3、优化了网络验证状态。

4、优化了账号在线问题。

紧急修复了生成闪退的问题

紧急修复了生成闪退的问题

1.优化Banner轮播图网络加载问题。

2.优化网络检测，去除原本当网络环境异常直接退出程序，改成，当网络环境异常，程序可继续运行，但6小时内网络未恢复正常，则会启动自动关闭程序。

3.优化网络环境提示，当网络异常，新增网络异常提醒，新增网络恢复提醒。

4.优化版本更新逻辑。

5.优化其他功能线程逻辑。

1.Bate版本：优化模型中断训练：优化中断训练逻辑，现在中断训练会根据步伐模型进行继续训练，而不是每轮模型进行继续训练。会取最新的已保存的步伐模型进行加载训练。（Bate版指测试版，并不是可靠，有问题请及时反馈。）

2.优化Banner轮播图网络加载问题。

3.优化网络检测，去除原本当网络环境异常直接退出程序，改成，当网络环境异常，程序可继续运行，但6小时内网络未恢复正常，则会启动自动关闭程序。

4.优化网络环境提示，当网络异常，新增网络异常提醒，新增网络恢复提醒。

5.优化版本更新逻辑。

6.优化其他功能线程逻辑。

1.优化更新提示。

1.新增数据处理标题长度截断，当标题长度过长时，训练会导致显存异常，限制标题长度200字节，超过则自动截断。

2.优化更新提示。

1.增加了单篇推理生成中，标题含有特殊符号引起的系统闪退问题检测和提醒。

4.增加了更新提醒。

5.修复了已知BUG。

1.恢复训练显存占用问题，在确保安全稳定的条件下，进行更有效的训练，我们还是恢复了占用更大的GPU算力去提升训练速度的方法。1.3版本将以更平均的显存占用来完成模型的训练，但是该方法会延长一定的训练时间。

2.新增数据处理功能中，prompt标题含有windows无法识别的特殊符号，本次增加了过滤处理。

3.增加了单篇推理生成中，标题含有特殊符号引起的系统闪退问题检测和提醒。

4.增加了更新提醒。

5.修复了已知BUG。

请所有正在使用的用户，尽量更新至1.2。
1.本次修复致命问题，由于数据预处理有致命逻辑错误，部分数据混乱，导致训练步骤中，模型加载该部分数据致使显存暴涨，从而引发显存严重不足，系统闪退。本次我们修复该问题。
需要重新数据预处理成新的JSON文件再训练。

2.我们发现，我们优化了显存后，导致频繁清除显存空间，引发降低训练效率，我们再次优化了它，使显存利用更合理，GPU占用率基本在95%以上。使得训练速度提升10%左右性能。

优化性能

1. 优化若干BUG，现在基本稳定使用。
2. 新增路径选择记忆。
3. 优化更新模块。
4. 优化运行速度。

1. 优化若干BUG，现在基本稳定使用。
2. 优化训练显存释放。（Bate）
3. 优化数据处理功能，新增HTML标签过滤，空格过滤，多线程批量处理，增加异常过滤，异常提醒。
4. 新增路径选择记忆。
5. 优化更新模块，之后更新使用在线热更新，不用重新下载安装整个安装包了。
6. 优化运行速度。

闪豚速写Pro修复了训练I/O线程问题

我们临时更新了下安装包，解决了一些问题。
1.单篇推理功能随主程序运行被强行占用资源问题，某些设备因为I/o不足的原因，导致主程序容易无响应假死状态。我们这次给优化了该功能代码，现在不会影响主程序了。
2.优化了数据处理功能，现在可直接选择主目录进行处理，程序会遍历主目录下所有的子文件夹内的Txt文档加入数据处理了。同时优化了当数据有问题，会记录到日志内，方便排查。
我们还增加了阶段性数据处理功能，每处理5万条数据会临时保存一份json文件，当全部处理完成会自动删除它。以防意外中断，导致您们的大数据白浪费时间处理了。
3.优化了主程序各线程问题，现在速度会更快些。
4.优化了其他已知小bug。

请各位重新下载安装包，卸载原有的程序，重新安装即可。

由于本次修复不大，使用人员不是特别多，我们本次没启用增量更新以及更新版本号，所以需要已经在使用的用户们，重新下载安装包安装体验。

后续有使用问题，欢迎反馈。

产品全新升级发布新版

产品全新升级

1. 修复某些已知小错误。
2. 优化生成模块
3. 优化推理预测机制
4. 加入生成结果新提示
5. 调整部分框架为V4双模型接入做准备
6. 版权部分更新成【闪豚AI】

V3-221110-修复某些情况下导致训练日志Acc不准确问题

发布新版文章带图生成功能，具体功能参考以下列表：

1、新版带图单篇生成。

2、新版带图批量生成功能。

3、新版带图聚合生成功能。

4、新版带图双标题生成功能。

一、优化生成模块

1.优化生成模块的文章生成失败重复限制，现在可以自定义重复多少次。

2.优化生成文章过程中，遇到windows无法保存的特殊符号，导致生成的文章不能保存的问题。

二、优化训练模块

优化训练模型的学习率，使模型训练学习率提升更准确。

三、优化自动化提取工具

优化自动化提取标题和起始句功能支持加载二级目录提取。

优化生成功能模块

优化系统操作体验【推荐升级】

文章聚合批量生成（加H3标签）-V3模块

1.优化标签提取准确性。

2.优化聚合生成第二篇文章生成的准确性。
3.优化加载UTF-8数据表报错编码不对问题。加入修正开关。如读取CSV表格数据生成报UTF-8错误，把开关开启即可。
4.优化读取TXT数据表聚合副标题报错问题。

文章聚合批量生成-V3模块

1.优化聚合生成第二篇文章生成的准确性。
2.优化加载UTF-8数据表报错编码不对问题。加入修正开关。如读取CSV表格数据生成报UTF-8错误，把开关开启即可。
3.优化读取TXT数据表聚合副标题报错问题。

自动化提取语料标题和起始句

1.新增提示语料提取报错提醒及过滤

文章聚合生成工具包

1.优化提取读语料过滤规则，现在提取语料到txt或csv都会过滤语料中的换行，空格以及html相关乱码标签，可得到整齐标准的生成数据表。
2.区分提取工具，可自由选择提取标题是选择只提取标题的第一个逗号前面的文字，还是选择提取整个标题。已区分【逗号版】，【完整版】。

优化【文章聚合批量生成】给标题加H标签

优化文章聚合生成功能

重构批量生成模块

重构自动化提取标题和起始句工具

新增：

文章聚合生成功能

新增功能：

生成原创文章带img标签图片功能

优化：

语料预处理自动修正

语料预处理模块重构

训练模块重构

新增功能：

语料异常过滤

语料多目录加载

文章双标题生成

本功能实现Al生成原创文章时,能同时生成双标题格式保存TXT文档。
例:标题1(标题2)
标题1，标题2
可实现自由组合标题形式

批量生成自动化

本功能实现Al批量生成文章时，能自动化填写整理需要生成的文章标题和起始句，达到实现自动化大批量生成原创文章功能，避免人工自己整理标题和起始句的繁琐步骤。

训练日志可视化

训练模型过程需要分析训练日志才能知道该模型是否可以生成原创文章,该功能可以实现界面可视化对日志分析,更简单明了的分析模型是否可用。

繁体生成

本功能实现Al生成原创文章的时候输出繁体字文章，实现多元化文字需求,对于做繁体字网站作用很大。

中断续写

本功能实现当AI训练模型过程中，如遇到电脑中途断电或者其他原因导致AI训练过程中断，Al能接着中断后的训练数据继续训练模型,避免重新从头开始训练一个模型。

批量生成

本功能实现Al训练好的文章模型能自动化批量生成文章,避免每生成一篇文章都要手动输入标题和起始句。仅需要把要生成的文章标题和起始句(或关键词)保存到表格中即可实现批量生成。