中文大语言模型应用AI训练营

30课时专业课程 | 实战能力认证

AI训练营

课程概览

开始学习
通过专业技术考核,颁发"中文大语言模型开发应用证书"

本训练营专注于中文大语言模型在实际应用中的开发与部署,涵盖语音合成、方言处理、模型训练等核心技术。通过8大项目实战,学员将掌握从数据采集到模型部署的全流程技能。本训练营专注于中文大语言模型在实际应用中的开发与部署,涵盖语音合成、方言处理、模型训练等核心技术。通过8大项目实战,学员将掌握从数据采集到模型部署的全流程技能。

10

总课时

4

项目实战

8

核心考核

18

学习时长(小时)

学习目标

掌握语音合成技术的发展历程和主流框架
具备方言语音数据采集、标注和处理的实操能力
能够训练和优化语音分类器与识别模型
掌握大语言模型在方言处理中的应用技术
具备完整的AI项目开发与部署能力

课程特色

实战驱动

8大项目实战贯穿全程,从数据采集到模型部署,全面提升实操能力。

方言专注

专注于中文方言处理技术,解决稀缺语种和方言的AI应用难题。

专业认证

通过考核获得"中文大语言模型开发应用证书",证明专业能力。

工具完备

提供完整的工具链和实验环境,确保学习过程顺畅高效。

考核汇总

核心考核项目
009:体验合成系统效果
方言或情感风格相关合成体验

要求: 以下题目可以任选一个。 1. 方言合成体验:整体效果感觉如何?对于某方言特殊的地道的表达是否让你认可?主要的问题有哪些? 2. 情感风格体验:该合成系统是否有明确的对于不同场景、情绪风格的转换?效果如何? 3. 其它:针对你体验的一种合成系统,说说你的整体评价和问题; 4. 通过AI训练营的课程,从你自身的学习或者研究出发,有没有打算结合课程的算法框架去做的课题,或者任务,论文等; 以上任选一题,形成一份文字不限的感悟或者规划概要。

评分点: 1. 体现方言合成效果,情感风格效果,并且给出自己具体的分析,问题,90分以上; 2. 体验以上两者之一,给出具体的分析,问题,80分以上; 3. 体验任意一种效果,上传体验样例,没有较详细的分析,70分以上; 4. 其它;

100分 考核作业
002:正确配置及使用MFA
学会使用MFA自动标注

要求: ①成功运行对齐命令的cmd窗口截图 ②自动生成的5条TextGrid(不需人工标注) ③将TextGrid和截图打包上传附件。尽量使用压缩包的形式。 下堂课之前讲师会上传完整标注好的TextGrid,请提前下载

评分点: 1. 可熟练配置MFA,及使用MFA进行自动标注,完整上传要求的格式,为90分以上; 2. 仅可配置MFA,没有提交标注作业,为70分以上; 3. 没有正确的完成作业,为60分左右;

100分 考核作业
003:Praat脚本及Python脚本练习
Praat脚本提取上节课5句的时长基频及Python脚本练习

要求: 1. 使用第三课课程材料里的“提取时长和基频“提取上节课(第二课)的作业的5句话里的时长和基频,提交生成的结果文件;(.txt), 运行脚本时候的界面截图上传; 2. 基于上面的结果,在VS code环境里运行一个Python脚本, 将上面结果里的时长这一列,保存为一个新的文本;上传脚本程序和结果文件;上传在vs code运行的截图;

评分点: 1. 完成以上所有任务,结果无误, 90分以上; 2. 完成其中一个,结果无误,80分以上; 3. 完成其中一个,部分结果有问题,70分以上; 4. 未能完成, 60分左右;

100分 考核作业
004:训练元音分类器并分析结果
第4课作业

要求: 1. 可直接使用课程使用的训练语料,鼓励自备语料,可仿照课程训练语料的形式;<br> 2. 要求使用课程提供的数据准备脚本,训练脚本完成训练过程,也鼓励自己通过其它方式使用自己的脚本完成训练,注意有目的的选择2个或者以上的元音作为目标分类,训练数据上传;<br> 3. 使用vs code环境,将训练中迭代过程,及最终正确率的部分截图上传;<br> 4. 模型目录压缩上传,课程网站会选择部分同学模型展示;<br> 5. 请对模型预测的结果适当分析,是否观察出哪些原因造成分类错误;<br>

评分点: 1. 有完整的训练数据上传的文件,训练过程的截图,模型文件上传的压缩包,适当的对结果的分析,90分以上;<br> 2. 能完成训练过程,未能完整的上传所有文件者, 85分以上;<br> 3. 只能有部分文件上传,未能完成整个训练过程,70分以上;<br> 4. 未能完成作业,60分左右;<br>

100分 考核作业
005:LSTM训练过程及推理实验
第5课作业

要求: 1. 完成使用课程数据中的中文数据4万条数据训练的过程,训练过程变化的情况截图上传; 2. 使用推理脚本test_lstm_v0.py, 务必使用自己的数据,可录音,可找网上的普通话语音,手工或者脚本的方式提取对应特征,将预测推理出来的结果截图上传;

评分点:

100分 考核作业
006:基于wav2vec的IPA识别训练
第六课作业2

要求: 1. 利用课程提供的数据、模型、脚本,能够走到训练进行的时候,截图训练开始epoch变化的图片提交; 2. 利用课程提供的闽南语IPA识别模型10000, 自己找一句闽南语音频(16K采样率), 推理识别出IPA符号,查看分析结果;

评分点: 1. 利用课程提供的数据、模型、脚本,能够走到训练进行的时候,截图训练开始epoch变化的图片提交; 2. 利用课程提供的闽南语IPA识别模型10000, 自己找一句闽南语音频(16K采样率), 推理识别出IPA符号,查看分析结果;

100分 考核作业
008:wav2vec的方言口音识别训练及推理
第八课作业

要求: 1. 根据课上演示,将准备数据,数据运行过程截图,训练开始的截图(没有机器条件,不用训练完成),推理的过程(建议自己寻找测试句, 采样率16000)截图; 2. 尽量自己找到至少一种方言的语音,按课上的流程增加到当前的训练数据中,提交训练,如果有条件可以观察训练中eval准确率的变化,截图;

评分点: 全部完成,90分以上; 至少完成一项,80分以上; 其它。

100分 考核作业
009:以GPT-SoVITS框架学习如何训练TTS模型
第9课作业

要求: 下载代码,预训练模型,或者整合包,安装好虚拟环境, 实现webui的启动,可以用课堂提供的这段明星访谈语料,推荐使用自己准备的其它风格的语料,但是尽量选择粤语。 完成课堂演示的 1. 数据切分 2. 语音识别 3. 在线标注(也可线下),但是务必保证数据干净,文字校对标准。 4. 提交训练 5. 推理的时候可自由发挥,比如base和你训练的效果区别,合成其它语种的情况等;可具体分析是否有哪些明显的缺陷等。 要求有过程的一些截图,和最后合成的分析。

评分点: 1. 有过程截图; 2. 一定要有合成结果的分析;

100分 考核作业
考核说明: 总分800分,获得536分(约67%)即可获得"中文大语言模型开发应用证书"

适合人群

AI初学者

对人工智能和语音技术感兴趣的学生和研究者

方言文化爱好者

希望用AI技术记录、保护和传承家乡方言的文化工作者和爱好者

语言研究者

从事方言保护和语言技术研究的人员