考慮到全連接網(wǎng)絡(luò)（FCN）在人工智能領(lǐng)域的基礎(chǔ)性地位，王濤首先復(fù)現(xiàn)了基于FCN的人體姿態(tài)后處理算法SmoothNet。得益于TecoPyTorch框架優(yōu)秀的接口適配，王濤僅更改了幾行代碼就將基于CUDA設(shè)備的代碼遷移到了SDAA設(shè)備上，完成了SmoothNet pipeline的復(fù)現(xiàn)。進一步，他在TecoPyTorch上開啟了混合精度訓(xùn)練，成功將模型訓(xùn)練速度提升了40%。最終，復(fù)現(xiàn)模型不僅達到了官方基準性能，更在部分指標上超越了原論文報告的結(jié)果，充分展現(xiàn)了太初AI加速卡在硬件和軟件層面的卓越計算精度。

在第二個模型的選擇上，王濤著眼于當前主導(dǎo)大語言模型領(lǐng)域的Transformer架構(gòu)，探索太初AI加速卡的廣泛適用性。他選取了基于Transformer的人體動作預(yù)測網(wǎng)絡(luò)MRT作為研究對象，通過規(guī)范化官方開源代碼，使其能夠兼容CPU、CUDA和SDAA等多種設(shè)備，為用戶提供了靈活的設(shè)備選擇空間。隨后，他深入探索了TecoPyTorch的多卡訓(xùn)練能力，通過三種不同的啟動方式實現(xiàn)多卡并行訓(xùn)練，并結(jié)合混合精度技術(shù)進一步優(yōu)化了MRT的訓(xùn)練效率。這種訓(xùn)練策略具有廣泛的適用性，能夠滿足大多數(shù)科研工作者的需求。最終，復(fù)現(xiàn)模型完全達到了官方性能標準，這充分證明了TecoPyTorch對Transformer架構(gòu)的良好支持。

在適配過程中，蘇儀修改了 cross-attention API，使其支持 OpenBA-V2 的 encoder-decoder 類型；在將文本轉(zhuǎn)換成tokens的過程中，增加了 SentencePieceTokenizer；針對optimized-ul2預(yù)訓(xùn)練任務(wù)，添加數(shù)據(jù)預(yù)處理代碼。微調(diào)過程中，他針對 optimized-ul2 預(yù)訓(xùn)練任務(wù)，添加了數(shù)據(jù)預(yù)處理代碼，并搜集處理了 1 億條中英指令數(shù)據(jù)；針對 8 機 64 卡與實際模型結(jié)構(gòu)，調(diào)整了分布式策略，修改 TP、DP、PP 參數(shù)，以獲得最優(yōu)的硬件利用率；同時，在多機多卡的訓(xùn)練過程中進行了精度排查，提升了模型的可靠性。最終，微調(diào)后的 OpenBA-V2 在 C-Eval、MMLU、CMMLU 數(shù)據(jù)集上的評測準確率分別提升了 13%、13%、12%。

蘇儀表示：

本次活動中我獲得了十分難得的多機多卡訓(xùn)練機會，在64卡上完成了自研模型的訓(xùn)練。使用 torch2.0 以上版本 + 太初開發(fā)的 torch_sdaa 后端，可以在用戶層面實現(xiàn)太初AI加速卡和友商加速卡的無縫切換。通過這次活動，還學習了分布式系統(tǒng)下的debug技巧，以及如何在分布式訓(xùn)練的場景下通過調(diào)整超參提升模型的訓(xùn)練效率，這對我以后的訓(xùn)練經(jīng)驗是非常重要。