神碁智慧·算領(lǐng)未來 | 太初2024優(yōu)秀開發(fā)者故事
2024年,太初舉辦了多場精彩紛呈的開發(fā)者生態(tài)活動,例如:元碁智匯·定義未來-模型復(fù)現(xiàn)賽、SDAA C算子挑戰(zhàn)賽、開放原子大賽-Tecorigin挑戰(zhàn)賽等,吸引了數(shù)百位開發(fā)者參加。伴隨著SDAA生態(tài)的孕育,開發(fā)者們在各個活動中大放異彩。

張棟旭表示:
通過參加本場賽事,在高性能計算方面的知識得到了顯著積累,加深了對算子性能優(yōu)化方法的理解與應(yīng)用。將復(fù)雜問題中的前處理與計算任務(wù)有效分離,這不僅提高了代碼的執(zhí)行效率,還使得代碼結(jié)構(gòu)更加清晰,易于維護和擴展。比賽所提供的教程詳盡且易于上手。這些教程不僅系統(tǒng)地介紹了SDAA C的基本概念,還通過實例引導(dǎo)我快速實踐,極大地降低了學習門檻,使我在短時間內(nèi)能掌握核心知識。感謝大賽官方提供的機會,也感謝團隊的努力與支持。
考慮到全連接網(wǎng)絡(luò)(FCN)在人工智能領(lǐng)域的基礎(chǔ)性地位,王濤首先復(fù)現(xiàn)了基于FCN的人體姿態(tài)后處理算法SmoothNet。得益于TecoPyTorch框架優(yōu)秀的接口適配,王濤僅更改了幾行代碼就將基于CUDA設(shè)備的代碼遷移到了SDAA設(shè)備上,完成了SmoothNet pipeline的復(fù)現(xiàn)。進一步,他在TecoPyTorch上開啟了混合精度訓(xùn)練,成功將模型訓(xùn)練速度提升了40%。最終,復(fù)現(xiàn)模型不僅達到了官方基準性能,更在部分指標上超越了原論文報告的結(jié)果,充分展現(xiàn)了太初AI加速卡在硬件和軟件層面的卓越計算精度。
在第二個模型的選擇上,王濤著眼于當前主導(dǎo)大語言模型領(lǐng)域的Transformer架構(gòu),探索太初AI加速卡的廣泛適用性。他選取了基于Transformer的人體動作預(yù)測網(wǎng)絡(luò)MRT作為研究對象,通過規(guī)范化官方開源代碼,使其能夠兼容CPU、CUDA和SDAA等多種設(shè)備,為用戶提供了靈活的設(shè)備選擇空間。隨后,他深入探索了TecoPyTorch的多卡訓(xùn)練能力,通過三種不同的啟動方式實現(xiàn)多卡并行訓(xùn)練,并結(jié)合混合精度技術(shù)進一步優(yōu)化了MRT的訓(xùn)練效率。這種訓(xùn)練策略具有廣泛的適用性,能夠滿足大多數(shù)科研工作者的需求。最終,復(fù)現(xiàn)模型完全達到了官方性能標準,這充分證明了TecoPyTorch對Transformer架構(gòu)的良好支持。

王濤表示:
回顧整個參賽歷程,我不僅深化了對混合精度訓(xùn)練和多卡并行技術(shù)的理解,更在評委們嚴謹?shù)脑u審標準下提升了代碼接口規(guī)范化的意識。太初軟件生態(tài)的卓越適配性給我留下了深刻印象:僅需一條簡單命令即可完成模型設(shè)備的遷移,極大降低了科研人員的遷移成本。TecoPyTorch提供的教程文檔內(nèi)容豐富、易于理解,顯著降低了學習曲線。特別值得一提的是,太初AI加速卡在顯著提升訓(xùn)練速度的同時,其超低功耗特性也為降低訓(xùn)練過程中的碳排放做出了重要貢獻。我十分期待在未來的科研工作中繼續(xù)使用太初AI加速卡,為推動AI技術(shù)的發(fā)展貢獻自己的力量。


蘇儀表示:
本次活動中我獲得了十分難得的多機多卡訓(xùn)練機會,在64卡上完成了自研模型的訓(xùn)練。使用 torch2.0 以上版本 + 太初開發(fā)的 torch_sdaa 后端,可以在用戶層面實現(xiàn)太初AI加速卡和友商加速卡的無縫切換。通過這次活動,還學習了分布式系統(tǒng)下的debug技巧,以及如何在分布式訓(xùn)練的場景下通過調(diào)整超參提升模型的訓(xùn)練效率,這對我以后的訓(xùn)練經(jīng)驗是非常重要。

總結(jié)與展望
