国产成人亚洲综合无码99,《大胸护士》在线观看无码,久久精品国产亚洲AV麻豆小说,国产精品G乳久久久9999,久久频这里精品99香蕉

請輸入關(guān)鍵字
搜索

太初資訊

跨越技術(shù)壁壘,打破固有模式,用智慧重新鏈接關(guān)系。

神碁智慧·算領(lǐng)未來 | 太初2024優(yōu)秀開發(fā)者故事

2024年,太初舉辦了多場精彩紛呈的開發(fā)者生態(tài)活動,例如:元碁智匯·定義未來-模型復(fù)現(xiàn)賽、SDAA C算子挑戰(zhàn)賽、開放原子大賽-Tecorigin挑戰(zhàn)賽等,吸引了數(shù)百位開發(fā)者參加。伴隨著SDAA生態(tài)的孕育,開發(fā)者們在各個活動中大放異彩。

西安交通大學張棟旭:
優(yōu)化算子性能,提升計算效率
張棟旭同學是西安交通大學軟件工程專業(yè)的在讀研究生,曾獲得計算機能力挑戰(zhàn)賽C++組國家二等獎,以及計算機網(wǎng)絡(luò)對戰(zhàn)賽西北賽區(qū)一等獎,并發(fā)表了三篇學術(shù)論文。2024年Q4,他與香港中文大學和北京師范大學的兩名隊友一起,在開放原子大賽-Tecorigin算子開發(fā)任務(wù)挑戰(zhàn)賽中,榮獲一等獎。
在比賽中,張棟旭基于太初 AI 加速卡,對 Conv_forward 這一 CNN 卷積前向傳播的關(guān)鍵操作進行了深度優(yōu)化。他通過將預(yù)處理邏輯從設(shè)備端轉(zhuǎn)移到 CPU 端,避免了設(shè)備端計算資源的浪費;手動調(diào)整初始分塊參數(shù),實現(xiàn)了線程負載的均衡,有效減少了性能瓶頸;同時運用 SIMD 加速,替換了原有的數(shù)據(jù)寫回方式,大幅降低了開銷。經(jīng)過一系列優(yōu)化,性能得到了顯著提升,從優(yōu)化前的 18.25 ms降低至優(yōu)化后的 8.41 ms,充分展現(xiàn)了太初AI加速卡在性能優(yōu)化方面的強大潛力。

張棟旭表示:

通過參加本場賽事,在高性能計算方面的知識得到了顯著積累,加深了對算子性能優(yōu)化方法的理解與應(yīng)用。將復(fù)雜問題中的前處理與計算任務(wù)有效分離,這不僅提高了代碼的執(zhí)行效率,還使得代碼結(jié)構(gòu)更加清晰,易于維護和擴展。比賽所提供的教程詳盡且易于上手。這些教程不僅系統(tǒng)地介紹了SDAA C的基本概念,還通過實例引導(dǎo)我快速實踐,極大地降低了學習門檻,使我在短時間內(nèi)能掌握核心知識。感謝大賽官方提供的機會,也感謝團隊的努力與支持。


北京郵電大學王濤:
復(fù)現(xiàn)開源視覺模型,超越官方指標
王濤同學是北京郵電大學電子科學與技術(shù)專業(yè)的在讀博士,研究方向涵蓋人體姿態(tài)估計、后處理和生成等領(lǐng)域,曾以第一作者身份在 AI 頂會 ACM MM、CVPR 上發(fā)表兩篇論文。2024年Q2,王濤參加了太初的小模型復(fù)現(xiàn)比賽,基于太初AI加速卡對開源模型進行適配優(yōu)化,獲得了元碁開物初級認證。

考慮到全連接網(wǎng)絡(luò)(FCN)在人工智能領(lǐng)域的基礎(chǔ)性地位,王濤首先復(fù)現(xiàn)了基于FCN的人體姿態(tài)后處理算法SmoothNet。得益于TecoPyTorch框架優(yōu)秀的接口適配,王濤僅更改了幾行代碼就將基于CUDA設(shè)備的代碼遷移到了SDAA設(shè)備上,完成了SmoothNet pipeline的復(fù)現(xiàn)。進一步,他在TecoPyTorch上開啟了混合精度訓(xùn)練,成功將模型訓(xùn)練速度提升了40%。最終,復(fù)現(xiàn)模型不僅達到了官方基準性能,更在部分指標上超越了原論文報告的結(jié)果,充分展現(xiàn)了太初AI加速卡在硬件和軟件層面的卓越計算精度。

在第二個模型的選擇上,王濤著眼于當前主導(dǎo)大語言模型領(lǐng)域的Transformer架構(gòu),探索太初AI加速卡的廣泛適用性。他選取了基于Transformer的人體動作預(yù)測網(wǎng)絡(luò)MRT作為研究對象,通過規(guī)范化官方開源代碼,使其能夠兼容CPU、CUDA和SDAA等多種設(shè)備,為用戶提供了靈活的設(shè)備選擇空間。隨后,他深入探索了TecoPyTorch的多卡訓(xùn)練能力,通過三種不同的啟動方式實現(xiàn)多卡并行訓(xùn)練,并結(jié)合混合精度技術(shù)進一步優(yōu)化了MRT的訓(xùn)練效率。這種訓(xùn)練策略具有廣泛的適用性,能夠滿足大多數(shù)科研工作者的需求。最終,復(fù)現(xiàn)模型完全達到了官方性能標準,這充分證明了TecoPyTorch對Transformer架構(gòu)的良好支持。

王濤表示:

回顧整個參賽歷程,我不僅深化了對混合精度訓(xùn)練和多卡并行技術(shù)的理解,更在評委們嚴謹?shù)脑u審標準下提升了代碼接口規(guī)范化的意識。太初軟件生態(tài)的卓越適配性給我留下了深刻印象:僅需一條簡單命令即可完成模型設(shè)備的遷移,極大降低了科研人員的遷移成本。TecoPyTorch提供的教程文檔內(nèi)容豐富、易于理解,顯著降低了學習曲線。特別值得一提的是,太初AI加速卡在顯著提升訓(xùn)練速度的同時,其超低功耗特性也為降低訓(xùn)練過程中的碳排放做出了重要貢獻。我十分期待在未來的科研工作中繼續(xù)使用太初AI加速卡,為推動AI技術(shù)的發(fā)展貢獻自己的力量。


蘇州大學蘇儀:
適配自研大模型,拓展應(yīng)用邊界
蘇儀是蘇州大學計算機科學與技術(shù)專業(yè)的在讀研究生,主要研究方向為大語言模型的預(yù)訓(xùn)練和推理加速。他曾以第一/共一作者身份在頂會 ACL、EMNLP 上發(fā)表了三篇論文。蘇儀基于太初 AI 加速卡,對蘇大自研的大語言模型 OpenBA-V2 進行了適配和指令微調(diào),取得了顯著成果。
在適配過程中,蘇儀修改了 cross-attention API,使其支持 OpenBA-V2 的 encoder-decoder 類型;在將文本轉(zhuǎn)換成tokens的過程中,增加了 SentencePieceTokenizer;針對optimized-ul2預(yù)訓(xùn)練任務(wù),添加數(shù)據(jù)預(yù)處理代碼。微調(diào)過程中,他針對 optimized-ul2 預(yù)訓(xùn)練任務(wù),添加了數(shù)據(jù)預(yù)處理代碼,并搜集處理了 1 億條中英指令數(shù)據(jù);針對 8 機 64 卡與實際模型結(jié)構(gòu),調(diào)整了分布式策略,修改 TP、DP、PP 參數(shù),以獲得最優(yōu)的硬件利用率;同時,在多機多卡的訓(xùn)練過程中進行了精度排查,提升了模型的可靠性。最終,微調(diào)后的 OpenBA-V2 在 C-Eval、MMLU、CMMLU 數(shù)據(jù)集上的評測準確率分別提升了 13%、13%、12%。

蘇儀表示:

本次活動中我獲得了十分難得的多機多卡訓(xùn)練機會,在64卡上完成了自研模型的訓(xùn)練。使用 torch2.0 以上版本 + 太初開發(fā)的 torch_sdaa 后端,可以在用戶層面實現(xiàn)太初AI加速卡和友商加速卡的無縫切換。通過這次活動,還學習了分布式系統(tǒng)下的debug技巧,以及如何在分布式訓(xùn)練的場景下通過調(diào)整超參提升模型的訓(xùn)練效率,這對我以后的訓(xùn)練經(jīng)驗是非常重要。

總結(jié)與展望

2024年,太初生態(tài)活動不僅為開發(fā)者提供了強大的算力和易用的軟件,還通過豐富的教程和文檔,幫助開發(fā)者快速上手,輕松完成模型運行、應(yīng)用開發(fā)/運行、模型遷移、算子開發(fā)、自研模型開發(fā)等任務(wù)。
通過參加太初生態(tài)活動,開發(fā)者們不僅提升了自身的技術(shù)水平,還加深了對算子優(yōu)化、混合精度訓(xùn)練、多機多卡訓(xùn)練、分布式系統(tǒng)調(diào)試等方面的理解。開發(fā)者們對太初AI加速卡強大的計算能力及軟件優(yōu)秀的適配性給予了高度評價。
展望未來,我們將為開發(fā)者提供更多精彩的生態(tài)活動,希望更多的開發(fā)者能夠加入到這一充滿活力的社區(qū)中,共同探索 AI 技術(shù)的無限可能,為構(gòu)建未來智能世界貢獻自己的力量。