北京2025年1月8日 /美通社/ -- 日前，國際標準性能評估組織SPEC公布了AI基準測試SPEC ML最新進展，該基準已完成面向不同AI負載下的軟硬件系統(tǒng)的性能、擴展性和模算效率三大關(guān)鍵指標構(gòu)建。其中模算效率首次納入SPEC ML基準評測，將填補大模型計算效率評測基準領(lǐng)域的研究空白。
隨著人工智能更加廣泛的應用，為AI/ML建立強大的基準測試比以往任何時候都更加重要。SPEC ML基準委員會主席Arthur Kang表示，統(tǒng)一的基準評測方法不僅有助于簡化模型比較，還將為注重效率、準確性和可持續(xù)性的創(chuàng)新鋪平道路。目前AMD、英特爾、NVIDIA、浪潮信息、NetApp和Red Hat等科技企業(yè)正在共同參與開發(fā) SPEC ML基準測試，SPEC呼吁更多伙伴參與到項目中，通過產(chǎn)業(yè)上下游的合作，為大模型的開發(fā)應用樹立新的性能評估標桿，為AI技術(shù)的高效、綠色、可持續(xù)發(fā)展注入新動力，共創(chuàng)更加繁榮與可持續(xù)的AI新時代。
近年來，隨著預訓練模型的快速發(fā)展，人工智能領(lǐng)域迎來了顯著的技術(shù)進步。這些模型通過大規(guī)模數(shù)據(jù)集的預訓練，并結(jié)合微調(diào)技術(shù)來適應不同任務，在自然語言處理和計算機視覺等多個領(lǐng)域取得了顯著成效。然而，隨著模型結(jié)構(gòu)和參數(shù)量的日益復雜，其在不同軟件框架和硬件平臺上的表現(xiàn)存在差異，如何全面、公正地比較模型、算力系統(tǒng)的綜合性能變得愈加困難。為了在不增加大規(guī)模計算資源投入的情況下提升模型的準確性和效率，建立統(tǒng)一的基準測試體系已成為AI領(lǐng)域的迫切需求，這不僅可以幫助開發(fā)者選擇最適合的技術(shù)方案，還能為優(yōu)化計算資源利用、降低碳排放提供科學的參考依據(jù)。
但當前業(yè)界在模型、框架和硬件協(xié)同效能評估方面存在顯著空白，缺乏統(tǒng)一的評估基準，評估過程難以量化，導致開發(fā)者難以做出最優(yōu)的技術(shù)選擇。尤其是在大型模型的訓練和推理過程中，計算資源和能源的消耗成為行業(yè)面臨的重要挑戰(zhàn)。如何在滿足性能需求的同時優(yōu)化計算資源的利用，降低能源消耗，是當前研究和應用的關(guān)鍵所在。為此，SPEC ML首次提出將模算效率納入基準評測，模型本身精度越高、在對應軟件上對硬件性能利用率越高、推理及訓練所需算力越小，模算效率越高。模算效率的評價對象涵蓋了AI大模型、運行框架和硬件算力平臺的一整套軟硬件系統(tǒng)。
模算效率的首次提出，將增強不同預訓練模型、軟件框架和硬件系統(tǒng)之間的可比性，促進模型與硬件的協(xié)同優(yōu)化，推動AI計算系統(tǒng)的能效提升和技術(shù)創(chuàng)新：
