97人人爽|97碰在线视频|三年片在线|中文字幕一区二区三区三区四区

?
當前位置：首頁 / 新聞資訊 / 應用頻道 / 無線通信

Intel首批通過我國AISBench大模型性能測試 5代至強可達每秒2493 token

發布日期：2024-09-06     406 次

9月5日消息，近日，第五代英特爾至強處理器，以優秀的表現通過了中國電子技術標準化研究院組織的人工智能服務器系統性能測試（AISBench）。

借此，英特爾也成為首批通過AISBench大語言模型（LLM）推理性能測試的企業。

1.jpg

在AISBench 2.0測試工具的評估下，第五代英特爾至強處理器在ChatGLM V2-6B（60億參數）和Llama2-13B（130億參數）兩個模型上均展現了卓越的性能，能夠滿足輕量級大語言模型的實時推理要求。

測試結果顯示，在60億參數的ChatGLM V2模型通用推理中，當輸入輸出序列為256時，處理器可達每秒2493 token的性能；當輸入輸出序列為2048時，性能為每秒926 token。

在130億參數的Llama2模型通用推理中，當輸入輸出為256時，性能為每秒513 token；當輸入輸出序列為2048時，性能為每秒132 token。

2.jpg

AISBench 2.0的測試結果，驗證了英特爾至強在運行輕量級大語言模型時展現出的優異推理性能。

也使得客戶可以通過基于至強的服務器，構建一個通用AI系統進行數據預處理、模型推理和部署，從而獲得兼具AI性能、效率、準確性和可擴展性的組合。

同時還彰顯了英特爾至強可以為企業提供“開箱即用”的功能，即可以在通用系統上部署一部分AI工作負載，從而為客戶帶來更佳的總體擁有成本（TCO）優勢。


上一篇: 我國自研新一代近距離無線連接技術：星閃即將出海 落地日本
下一篇: 中興通訊表示已啟動6G關鍵技術研究,有望延續5G技術優勢

為您精選

最新文章

尋找更多銷售、技術和解決方案的信息？

?
關于綠測

廣州綠測電子科技有限公司（簡稱：綠測科技）成立于2015年11月，是一家專注于耕耘測試與測量行業的技術開發公司。綠測科技以“工程師的測試管家”的理念向廣大客戶提供專業的管家服務。綠測科技的研發部及工廠設立于廣州番禺區，隨著公司業務的發展，先后在廣西南寧、深圳、廣州南沙、香港等地設立了機構。綠測科技經過深耕測試與測量領域多年，組建了一支經驗豐富的團隊，可為廣大客戶提供品質過硬的產品及測試技術服務等支持。

綠測工場服務號
綠測工場服務號
綠測科技訂閱號
綠測科技訂閱號
020-2204 2442
Copyright @ 2015-2024 廣州綠測電子科技有限公司 版權所有 E-mail：Sales@greentest.com.cn 粵ICP備18033302號