實時語法檢查模型預計每年運行超過5000億次查詢

實時語法檢查模型預計每年運行超過5000億次查詢。

有人說好文章都是編輯出來的。幸運的是,為了滿足全球讀者的挑剔要求,微軟正在為數百萬人提供AI語法編輯器。

該工具如同一名優秀的編輯一樣快速而專業。這是由于微軟編輯器在Microsoft Word在線版中對語法進行了改進,可以運用NVIDIA Triton 推理服務器、ONNX 運行時和Azure AI中的微軟Azure 機器學習,來提供這種豐富的智能體驗。

10月5日,NVIDIA首席執行官黃仁勛在GTC大會上的主題演講中宣布了這一新訊。

日常工作中的AI應用

微軟為Microsoft Office生產力應用用戶提供強大的AI性能。這些節省時間的新功能包括實時語法建議、文檔內問題解答(如 “完全匹配”之外的Bing文檔搜索),以及幫助將句子填寫完整的文本預測。

唯有通過深度學習和神經網絡,才能實現這些提高生產力的功能。例如,與基于傳統規則型邏輯構建的服務不同,在糾正語法方面,Word在線編輯器可以理解句子的上下文,并提供適當的單詞選擇建議。

這些深度學習模型可能涉及數億個參數,它們必須具有可擴展性,并提供實現最佳用戶體驗所需的實時推理。預計僅用于語法檢查的微軟編輯器AI模型每年就要對Word在線處理超過5000億次查詢。

但這種規模的部署可能會大幅增加深度學習的預算。幸運的是,可通過Azure機器學習訪問的NVIDIA Triton的動態批處理和并發模型執行功能將成本降低了約70%,并且在單個NVIDIA V100 Tensor Core GPU上實現了每秒450次查詢的吞吐量,響應時間在200毫秒以內。

Azure機器學習具備管理模型生命周期所需的規模和能力,比如版本管理和監控。

在Azure 機器學習上通過Triton實現高性能推理

隨著機器學習模型規模的不斷擴大,模型訓練和部署過程對GPU的需求比以往任何時候都更加迫切。為了將AI部署到生產中,企業機構正在尋找可擴展的推理服務解決方案、對多個框架后端的支持、最佳的GPU和CPU利用率以及機器學習生命周期管理。

Azure 機器學習中的NVIDIA Triton和ONNX 運行時堆棧提供可擴展的高性能推理。Azure機器學習用戶可以利用Triton對多種框架的支持、實時、批和流推理、動態批處理以及并發執行等性能。

借助AI進行Word創作

作家和詩人Robert Graves曾說過:“沒有寫得好的文章,只有改得好的文章。”換言之,就是要對寫好的文章進行編輯和潤色。

您可以使用Word在線編輯器同時進行這兩項工作。盡管編輯器是Word中第一個通過Triton和ONNX 運行時增加速度與廣度的功能,但它僅僅是更多功能的開始。

想要了解更多有關AI計算的最新技術,解鎖GPU前沿應用,可點擊鏈接:https://www.nvidia.cn/gtc/keynote/,觀看GTC 2020秋季站主題演講上的精彩內容。