團體標準編制范圍
《云網(wǎng)協(xié)同：云端AI模型部署與更新規(guī)范要求》
本標準規(guī)定了云端AI模型部署與更新的總體架構、主要技術要求、預期目標等要求。
本標準適用于云端AI模型部署的管理、維護、部署、歸檔等規(guī)范要求。其他組織的云端AI模型部署與更新可參照執(zhí)行。
團體標準編制目的、意義或必要性
2021年5月24日，國家發(fā)展改革委員會、中央網(wǎng)信辦、工業(yè)和信息化部、國家能源局聯(lián)合印發(fā)的《全國一體化大數(shù)據(jù)中心協(xié)同創(chuàng)新體系算力樞紐實施方案》要求加速建設全國一體化算力網(wǎng)絡。此外中國政府出臺了多項政策，鼓勵人工智能行業(yè)發(fā)展與創(chuàng)新，如《關于支持建設新一代人工智能示范應用場景的通知》、《關于加快場景創(chuàng)新以人工智能高水平應用促進經(jīng)濟高質量發(fā)展的指導意見》等。基于云端的AI模型部署與更新呈現(xiàn)爆發(fā)式增長?！吨腥A人民共和國網(wǎng)絡安全法》和《中華人民共和國數(shù)據(jù)安全法》分別于2017年6月1日和2021年9月1日開始執(zhí)行，對網(wǎng)絡、信息安全提出明確要求，并明確運營者的安全義務。
隨著算力芯片技術的突破，為原有多種AI核心技術帶來新生，并帶動了人工智能技術的高速發(fā)展，各式各樣的AI能力以及影響了我們生活的方方面面。在大量AI技術的快速演進的過程中，消耗的算力資源也非常的大，算力成本也越來越高，因此越來越多的企業(yè)和組織開始將AI應用部署到云端，以便更好地服務于廣大用戶。但云端野蠻式生長會帶來一些問題：
(1)海量AI模型的部署，質量層次不齊，沒有統(tǒng)一的標準來約束云端的模型，導致用戶之間、企業(yè)之間、平臺之間的難以建立建康、互信的供需關系;(2)云端AI模型涉及到大量的用戶數(shù)據(jù)，如何保證數(shù)據(jù)安全和隱私成為至關重要的問題。制定規(guī)范可以確保AI模型在部署和更新過程中遵循嚴格的安全標準，防止數(shù)據(jù)泄露和濫用。(3)AI模型的部署和更新可能會對現(xiàn)有系統(tǒng)產生影響，甚至導致系統(tǒng)崩潰。
為解決以上難點，需要通過對云端AI模型的數(shù)據(jù)管理、模型功能和性能的度量、模型兼容性的度量、模型的版本控制標準、模型的法律和倫理要求等方面進行標準化管理，因此云端AI模型部署與更新就是為了處理這樣的問題，為AI算法工程師提供模型訓練和產出要求，實現(xiàn)對模型的質量、兼容性、效率的約束;為云平臺服務提供商提供AI模型部署與更新的管理依據(jù);為AI能力運維人員提供AI模型部署的準入條件，實現(xiàn)高質量的能力發(fā)布;通過建立AI模型基于云端的孵化到發(fā)布生產全流程的約束機制、激勵機制、和合作機制，形成基于云端的AI模型典型的部署和更新模式，帶動人工智能的安全高效發(fā)展的典型模式，帶動人工智能企業(yè)向“高質量、高安全、高效率”轉型升級，實現(xiàn)公司科技經(jīng)濟效益、社會效益、安全合規(guī)的協(xié)調優(yōu)化。
基于以上目的和意義，有必要建立云網(wǎng)協(xié)同系列標準。此系列標準第 18 部分云端AI模型部署與更新規(guī)范，包括數(shù)據(jù)管理、模型管理、模型部署、模型更新等。
團體標準主要技術內容
1、總體架構
云端AI模型部署與更新引擎通過從云端AI模型的質量、效率、安全的角度出發(fā)，嵌入孵化到生產的各個細節(jié)，對各環(huán)節(jié)之間的銜接過程、過程產物和質量參數(shù)進行分析。在孵化、部署、維護、監(jiān)控等過程嵌入監(jiān)控點，從模型、數(shù)據(jù)集、引擎等方面進行審核，在實現(xiàn)AI模型功能不受影響的前提下，提升整個鏈條的市場競爭力，實現(xiàn)高效率發(fā)展、高安全發(fā)展、高穩(wěn)定發(fā)展。
圖 1 云端AI模型部署與更新整體構成
2、主要技術要求：
(1)模型管理
模型分類，模型至少分為以下幾類：1)訓練模型：從未訓練過的模型，需要通過訓練集進行訓練。2)驗證模型：已經(jīng)訓練過的模型，但在實際部署之前，需要在驗證集上進行驗證，以評估模型的性能。3)部署模型：經(jīng)過驗證的模型，已經(jīng)被部署到生產環(huán)境，用于實際服務。
模型版本管理，每個模型都應該有一個唯一的版本，用于標識不同批次的模型。版本應至少包含以下信息：1)版本號：用于唯一標識當前模型的版本。2)發(fā)布日期：模型版本發(fā)布的日期。3)模型介紹：模型文件大小、文件格式以及模型用途和使用方式說明。4)版本描述：對當前模型的改進和變更的描述。
模型部署，模型的部署方式應根據(jù)實際業(yè)務需求和硬件環(huán)境來選擇。在模型部署前，應在進行充分的穩(wěn)定性測試和壓力測試，以確保模型在生產環(huán)境中的性能和可靠性。
模型評估，模型發(fā)布前應收集模型的運行狀態(tài)和性能數(shù)據(jù)，并能夠進行監(jiān)控和評估。模型的監(jiān)控至少包含如下指標：1)準確率：模型的正確預測率。2)召回率：模型正確預測為正樣本的樣本占實際為正樣本的樣本的比例。3)精確率：模型正確預測為正樣本的樣本占實際為正樣本的樣本的比例。4)F1 值：精確率和召回率的調和平均值，用于衡量模型在正負樣本上的平衡表現(xiàn)。5)算力需求：應評估模型應具備的基礎算力需求，以及典型應用場景的算力需求。如GPU、CPU、內存、存儲等算力使用量，以及芯片架構、型號、品牌、依賴庫等底層環(huán)境需求。
根據(jù)實時收集的監(jiān)控指標數(shù)據(jù)，應能夠對模型進行評估和持續(xù)優(yōu)化。如果評估發(fā)現(xiàn)問題應支持回滾到之前的版本。
(2)模型發(fā)布
發(fā)布的AI模型應確保與各大主流深度學習框架及云端、本地部署環(huán)境的高度兼容性，如支持TensorFlow、PyTorch 等框架，并能在國內主流云服務商的基礎設施上順利部署。模型應提供便捷的部署包或鏡像，便于用戶在不同環(huán)境上迅速部署和啟用。
算力資源標準說明：發(fā)布時，AI模型需詳細闡述其運行過程對硬件資源的需求參數(shù)，包括但不限于GPU、CPU、內存、存儲等硬件需求，以及在單一設備或多設備分布式部署時的策略。同時，附帶典型業(yè)務場景下的資源消耗參考數(shù)據(jù)，幫助使用者評估自有資源是否足以支撐模型的有效運行。
數(shù)據(jù)接口規(guī)范：模型對外提供的接口應遵循統(tǒng)一標準，如支持 RESTful API、gRPC 接口等主流通信協(xié)議，確保與外部系統(tǒng)間的數(shù)據(jù)交換便捷順暢。模型輸入數(shù)據(jù)格式應遵循業(yè)界認可的標準格式(如文本、圖像、音頻等)，并明確聲明數(shù)據(jù)預處理步驟和格式要求。同時，模型輸出應清晰定義輸出格式(如文本、圖像、音頻等)，以適應不同應用場景的需求。
(3)模型維護
內容安全：模型輸出內容應符合國家法律法規(guī)和社會道德規(guī)范，不得產生或傳播任何形式的危險、違法、暴力、仇恨、歧視等不當信息。模型開發(fā)者應建立完善的濫用風險評估機制，識別潛在的濫用場景和風險點，并采取有效的技術防護措施，防止模型被用于非法活動或虛假信息的制造。
隱私與數(shù)據(jù)保護：在處理個人隱私數(shù)據(jù)時，應嚴格遵守《中華人民共和國個人信息保護法》及相關配套政策，制定并執(zhí)行全面的數(shù)據(jù)安全管理制度。應建立實時的風險監(jiān)測和應急響應體系，確保在發(fā)現(xiàn)安全風險或突發(fā)事件時，能夠立即啟動應急預案，采取有效措施，控制和減少損失。
服務可用性：模型服務應保證高可用性，正常運行時間應達到99.9%，全年計劃內中斷時間不得超過8小時。對于關鍵服務型模型，在人機交互場景下的平均響應時間應控制在2秒以內。
版本兼容性：模型升級更新過程中，新版本應確保與舊版本向后兼容，以保障現(xiàn)有應用的連續(xù)性和穩(wěn)定性，避免因版本更新導致的大規(guī)模適配調整。版本管理流程應統(tǒng)一規(guī)范，確保透明和可追溯。
無障礙訪問：應為殘障人士等特殊群體提供無障礙訪問解決方案，確保他們能夠平等無障礙地獲取和使用模型服務，滿足國家無障礙要求標準。
版本控制與演進管理：應建立完整的模型版本控制和演進管理機制，詳細記錄每個版本的更新歷史和變更詳情。新版本上線前，必須進行全面的測試驗證，確保新版本的穩(wěn)定性和性能。
性能監(jiān)控與故障響應：應構建模型性能監(jiān)控系統(tǒng)，實時監(jiān)測模型的運行狀態(tài)，對于發(fā)現(xiàn)的異常和故障，應及時進行定位和故障分析，并在規(guī)定時間內制定并執(zhí)行恢復方案。
基礎設施冗余與容災：基礎設施應實現(xiàn)數(shù)據(jù)和計算資源的冗余備份，制定并執(zhí)行完善的容災和恢復預案，確保關鍵服務的持續(xù)運行。數(shù)據(jù)處理應遵循FAIR(可查找、可訪問、可互操作和可復用)原則。
AI倫理與合規(guī)：嚴格遵守國家AI倫理標準和規(guī)范，制定并全面執(zhí)行企業(yè)AI倫理政策，確保模型的開發(fā)和應用符合倫理道德標準。應建立有效的AI倫理審查機制，對模型的開發(fā)、應用和更新進行全面的倫理審查，確保模型符合倫理道德規(guī)范。
偏見與歧視消除：持續(xù)評估并消除模型在人口統(tǒng)計學特征(如年齡、性別、種族等)方面的潛在偏見和歧視，確保模型的公平性和包容性。應建立有效的偏見檢測和消除機制，定期對模型進行偏見評估，并采取措施消除模型中的偏見和歧視。
人機交互準則：制定規(guī)范的人機交互準則，確保人類用戶能夠對模型發(fā)出合理的指令和進行必要的修正，體現(xiàn)以人為本的設計理念。人機交互界面應易于理解和使用，并提供必要的安全保障措施，防止用戶誤操作或被模型誤導。
（4）模型歸檔
模型歸檔是模型生命周期管理的重要組成部分，有助于模型版本的追溯、復現(xiàn)和持續(xù)優(yōu)化。以下為模型歸檔的規(guī)范化約束與指導建議：
數(shù)據(jù)集歸檔：應全程保存模型訓練、優(yōu)化、微調過程的各階段數(shù)據(jù)集，確保決策輸出路徑具備可解釋性和可追溯性，提高模型運行的透明度和可信度。若涉及隱私和敏感信息，須確保數(shù)據(jù)已脫敏或匿名化處理，并遵循相關法規(guī)要求。
模型文件歸檔：按照模型版本進行歸檔，每個版本包含模型文件、權重文件、訓練日志、參數(shù)配置文件等。每個模型版本應附帶詳細的訓練報告，評估報告等內容。如模型涉及多個組件或模塊，每個組件的版本也應一并歸檔。
訓練引擎和依賴庫記錄：記錄每個模型版本所使用的訓練引擎版本以及依賴的第三方庫版本。提供訓練環(huán)境的配置信息，確保模型在相同環(huán)境下能夠復現(xiàn)。
算法描述與理論依據(jù)：對模型所使用的算法進行詳盡描述，包括原理、特點、優(yōu)缺點等。如有必要，提供算法設計和實現(xiàn)的相關論文、專利等參考資料。
版本管理與變更記錄：采用版本控制系統(tǒng)(如Git)對模型代碼、配置文件等進行版本管理，記錄每次變更的提交信息和作者。設立專門的模型版本庫，按照日期、版本號等有序存放各個版本的模型及相關資料。
團體標準與國內外標準情況簡要說明
經(jīng)查詢，目前國內與云網(wǎng)協(xié)同的標準有關的標準有：
ITU-T M.3173.1《云和SDN網(wǎng)絡協(xié)同管理接口需求》
ITU-T Y.2324《基于網(wǎng)絡演進的云網(wǎng)協(xié)同編排器功能架構》
YD/T 4199.1-2023 《基于云網(wǎng)協(xié)同的上云業(yè)務用戶體驗質量評價體系》
參編人員要求
與云端AI模型部署與更新相關的研發(fā)、生產、經(jīng)營的各機關企事業(yè)單位、科研院所、高校、采購單位、供應商單位有關于本標準規(guī)定范圍及適用領域的研發(fā)人員、應用人員、項目工程師、項目經(jīng)理、技術采購等，與此標準規(guī)范適用相關的從業(yè)人員均可參與編制。
參編流程
1、蓋章并提交團體標準參編申請表(見附件);
2、簽訂協(xié)議;
2、加入編制組;
4、參與編制工作。
聯(lián)系人信息
聯(lián)系電話：17603075005
中企檢測認證網(wǎng)提供iso體系認證機構查詢，檢驗檢測、認證認可、資質資格、計量校準、知識產權貫標一站式行業(yè)企業(yè)服務平臺。中企檢測認證網(wǎng)為檢測行業(yè)相關檢驗、檢測、認證、計量、校準機構，儀器設備、耗材、配件、試劑、標準品供應商，法規(guī)咨詢、標準服務、實驗室軟件提供商提供包括品牌宣傳、產品展示、技術交流、新品推薦等全方位推廣服務。這個問題就給大家解答到這里了，如還需要了解更多專業(yè)性問題可以撥打中企檢測認證網(wǎng)在線客服13550333441。為您提供全面檢測、認證、商標、專利、知識產權、版權法律法規(guī)知識資訊，包括商標注冊、食品檢測、第三方檢測機構、網(wǎng)絡信息技術檢測、環(huán)境檢測、管理體系認證、服務體系認證、產品認證、版權登記、專利申請、知識產權、檢測法、認證標準等信息，中企檢測認證網(wǎng)為檢測認證商標專利從業(yè)者提供多種檢測、認證、知識產權、版權、商標、專利的轉讓代理查詢法律法規(guī)，咨詢輔導等知識。
本文內容整合網(wǎng)站：中國政府網(wǎng)、百度百科、搜狗百科、360百科、知乎、市場監(jiān)督總局 、國家認證認可監(jiān)督管理委員會
免責聲明：本文部分內容根據(jù)網(wǎng)絡信息整理，文章版權歸原作者所有。向原作者致敬！發(fā)布旨在積善利他，如涉及作品內容、版權和其它問題，請跟我們聯(lián)系刪除并致歉！