ICS35.020CCSY70CIDADSEnterprise-levelArtificialIntelligenceapplicationproductexperienceIT/CIDADS00019—2024前言 II引言 III 12規范性引用文件 3術語和定義 4驗收指標體系 4.1驗收一級評價指標 4.2驗收二級指標 4.3指標優先級劃分 5驗收規則 6驗收流程 6.1驗收小組成員組成 6.2驗收流程 附錄A（資料性）驗收信息收集表 7附錄B（資料性）驗收報告 8II本文件按照GB/T1.1—2020《標準化工作導則第1部分：標準化文件請注意本文件的某些內容可能涉及專利，本文件的發布機構不承擔識別專利的責任。本文件由中國工業設計協會設計標準分會提出并歸口。本文件起草單位：第四范式（北京）技術有限公司、艾普工華科技（武漢）有限公司、西安迅騰科技有限責任公司、中電云計算技術有限公司、中移（蘇州）軟件技術有限公司。本文件主要起草人：徐昀、馮佳寧、王雨萱、王蔚、李鑫杰、于東、路露、陳罡、浦玉、趙暉、杜俊志。本文件為首次發布。IIIT/CIDADS00019—2024企業級人工智能應用產品隨著人工智能技術的不斷升級，逐步面向眾多細分行業領域。由于AI技術特性，人工智能產品在使用方式上往往不同于以往傳統業務系統，例如知識圖譜產品、模型訓練平臺等可以說是誕生了一種新的產品品類。這就意味著人工智能產品對于用戶天然具有一定的學習和認知成本。加之企業級產品本身的專業性、流程的復雜性，對于越復雜的產品，確保向用戶提供良好的使用體驗就越困難，因此如何保障企業級人工智能產品的體驗是一個值得討論和探究的問題。目前業界暫無成熟的對企業級人工智能應用產品體驗相關的現行標準與具體指南。業界存在針對人工智能模型能力、芯片能力、算法能力的評價維度，但無法真實的反映出用戶使用企業級人工智能應用產品的體驗水平。用戶體驗質量是衡量企業級人工智能應用產品品質的關鍵；面對市場上不斷出現的企業級人工智能應用產品，具有高可用性的產品會受到客戶青睞，因此當前需解決的一個問題就是如何保障企業級人工智能應用產品滿足企業業務需求的同時，還具備可用的體驗服務特點。而對于企業級人工智能應用產品的開發者，可以通過收集體驗服務的驗收報告，針對真實的用戶群體不斷改善產品體驗質量，增加用戶黏性和市場口碑，占領更多的市場份額，從而推進人工智能應用產品在市場的快速發展和向更多業務領域的普及。為了達成以上各方的不同需求，且持續的普及和推廣人工智能技術至各行業領域，需要構建一套科學可靠的企業級人工智能應用產品體驗設計驗收指南。本文件提供了企業級人工智能應用產品體驗設計驗收的指南，給出以用戶體驗為導向的人工智能應用產品體驗驗收的維度、驗收的方法以及驗收實施流程，旨在幫助人工智能應用產品提升產品體驗設計質量。1T/CIDADS00019—2024企業級人工智能應用產品體驗設計驗收指南本文件規定了企業級人工智能應用產品體驗設計的驗收指標體系、驗收規則和驗收流程。本文件適用于企業級人工智能應用產品或集成人工智能模型與企業業務系統的應用產品的驗收。2規范性引用文件下列文件中的內容通過文中的規范性引用而構成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對應的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T25000.51系統與軟件工程系統與軟件質量要求和評價（SQuaRE）第51部分：就緒可用軟件產品（RUSP）的質量要求和測試細則。3術語和定義下列術語和定義適用于本文件。3.1企業級人工智能應用產品設計enterprise-levelArtificialIntelligenceapplicationproductdesign為滿足企業或組織需求，開發和構建以AI技術為核心的產品的過程。設計過程中注重如何將智能功能無縫融入產品，以增強產品的智能特性和用戶價值。3.2業務目標businessobjective一個組織、公司或企業所設定的具體、可衡量的成就或結果，用于指導其經營和戰略決策。這些目標通常與組織的使命、愿景和長期戰略計劃相一致，有具體的可衡量的指標，幫助確定公司在特定時間段內想要達到的結果。3.3用戶任務usertask用戶任務基于3.2中的業務目標向下拆解得到，是用戶在使用產品時需要執行的特定操作，旨在滿足他們特定的需求或解決特定問題。用戶任務是用戶體驗設計中的概念，用戶任務的高效完成是保障用戶體驗的基本單元。3.4目標用戶targetusers在產品、服務、應用設計中，開發者或設計團隊明確定義的特定用戶群體。產品主要滿足他們的需求和期望。3.5待測用戶testparticipants在用戶界面、產品或服務的測試過程中，被邀請參與測試的特定用戶群體。3.6核心任務coretask在特定工作中，最為關鍵和高頻的任務或活動，它們對于實現成功和達成目標至關重要。如果它們沒有得到有效執行，將會對工作流程產生顯著的不利影響。4驗收指標體系4.1驗收一級評價指標體驗驗收指標體系希望建立一套能夠保障用戶在使用人工智能企業級服務應用產品時順利高效完整核心任務的產品體驗評價標準，進而達成業務目標。結合度量目標，建立6個一級評價維度和20個二級考察指標，共同組合成一套體驗驗收指標體系。一級指標基于用戶任務視角，強調用戶目標達成與系統的可學習型，具體如下：1）可用性：關注的是用戶目標能否通過產品達成；2）易學性：從界面呈現內容角度，圍繞產品的信息結構、視覺元素、功能概念等方面建立指標，關注用戶對產品理解的容易程度；3）效率性：從功能操作角度，圍繞完成任務的操作步驟是否便捷無冗余、提供多角色協同支持等方面建立指標，關注用戶完成任務的效率；4）記憶性：將時間維度加入可用性度量，在用戶長期使用過程中確保產品提供一定記憶性；5）防錯性：對于用戶使用期間的容錯性功能進行評價；對于使用手冊文檔幫助性內容是作為必須材料要求業務方提供，因此不作為考察指標項；6）品牌規范性：主要圍繞品牌視覺使用的規范性、版權問題、定制化合規等角度進行評價。4.2驗收二級指標在4.1中評價維度的基礎上，設立跟進一步的二級指標，共20項，具體如下：4.2.1可用性使用該產品/功能時可以使用戶達成用戶任務。4.2.2易學性易學性包括：1）在使用該產品/功能時，用戶可以時刻明確當前界面的任務；2）在使用該產品/功能時，當用戶感到迷惑時，可通過產品內提供的解釋說明或幫助手冊解決；3）在使用該產品/功能時，用戶所接觸到的現有概念符合其認知；4）在使用該產品/功能時，對所接觸到的產品獨特概念，用戶可以在產品中找到其清晰的解釋；5）在使用該產品/功能時，用戶認為產品的導航劃分方式是合理的；6）在使用該產品/功能時，用戶所需操作是能夠被用戶找到的；7）在使用該產品/功能時，用戶認為產品所用的色彩、圖標、插圖可被辨識且符合其認知。4.2.3效率性效率性包括：1）在使用該產品/功能時，產品應根據GB/T25000.51包含有關使用質量中效率的陳述；2）在使用該產品/功能時，用戶不必進行任何大量的、重復性的操作即可完成任務；3）在使用該產品/功能時，用戶不必進行任何有難度的精確控制即完成任務；4）在使用該產品/功能時，涉及多角色、不同權限的任務符合用戶的協作模式。4.2.4記憶性記憶性包括：1）在使用該產品/功能時，用戶不必記憶任何不屬于當前操作界面的信息；2）在使用該產品/功能時，用戶應隨時感知他操作的對象所處的狀態。3T/CIDADS00019—20244.2.5防錯性防錯性包括：1）在使用該產品/功能時，除非在操作前向用戶提供告警，否則所有關鍵操作均允許用戶撤銷；2）在使用該產品/功能時，用戶可以隨時返回上一個層級/來源頁；3）在使用該產品/功能時，用戶每次在執行有風險的命令前，均會接收到二次確認，以便其了解操作風險；4）在使用該產品/功能時，如發生錯誤，用戶可以獲取到易于理解的錯誤原因說明及解決錯誤的方法。4.2.6品牌規范品牌規范包括：1）該產品/功能中所使用的品牌及Logo符合公司規范；2）該產品/功能中所使用的字體、圖標、圖片等設計元素無版權風險；3）該產品/功能中，與客戶定制化相關的品牌、Logo、文案等信息沒有錯誤。4.3指標優先級劃分在指標體系建立的過程中我們緊密聚焦用戶目標任務，因此20個二級指標的優先級劃分主要以其對任務的完成的影響作為依據，優先級劃分有以下5種：1）阻塞級(Block)：用戶要執行的核心任務完全不可用的問題。如不修復這類問題，用戶將認為自己無法通過產品完成目標。2）關鍵級(Critical)：導致某些核心功能不可用的問題。如不修復這類問題，用戶將認為產品令其感到氣憤或痛苦。3）主要級(Major)：可以正常使用、但極大影響用戶使用效率的問題。如不修復這類問題，用戶將認為產品體驗是不友好的。4）次要級(Minor)：非體驗行業專業用戶可察覺的界面樣式、交互動效等問題。如不修復這類問題，用戶認為產品設計品質較低。5）低優先級(Trivial)：僅體驗行業專業用戶可察覺的微小的界面問題。如不修復這類問題，將不會影響用戶對產品的整體滿意度。綜上，完整的指標體系呈現見表1：表1體驗設計驗收指標體系4息性5驗收規則根據產品版本可支持客戶占比進行驗收，產品版本分級評價標準見表2。表2產品版本分級評價標準6驗收流程6.1驗收小組成員組成6.1.1驗收小組成員包括：主持人、評審專家、待測用戶、業務方代表。5T/CIDADS00019—20246.1.2成員分別具備以下相關條件。1）主持人：熟悉驗收流程和相關文件信息；了解驗收產品的產品架構、用戶需求和判定條件。2）評審專家：為非待測項目組成員；熟悉用戶體驗、人工智能的基本知識和相關業務知識；接受過相關培訓，清楚了解測試的目標、范圍和標準，以便能夠評估測試文檔的一致性。評審專家自身進行啟發式評估，以熟悉測試功能、提供專業視角，對于用戶忽略的問題以及難以界定的情形會給出專業視角的補充。3）待測用戶：代表產品或服務的潛在最終用戶。技能、知識儲備等需要與最終用戶畫像一致，測試前會評估用戶的角色定位、角色權限、使用場景、行為特點/規律，與目標用戶畫像的匹配度偏差不應超過50%，以確保待測用戶的反饋和行為能夠代表實際用戶的需求和期望；不應與測試結果有相關的利益沖突，以確保待測用戶能夠提供客觀的反饋。4）業務方代表：熟悉驗收產品的產品架構、需求背景、業務方向和用戶信息；可以負責組織產品后續的迭代。6.2驗收流程6.2.1籌備階段籌備階段流程如下：1）業務方代表明確產品相關的背景、測試邊界與協助形式、產品版本與分級信息；2）業務方代表確定待測用戶。業務方代表在測試執行前要為評審小組明確產品的目標用戶用戶畫像，并負責聯系真實用戶作為測試對象；3）業務方代表確定評估邊界。業務方代表需明確本次測試核心任務，任務范圍與發版材料中的主干任務一致。此外還需明確測試時為用戶提供的預設情景；4）業務方代表提供穩定的測試環境、賬號等必要信息；5）業務方/產品設計師根據主干任務以及以上信息完成驗收信息收集表、用戶任務書，驗收信息收集表見附錄A。6.2.2專家審議專家審議流程如下：1）評審專家根據產品的立項材料確認其版本分級對應的驗收評審要求；2）評審專家根據產品的立項材料確認其需求范圍及需求等級，以此判斷業務方給出的核心任務流程是否合理；3）評審專家測試前確認核心任務流程與了解版本功能，各自獨立模擬用戶完成特定任務，給出基于任務的指標達成情況判定；4）表格審核后確定最終測試執行時間、地點。6.2.3執行階段執行階段流程如下：1）為避免真實用戶臨場緊張或受到干擾，評審組成員不與測試用戶在一個空間，通常通過共享屏幕查看真實用戶操作；2）主持人提供任務書給測試用戶，簡述背景任務以及注意事項；3）在測試過程中允許用戶按照發版計劃接受一定程度的幫助。例如如果產品本身承諾為客戶提供了使用手冊、電話咨詢等協助，那在測試過程中，允許測試用戶進行該范圍內