【
智慧城市網(wǎng) 政策法規(guī)】4月2日，工業(yè)和信息化部等十部門聯(lián)合印發(fā)《人工智能科技倫理審查與服務(wù)辦法(試行)》(以下簡稱《辦法》)，提出
開展人工智能科技活動應(yīng)將科技倫理要求貫穿全過程，確保可控可信的人工智能科技倫理原則。 《辦法》明確，開展人工智能科技倫理審查重點關(guān)注人類福祉、公平公正、可控可信等方面。
包括訓(xùn)練數(shù)據(jù)的選擇標準，算法、模型、系統(tǒng)的設(shè)計是否合理；
是否采取措施防止偏見歧視、算法壓榨，保障資源分配、機會獲取、決策過程的客觀性與包容性；
是否合理披露算法、模型、系統(tǒng)的用途、運行邏輯、交互方式說明、潛在風險等信息等。
《辦法》還列出了需要開展科技倫理專家復(fù)核的人工智能科技活動清單。
其中包括：
對人類主觀行為、心理情緒和生命健康等具有較強影響的人機融合系統(tǒng)的研發(fā)；
具有輿論社會動員能力和社會意識引導(dǎo)能力的算法模型、應(yīng)用程序及系統(tǒng)的研發(fā)；
以及面向存在安全、人身健康風險等場景的具有高度自主能力的自動化決策系統(tǒng)的研發(fā)等。
辦法還提出，促進人工智能科技倫理審查高質(zhì)量數(shù)據(jù)集有序開源開放，加強通用性風險管理、評估審計工具研發(fā)，探索基于應(yīng)用場景的科技倫理風險評估評測；推廣符合科技倫理的人工智能產(chǎn)品和服務(wù)，保護科技倫理審查技術(shù)知識產(chǎn)權(quán)。
政策原文
人工智能科技倫理審查與服務(wù)辦法(試行)
第一章 總則
第一條 為規(guī)范人工智能科技活動倫理治理，促進公平、公正、和諧、安全和負責任創(chuàng)新，推動人工智能產(chǎn)業(yè)健康發(fā)展，依據(jù)《中華人民共和國科學技術(shù)進步法》《關(guān)于加強科技倫理治理的意見》《科技倫理審查辦法(試行)》(以下簡稱《倫理辦法》)等法律法規(guī)和相關(guān)規(guī)定，制定本辦法。
第二條 本辦法所適用的人工智能科技活動是在中華人民共和國境內(nèi)開展的，可能在人的尊嚴、公共秩序、生命健康、生態(tài)環(huán)境、可持續(xù)發(fā)展等方面帶來科技倫理風險挑戰(zhàn)的人工智能科學研究、技術(shù)開發(fā)等活動，以及依據(jù)法律、行政法規(guī)和國家有關(guān)規(guī)定需進行人工智能科技倫理審查的其他科技活動。
第三條 開展人工智能科技活動應(yīng)將科技倫理要求貫穿全過程，遵循增進人類福祉、尊重生命權(quán)利、堅持公平公正、合理控制風險、保持公開透明、保護隱私安全、確?？煽乜尚诺娜斯ぶ悄芸萍紓惱碓瓌t，遵守我國憲法、法律法規(guī)和有關(guān)規(guī)定。
第二章 服務(wù)與促進
第四條 建立和完善人工智能科技倫理標準體系，推動制定相關(guān)國際標準、國家標準、行業(yè)標準、團體標準，支持搭建國際標準化交流合作平臺。
鼓勵高等學校、科研機構(gòu)、醫(yī)療衛(wèi)生機構(gòu)、企業(yè)和科技類社會團體等參與人工智能科技倫理標準的制定、驗證與推廣。
第五條 推進人工智能科技倫理服務(wù)體系建設(shè)，強化人工智能科技倫理風險監(jiān)測預(yù)警、檢測評估、認證、咨詢等服務(wù)供給，提升企業(yè)技術(shù)研發(fā)和人工智能科技倫理風險防范能力，加大對中小微企業(yè)人工智能科技倫理審查的支持和服務(wù)力度，推進人工智能科技倫理國際交流合作。
第六條 鼓勵高等學校、科研機構(gòu)、醫(yī)療衛(wèi)生機構(gòu)、企業(yè)和科技類社會團體等開展人工智能科技倫理審查研究，支持人工智能科技倫理審查技術(shù)創(chuàng)新，強化以技術(shù)手段防范人工智能科技倫理風險；促進人工智能科技倫理審查高質(zhì)量數(shù)據(jù)集有序開源開放，加強通用性風險管理、評估審計工具研發(fā)，探索基于應(yīng)用場景的科技倫理風險評估評測；推廣符合科技倫理的人工智能產(chǎn)品和服務(wù)，保護科技倫理審查技術(shù)知識產(chǎn)權(quán)。
第七條 開展人工智能科技倫理宣傳教育，發(fā)揮科技類社會團體在人工智能科技倫理宣傳教育方面的作用，鼓勵公眾參與，促進實踐示范，提升公眾倫理意識和素養(yǎng)。引導(dǎo)大眾傳播媒介有針對性地進行人工智能科技倫理宣傳教育。
第八條 支持高等學校、科研機構(gòu)、醫(yī)療衛(wèi)生機構(gòu)、企業(yè)和科技類社會團體等開展人工智能科技倫理相關(guān)教育與培訓(xùn)，推動職業(yè)體系和課程體系建設(shè)，采取多種方式培養(yǎng)人工智能科技倫理人才，促進人才交流。
第三章 實施主體
第九條 從事人工智能科技活動的高等學校、科研機構(gòu)、醫(yī)療衛(wèi)生機構(gòu)、企業(yè)等是本單位人工智能科技倫理審查管理的責任主體，應(yīng)按照《倫理辦法》第四條有關(guān)要求，設(shè)立人工智能科技倫理委員會(以下簡稱委員會)。委員會應(yīng)配備必要的工作人員、辦公場所和經(jīng)費等條件，采取有效措施保障委員會獨立開展工作。鼓勵有資質(zhì)的相關(guān)單位開展人工智能科技倫理管理體系相關(guān)認證。
第十條 委員會章程、組成和委員職責、義務(wù)應(yīng)依照《倫理辦法》第五條至第八條進行。委員會組成應(yīng)包括人工智能技術(shù)、應(yīng)用、倫理、法律等相應(yīng)專業(yè)背景的專家。
第十一條 地方、相關(guān)主管部門可結(jié)合實際情況依托相關(guān)單位建立專業(yè)性人工智能科技倫理審查與服務(wù)中心(以下簡稱服務(wù)中心)。服務(wù)中心接受其他單位委托，提供人工智能活動倫理審查、復(fù)核、培訓(xùn)、咨詢等服務(wù)。服務(wù)中心不得對同一人工智能科技活動同時提供審查和復(fù)核服務(wù)。服務(wù)中心應(yīng)建立規(guī)范的管理制度和程序，配備具有人工智能科技倫理審查與服務(wù)能力的專職人員，接受地方或相關(guān)主管部門監(jiān)督。
第四章 工作程序
第一節(jié) 申請與受理
第十二條 對屬于本辦法第二條所列范圍人工智能科技活動的，人工智能科技活動負責人應(yīng)向本單位委員會申請，單位未設(shè)立委員會或委員會無法勝任科技倫理審查工作要求，向本單位委托的服務(wù)中心申請開展科技倫理審查，無單位人員應(yīng)委托符合要求的服務(wù)中心開展科技倫理審查。人工智能科技活動負責人應(yīng)依照規(guī)定向委員會或服務(wù)中心提交申請材料。申請材料主要包括：
(一)人工智能科技活動方案，包括研究背景、目的和計劃，所涉及相關(guān)機構(gòu)的合法資質(zhì)材料、人員情況、經(jīng)費來源，擬采用的算法機制機理，數(shù)據(jù)來源與獲取方式、測試評估方法，擬形成的軟硬件產(chǎn)品，預(yù)期應(yīng)用領(lǐng)域及適用人群等；
(二)人工智能科技活動科技倫理風險評估情況、防控及應(yīng)急處理預(yù)案，包括人工智能技術(shù)預(yù)期應(yīng)用帶來的潛在科技倫理風險評估，對科技倫理風險的監(jiān)測預(yù)警措施，對可能產(chǎn)生科技倫理風險的防控計劃等；
(三)遵守人工智能科技倫理和科研誠信等要求的承諾書。
第十三條 委員會或服務(wù)中心應(yīng)根據(jù)申請材料決定是否受理申請并通知申請人，決定受理的，應(yīng)根據(jù)科技倫理風險發(fā)生的可能性和程度、緊急情況等明確適用的一般、簡易或應(yīng)急程序，根據(jù)不同程序要求采取線下、線上等形式開展科技倫理審查，材料不齊全的應(yīng)一次性完整告知需補充的材料。
第二節(jié) 一般程序與簡易程序
第十四條 人工智能科技倫理審查會議由委員會主任委員或其指定的副主任委員主持，到會委員應(yīng)不少于5人，且應(yīng)包括本辦法第十條所列的不同類別的委員。服務(wù)中心可參考委員會的規(guī)定組織實施工作。
根據(jù)審查需要，可邀請相關(guān)領(lǐng)域不存在直接利益關(guān)系的顧問專家等提供咨詢意見。顧問專家不參與會議表決。
第十五條 委員會或服務(wù)中心開展人工智能科技倫理審查，重點關(guān)注以下方面：
(一)在人類福祉方面，人工智能科技活動是否具有科學價值、社會價值；研究目標對增進人類福祉、實現(xiàn)社會可持續(xù)發(fā)展等是否具有積極作用；人工智能科技活動的風險是否受益合理。
(二)在公平公正方面，訓(xùn)練數(shù)據(jù)的選擇標準，算法、模型、系統(tǒng)的設(shè)計是否合理；是否采取措施防止偏見歧視、算法壓榨，保障資源分配、機會獲取、決策過程的客觀性與包容性。
(三)在可控可信方面，是否能夠保障模型、系統(tǒng)的魯棒性，以應(yīng)對開放環(huán)境、極端情況和干擾性因素；是否能夠保障使用者控制、指導(dǎo)和干預(yù)模型、系統(tǒng)的基本操作；是否制定持續(xù)監(jiān)測方案、突發(fā)狀況處理預(yù)案。
(四)在透明可解釋方面，是否合理披露算法、模型、系統(tǒng)的用途、運行邏輯、交互方式說明、潛在風險等信息；是否采用有效技術(shù)手段提升算法、模型和系統(tǒng)的可解釋性。
(五)在責任可追溯方面，是否具有日志管理等措施清楚記錄數(shù)據(jù)、算法、模型、系統(tǒng)各個環(huán)節(jié)的充分信息，保障全鏈路可追蹤和管理；科技人員資質(zhì)是否符合相關(guān)要求。
(六)在隱私保護方面，數(shù)據(jù)的收集、存儲、加工、使用等處理活動以及研究開發(fā)數(shù)據(jù)新技術(shù)等，是否采取充分措施確保隱私數(shù)據(jù)得到有效保護。
第十六條 委員會或服務(wù)中心應(yīng)在申請受理后的30日內(nèi)作出批準、修改后再審或不予批準等決定。情況復(fù)雜或需要補充、更正材料等特殊情況可適當延長并明確延長時限。對于需要修改或不予批準的，委員會或服務(wù)中心應(yīng)提出修改建議或說明理由。申請人有異議的，應(yīng)在自決定送達之日起3個工作日內(nèi)向委員會或服務(wù)中心提出申訴。申訴理由充分的，委員會或服務(wù)中心應(yīng)在7個工作日內(nèi)重新作出決定。
第十七條 人工智能科技活動負責人應(yīng)及時識別科技倫理風險變化，并將相關(guān)變化情況向委員會或服務(wù)中心報告。委員會或服務(wù)中心依照《倫理辦法》第十九條規(guī)定對審查批準的人工智能科技活動開展跟蹤審查，及時掌握科技倫理風險變化情況，必要時可作出暫?；蚪K止相關(guān)科技活動等決定。跟蹤審查間隔一般不超過12個月。
第十八條 多個單位合作開展人工智能科技活動，可根據(jù)實際情況開展單位間人工智能科技倫理審查結(jié)果互認。
第十九條 有下列情形之一的可以適用簡易程序：
(一)人工智能科技活動倫理風險發(fā)生的可能性和程度不高于日常生活中遇到的常規(guī)風險；
(二)對已批準的人工智能科技活動方案作較小修改且不增大風險受益比；
(三)前期無重大調(diào)整的人工智能科技活動的跟蹤審查。
第二十條 委員會或服務(wù)中心應(yīng)制定適用簡易程序?qū)彶榈墓ぷ饕?guī)程和跟蹤頻度。簡易程序?qū)彶橛晌瘑T會主任委員指定兩名或兩名以上的委員承擔。服務(wù)中心可參考委員會的規(guī)定組織實施工作。
簡易程序?qū)彶檫^程中出現(xiàn)審查結(jié)果為否定性意見、對審查內(nèi)容有疑義、委員間意見不一致等情形的，應(yīng)調(diào)整適用一般程序。
第三節(jié) 專家復(fù)核程序
第二十一條 工業(yè)和信息化部、科技部會同有關(guān)部門制定發(fā)布“需要開展科技倫理專家復(fù)核的人工智能科技活動清單”(以下簡稱復(fù)核清單)，根據(jù)工作需要進行動態(tài)調(diào)整。
第二十二條 開展納入復(fù)核清單的人工智能科技活動，通過委員會或服務(wù)中心的初步審查后，由本單位申請開展專家復(fù)核。多個單位參與的，由牽頭單位負責申請。中央企業(yè)，中央和國家機關(guān)直屬高等學校、科研機構(gòu)、醫(yī)療衛(wèi)生機構(gòu)等直接報請相關(guān)主管部門組織開展專家復(fù)核。其他單位報請地方開展專家復(fù)核。
第二十三條 人工智能科技活動承擔單位應(yīng)依照《倫理辦法》第二十七條規(guī)定提交專家復(fù)核材料。地方或相關(guān)主管部門應(yīng)依照《倫理辦法》第二十八條至第三十條規(guī)定組織成立復(fù)核專家組，對初步審查意見的合規(guī)性、合理性等內(nèi)容開展復(fù)核，在收到復(fù)核申請后30日內(nèi)向申請單位反饋復(fù)核意見。地方或相關(guān)主管部門可委托服務(wù)中心具體實施復(fù)核工作。
第二十四條 委員會或服務(wù)中心應(yīng)根據(jù)專家復(fù)核意見作出科技倫理審查決定。
第二十五條 委員會或服務(wù)中心對納入復(fù)核清單的人工智能科技活動加強跟蹤審查，跟蹤審查間隔一般不超過6個月?？萍紓惱盹L險發(fā)生重大變化的，應(yīng)依照《倫理辦法》第二十二條規(guī)定重新開展相關(guān)科技倫理審查并申請專家復(fù)核。
第二十六條 人工智能科技活動在深度合成、算法推薦、生成式人工智能服務(wù)管理等方面實行登記、備案、行政審批等監(jiān)管措施且將符合科技倫理要求作為審批條件、監(jiān)管內(nèi)容的，可不再開展專家復(fù)核。
第四節(jié) 應(yīng)急程序
第二十七條 委員會或服務(wù)中心應(yīng)制定人工智能科技倫理應(yīng)急審查制度，明確突發(fā)公共事件等緊急狀態(tài)下的應(yīng)急審查流程和標準操作規(guī)程。應(yīng)急審查一般在72小時內(nèi)完成。對于適用專家復(fù)核程序的人工智能科技活動，專家復(fù)核前的審查一般在36小時內(nèi)完成。
第二十八條 委員會或服務(wù)中心應(yīng)保證科技倫理應(yīng)急審查的質(zhì)量與時效，加強跟蹤工作和過程監(jiān)督。必要時，可邀請相關(guān)領(lǐng)域顧問專家參會，提供咨詢意見。
第五章 監(jiān)督管理
第二十九條 科技部負責統(tǒng)籌指導(dǎo)全國科技倫理監(jiān)管工作，工業(yè)和信息化部會同有關(guān)部門負責人工智能科技倫理治理工作，加強應(yīng)急倫理審查的協(xié)調(diào)指導(dǎo)。各部門依照職責權(quán)限負責本行業(yè)、本系統(tǒng)人工智能科技倫理審查的監(jiān)督管理工作，各地方依照職責權(quán)限負責本地區(qū)人工智能科技倫理審查的監(jiān)督管理工作。
第三十條 單位應(yīng)依照《倫理辦法》第四十三條至第四十五條規(guī)定，將委員會相關(guān)情況、納入復(fù)核清單的人工智能科技活動通過國家科技倫理管理信息登記平臺進行登記，并提交上一年度委員會工作報告、納入復(fù)核清單的人工智能科技活動實施情況報告等相關(guān)材料。服務(wù)中心應(yīng)依照上述規(guī)定登記并提交上一年度工作報告?？萍疾颗c相關(guān)主管部門對人工智能科技倫理相關(guān)登記信息同步共享。
第三十一條 地方、相關(guān)主管部門、從事人工智能科技活動的單位應(yīng)結(jié)合本行業(yè)、本系統(tǒng)、本單位的實際情況，暢通能夠反映人工智能科技倫理違法違規(guī)問題的渠道，并按照相關(guān)規(guī)定處理。
第三十二條 在人工智能科技活動或開展人工智能科技倫理相關(guān)工作的過程中，違反本辦法規(guī)定的，依照《中華人民共和國網(wǎng)絡(luò)安全法》《中華人民共和國數(shù)據(jù)安全法》《中華人民共和國個人信息保護法》《中華人民共和國科學技術(shù)進步法》等法律法規(guī)和相關(guān)規(guī)定，進行調(diào)查處理，給予相應(yīng)處罰。
第六章 附則
第三十三條 本辦法涉及期限的規(guī)定，未標注為工作日的，均為自然日。本辦法所稱“地方”是指省級人民政府確定的負責人工智能領(lǐng)域科技倫理審查和管理工作的省級管理部門，“相關(guān)主管部門”是指國務(wù)院相關(guān)主管部門。
第三十四條 地方、相關(guān)主管部門可依照本辦法規(guī)定，結(jié)合實際情況制定或修訂本地方、本行業(yè)、本系統(tǒng)的人工智能科技倫理的審查與服務(wù)辦法、細則等制度規(guī)范?？萍碱惿鐣F體可制定本領(lǐng)域的人工智能科技倫理審查與服務(wù)具體規(guī)范和指南。
第三十五條 相關(guān)主管部門對本行業(yè)、本系統(tǒng)人工智能科技倫理審查與服務(wù)有特殊規(guī)定且符合本辦法精神的，從其規(guī)定。本辦法未作規(guī)定的，依照《倫理辦法》及相關(guān)法律法規(guī)的規(guī)定執(zhí)行。
第三十六條 本辦法由工業(yè)和信息化部會同有關(guān)部門負責解釋。
第三十七條 本辦法自印發(fā)之日起施行。
附件：
需要開展科技倫理專家復(fù)核的人工智能科技活動清單
一、對人類主觀行為、心理情緒和生命健康等具有較強影響的人機融合系統(tǒng)的研發(fā)。
二、具有輿論社會動員能力和社會意識引導(dǎo)能力的算法模型、應(yīng)用程序及系統(tǒng)的研發(fā)。
三、面向存在安全、人身健康風險等場景的具有高度自主能力的自動化決策系統(tǒng)的研發(fā)。
本清單將根據(jù)工作需要動態(tài)調(diào)整。
智慧城市網(wǎng)APP
智慧城市網(wǎng)小程序
微信公眾號
移動版
