Gartner預(yù)測，到2030年，守護(hù)代理（Guardian Agent）技術(shù)將在代理型人工智能（AI）市場中占據(jù)至少10%至15%的份額。
守護(hù)代理是一類專為實(shí)現(xiàn)可信、安全的AI交互而設(shè)計(jì)的AI技術(shù)。其中既有協(xié)助用戶完成內(nèi)容審核、監(jiān)控、分析等任務(wù)的AI助手，也有可不斷進(jìn)化的半自主或全自主代理。后者具有根據(jù)既定目標(biāo)制定與執(zhí)行行動計(jì)劃、甚至調(diào)整或阻止行動的能力。
隨著代理型AI日益普及，防護(hù)機(jī)制變得愈發(fā)關(guān)鍵
Gartner在近期舉行的網(wǎng)絡(luò)研討會上對147位首席信息官（CIO）和IT部門領(lǐng)導(dǎo)者進(jìn)行了調(diào)查，其中24%的受訪者已部署了少量AI代理（少于12個），另有4%的受訪者部署了12個以上的AI代理。
調(diào)查顯示，50%的受訪者正在研究和實(shí)驗(yàn)該技術(shù)，另有17%的受訪者尚未開展相關(guān)工作，但計(jì)劃最遲于2026年底前部署該技術(shù)。自動化信任、風(fēng)險和安全控制措施是確保AI代理一致、安全運(yùn)行的必要條件，推動了對守護(hù)代理的需求和該技術(shù)的增長。
Gartner杰出研究副總裁Avivah Litan表示：“如果沒有適當(dāng)?shù)姆雷o(hù)措施，代理型AI將導(dǎo)致意想不到的結(jié)果。守護(hù)代理能夠使用代理型AI的豐富功能和基于AI的確定性評估對全部代理功能進(jìn)行監(jiān)視和管理，實(shí)現(xiàn)運(yùn)行時決策與風(fēng)險管理之間的平衡�！�
代理能力的提升和擴(kuò)展帶來了更大的風(fēng)險
調(diào)查發(fā)現(xiàn)，在125名受訪者中有52%表示其AI代理當(dāng)前或在未來將主要側(cè)重于IT、人力資源、會計(jì)等與內(nèi)部行政職能相關(guān)的用例，有23%表示其AI代理側(cè)重于面向外部客戶的職能。
隨著用例的不斷增加，AI代理會受到輸入操縱、數(shù)據(jù)中毒等多種威脅的影響，被投喂受到操縱或被曲解的數(shù)據(jù)。例如：
證書遭到劫持和濫用，導(dǎo)致未經(jīng)授權(quán)的控制以及數(shù)據(jù)竊取。
代理與虛假或犯罪網(wǎng)站及來源發(fā)生交互，導(dǎo)致中毒行為。
內(nèi)部缺陷或外部觸發(fā)因素導(dǎo)致代理偏差和意外行為，造成聲譽(yù)損害和運(yùn)營中斷。
Litan表示：“AI代理的快速發(fā)展及其自主性的提升使傳統(tǒng)的人類監(jiān)督模式已不再足夠。由于企業(yè)開始轉(zhuǎn)向復(fù)雜的多代理系統(tǒng)并且此類系統(tǒng)的通信速度驚人，人類已跟不上錯誤和惡意活動的速度。鑒于這一日益嚴(yán)峻的威脅形勢，企業(yè)更加迫切地需要守護(hù)代理對AI應(yīng)用和代理進(jìn)行自動監(jiān)視和控制并提供安全保障。
CIO以及安全和AI領(lǐng)導(dǎo)者應(yīng)重點(diǎn)關(guān)注守護(hù)代理的三大核心用途，以此保障AI交互的安全：
審核：識別并審查AI生成的輸出內(nèi)容，確保其準(zhǔn)確性和合規(guī)性
監(jiān)視：觀察并追蹤AI及代理的行動，以便人類或AI進(jìn)行跟進(jìn)
保護(hù)：在運(yùn)行過程中通過自動化操作調(diào)整或限制AI和代理的行動與權(quán)限
守護(hù)代理將管理所有類型的交互和異常情況。Gartner預(yù)測，到2028年，70%的AI應(yīng)用程序?qū)⒉捎枚啻硐到y(tǒng)，這也將成為守護(hù)代理集成需求上升的重要驅(qū)動因素。 
