上市公司加快布局AI安全市場(chǎng)

　　近期，全球范圍多家機(jī)構(gòu)對(duì)AI大模型進(jìn)行安全檢測(cè)發(fā)現(xiàn)，當(dāng)前市場(chǎng)上的主流AI大模型在內(nèi)容安全、數(shù)據(jù)安全等方面存在明顯薄弱環(huán)節(jié)，AI安全問(wèn)題引發(fā)高度關(guān)注。為應(yīng)對(duì)大模型安全風(fēng)險(xiǎn)，我國(guó)先后出臺(tái)一攬子政策文件，構(gòu)建針對(duì)大模型的“雙備案系統(tǒng)”。在此背景下，上市公司加大AI大模型檢測(cè)、內(nèi)容安全、數(shù)據(jù)安全業(yè)務(wù)布局。

　　AI安全問(wèn)題受關(guān)注

　　隨著AI大模型創(chuàng)作的多模態(tài)內(nèi)容越來(lái)越豐富，AI安全問(wèn)題受到全球高度關(guān)注。

　　5月21日，永信至誠(chéng)表示，子公司智能永信使用AI大模型安全測(cè)評(píng)“數(shù)字風(fēng)洞”平臺(tái)對(duì)GPT-4o等主流大模型進(jìn)行安全測(cè)試。結(jié)果表明，GPT-4o的內(nèi)容安全和防護(hù)效果不容樂(lè)觀。

　　工業(yè)和信息化部信息通信科技委委員、網(wǎng)絡(luò)安全研究所所長(zhǎng)閆懷志告訴中國(guó)證券報(bào)記者，大模型技術(shù)持續(xù)迭代升級(jí)，技術(shù)安全風(fēng)險(xiǎn)日益凸顯?！八惴▽用?，AI幻覺(jué)和安全漏洞可能導(dǎo)致大模型生成虛假信息；算法會(huì)成為黑客攻擊的目標(biāo)，對(duì)大模型的穩(wěn)定性和可靠性構(gòu)成威脅。同時(shí)，大模型正深刻改變著人機(jī)關(guān)系，可能導(dǎo)致科技倫理的模糊地帶。在數(shù)據(jù)層面，大數(shù)據(jù)的收集和處理存在隱私泄露和數(shù)據(jù)濫用的風(fēng)險(xiǎn)?！?/p>

　　針對(duì)AI大模型暴露的安全風(fēng)險(xiǎn)，閆懷志建議，首先要加強(qiáng)數(shù)據(jù)加密和匿名化處理，確保數(shù)據(jù)在傳輸和存儲(chǔ)過(guò)程中的安全性。其次，強(qiáng)化網(wǎng)絡(luò)安全防護(hù)，建立防火墻、入侵檢測(cè)系統(tǒng)等，防止黑客入侵和病毒攻擊。同時(shí)，建立安全機(jī)制和應(yīng)急預(yù)案，以便在發(fā)現(xiàn)安全威脅時(shí)能夠迅速響應(yīng)和處理。此外，加強(qiáng)監(jiān)管力度，對(duì)AI大模型的研發(fā)、部署和使用進(jìn)行全程監(jiān)督，確保合規(guī)性和安全性。

　　數(shù)據(jù)要素產(chǎn)業(yè)崛起

　　為應(yīng)對(duì)大模型安全風(fēng)險(xiǎn)，我國(guó)先后出臺(tái)《生成式人工智能服務(wù)管理暫行辦法》《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》等政策文件，構(gòu)建針對(duì)大模型的“雙備案系統(tǒng)”，推動(dòng)人工智能安全、健康、規(guī)范發(fā)展。

　　2024年3月，全國(guó)網(wǎng)絡(luò)安全標(biāo)準(zhǔn)化委員會(huì)發(fā)布《生成式人工智能服務(wù)安全基本要求》，對(duì)上述《暫行辦法》中的數(shù)據(jù)來(lái)源合法、內(nèi)容安全等合規(guī)要求的執(zhí)行規(guī)則進(jìn)行了細(xì)化，為生成式人工智能服務(wù)提供者在實(shí)踐中開(kāi)展安全評(píng)估提供了有效路徑。

　　AI大模型正推動(dòng)數(shù)據(jù)要素產(chǎn)業(yè)迅速崛起。第三方行業(yè)咨詢(xún)機(jī)構(gòu)IDC發(fā)布的報(bào)告顯示，生成式AI平臺(tái)和模型不斷出現(xiàn)，加速文本、圖像、視頻等數(shù)字內(nèi)容的創(chuàng)建，將持續(xù)帶來(lái)數(shù)據(jù)量的增長(zhǎng)。

　　騰訊安全總經(jīng)理周斌近期在生成式AI產(chǎn)業(yè)應(yīng)用峰會(huì)上表示，相比于其他技術(shù)和業(yè)態(tài)，生成式AI的特征是始終圍繞“數(shù)據(jù)”和“內(nèi)容”展開(kāi)，每一條訓(xùn)練數(shù)據(jù)和生成內(nèi)容，都在檢驗(yàn)全套安全體系是否有效。

　　數(shù)據(jù)安全市場(chǎng)正加快形成千億級(jí)產(chǎn)業(yè)規(guī)模?！蛾P(guān)于促進(jìn)數(shù)據(jù)安全產(chǎn)業(yè)發(fā)展的指導(dǎo)意見(jiàn)》提出，到2025年，我國(guó)數(shù)據(jù)安全產(chǎn)業(yè)基礎(chǔ)能力和綜合實(shí)力明顯增強(qiáng)，數(shù)據(jù)安全產(chǎn)業(yè)規(guī)模超過(guò)1500億元。

　　閆懷志表示，一方面，AI大模型需要大量的數(shù)據(jù)進(jìn)行訓(xùn)練和驗(yàn)證，數(shù)據(jù)安全是AI大模型安全應(yīng)用的前提和基礎(chǔ)。另一方面，AI大模型安全有助于提升數(shù)據(jù)安全。通過(guò)AI大模型對(duì)海量數(shù)據(jù)進(jìn)行分析和挖掘，可以發(fā)現(xiàn)潛在的安全威脅和漏洞，從而采取相應(yīng)的防護(hù)措施。

　　推動(dòng)大模型安全應(yīng)用

　　為滿(mǎn)足AI安全市場(chǎng)需求，相關(guān)上市公司陸續(xù)研發(fā)和推出AI安全檢測(cè)、數(shù)據(jù)安全等產(chǎn)品。

　　國(guó)投智能5月17日在投資者互動(dòng)平臺(tái)上表示，公司卡位技術(shù)優(yōu)勢(shì)，發(fā)布了人工智能大模型內(nèi)容檢測(cè)平臺(tái)和“AI-3300慧眼視頻圖像鑒真工作站”V1.3版本，可以對(duì)利用深度偽造技術(shù)合成的生成式文本、視頻、圖像等進(jìn)行識(shí)別、檢測(cè)和鑒定。

　　永信至誠(chéng)表示，公司發(fā)布AI大模型安全測(cè)評(píng)“數(shù)字風(fēng)洞”平臺(tái)，為AI大模型的持續(xù)演進(jìn)和應(yīng)用提供堅(jiān)實(shí)的安全保障。在內(nèi)容安全測(cè)評(píng)方面，平臺(tái)借助檢測(cè)插件，形成檢測(cè)模板、檢測(cè)場(chǎng)景分類(lèi)和測(cè)評(píng)數(shù)據(jù)集，測(cè)評(píng)出各類(lèi)安全風(fēng)險(xiǎn)；在系統(tǒng)安全測(cè)評(píng)方面，平臺(tái)對(duì)目標(biāo)系統(tǒng)進(jìn)行深入的安全評(píng)估，幫助AI大模型系統(tǒng)迅速發(fā)現(xiàn)潛在的安全漏洞。

　　騰訊云5月17日發(fā)布AI安全保護(hù)框架，以及全鏈路的內(nèi)容安全解決方案和數(shù)據(jù)安全解決方案，目前已在AI問(wèn)答、數(shù)字人、創(chuàng)作助手、代碼生成、娛樂(lè)社交、AI客服等場(chǎng)景落地。

　　“AI安全建設(shè)帶來(lái)很多市場(chǎng)機(jī)會(huì)?！遍Z懷志告訴記者，比如隱私保護(hù)技術(shù)、風(fēng)險(xiǎn)評(píng)估與治理、安全教育與培訓(xùn)、安全咨詢(xún)與服務(wù)方面。隨著大模型技術(shù)的不斷發(fā)展，網(wǎng)絡(luò)安全行業(yè)需要不斷創(chuàng)新和完善，以滿(mǎn)足日益增長(zhǎng)的安全需求。