网络安全投入占比不低于10%！上海或率先给政企“划线”

现阶段的人工智能，更像是一个无法归纳和理解的“黑盒”，只能匹配预设的模型并根据输入导出结果。这也引发了人们对人工智能安全的顾虑。

2021年7月9日，2021世界人工智能大会安全高端对话在上海举行，此次安全高端对话以“数智转型 安全先行”为主题。

上海市经济和信息化委员会软件和信息服务业处处长裘薇在会上透露，正和网信办协商，在今年发布的网络安全“十四五”规划以及即将发布的网络安全产业的行动计划当中，进一步明确政府和公共企事业单位在网络安全上的投入比例不低于10%。

挑战：AI也可能引发系统性风险

尽管我国已经跻身于世界人工智能的第一方阵，但是人工智能发展与安全方面，依然面临严峻的风险。

全国政协社会和法制委员会副主任、公安部原副部长陈智敏指出，数字信息的过度采集和非法使用，可能侵犯公民的权利和隐私；算法的偏好可能加剧社会的偏见或歧视，威胁公平正义，数据非法跨境流通可能危害国家主权和国家安全，等等。

个人信息被窃取、盗卖，则可能引发更严重的刑事犯罪。他举了一组数据，当前我国电信诈骗案件处在高发期，每年平均上升30%，有的地方已经占了整个刑事案件的一半以上，超过传统的盗窃案件。

“机器深度学习难以理解人性的道德，无人驾驶汽车紧急避险等智能决策可能威胁特定的人群生命。”他说。

上海市委网信办总工程师杨海军也指出，传统以系统为中心正转向以数据为中心的安全思路，也同时面临着安全与业务相分离的局面。

“事实上人工智能应用当中带来了很多风险，包括自身的算力、算法带来的脆弱性，也包括人工智能在应用中的鲁棒性、可解释性、公平性问题。这些新技术在和原有业务相结合时，可能会给原业务或者系统带来巨大的系统性风险。”杨海军说。

数字的新业态、新场景、新规则涌现，也为网络安全的产业形态带来了新的变革。裘薇谈到，平台方、应用方等不同的主体网络安全的职责将被重新定义，例如随着“系统上云”，“系统谁建设谁负责”的局面发生了改变，安全责任是平台方还是系统建设方，其边界怎么划分等等，都需要对权责重新定义。

应对：上海“揭榜挂帅”激发企业攻关

裘薇透露，上海正在编制市网络安全创新高地“三年行动计划”，希望通过做强供给，创新应用和生态载体建设等多要素进行融合发力，为城市数字化转型能够构建坚实的安全产业底座。

一是围绕做强供给。一方面突破关键技术以及基础攻关，在下一代通信、数据、智能治理等前沿技术的领域，如可信计算、零信任等新型架构以及云计算、人工智能等融合技术加强研发创新。

二是聚焦应用技术的创新，进一步做强上海优势密码产业的同时，强化隐私计算和数据安全的研发布局。

“原来网络安全企业更多是提供网络安全产品，现在随着整个数字化全面提升，网络安全可能覆盖到整个企业的全生命周期，所以更需要它提供整体化网络安全解决方案。”裘薇说，单打独斗的网络安全服务模式已经难以满足需求，上海正在考虑推动网络安全的企业集成化服务。

甚至还考虑到加强网络安全的保险创新能力。最近，上海已会同相关企业对网络安全保险机制，以及和证监会、银保监会等共同研究，希望培育新的网络服务推广模式。

上海正从关键技术突破，服务模式创新等方面着手，打造网络安全产业创新的生态环境建设，扶植一批网络安全人才与企业。

裘薇介绍，今年开始，上海推出年度网络安全创新攻关目录，征集在数据安全、人工智能安全、车联网安全等新兴领域当中，各类网络安全创新应用成果，并通过应用场景的开放和揭榜挂帅等方式，解决行业中存在的痛点。

例如，在人工智能安全方面，主要考虑与合规行业数据的训练集、隐私计算、数字技术产品来构建安全的基石，以关注度高的智能网联汽车等一些关键场景推进智能网络安全的防护体系。以金融、医疗等一些领域的智能产品服务的安全评估等级来引导厂商强化技术的保障能力。

“未来3年，上海力争推动100个应用场景的开放，组织安全方面的企业揭榜挂帅，形成创新性、示范性网络安全的最佳实践的解决方案。”裘薇说。