李浥东、王飞跃：“新基建”下人工智能面临的安全态势与对策

作者介绍 

北京交通大学计算机与信息技术学院副院长 李浥东

中国科学院复杂系统管理与控制国家重点实验室主任  王飞跃

互联网的出现，让虚拟空间不再虚拟，就像十五世纪开始的“地理大发现”，网络世界让波普尔仅在哲学上讨论的第三世界“人工世界”成了活生生的新天地。人工智能的兴起，加上互联网产业二十余年的迅猛发展，更使“人工智能”成为人类生存和发展的新边疆。大数据成了这里的“石油”“矿藏”，IT也从开发物理第一世界的工业技术“老”IT，开发心理第二世界的信息技术“旧”IT，一跃变为开发人工第三世界的智能技术“新”IT。更为重要的是，人类在经历了以战争侵略为特征的“负和”全球化和自由贸易为特征的“零和”全球化之后，开始了以智力开源大发展为特征的“正和”全球化。

“新基建”恰逢这一历史转折时刻，正是推动这第三波智慧的全球化之开路先锋。“新基建”是建设智慧社会基础设施的开始，在确保新旧动能转换、新旧产业升级的同时，为构建新型智能化基础设施打下坚实基石。为此，“新基建”下人工智能面临的安全态势与对策，成为全球各国关注的核心问题。

在“新基建”的发展进程中，一方面，人工智能、异构计算处理器等先进计算机软硬件技术将极大提升算法效率和计算能力；另一方面，5G、云计算等新型信息基础设施的建设使高算力变得人人可及，对网络空间安全提出了新的挑战。

首先，人工智能的关键任务对安全防护的及时性提出了更高要求。从银行业务到自动驾驶，从家庭自动化到机器人辅助手术，这些应用通常都具有高动态、强实时等特征，要求系统快速适应新环境并学习新技能。例如，汽车自动驾驶技术通过实时学习其他成功驾驶案例，可以快速适应意外和危险的道路条件。同时，此类关键任务型的人工智能系统也必须具备快速检测入侵事件、识别攻击模式并采取抵御措施的实时防护能力，从而处理噪声输入、抵御恶意攻击。

其次，人工智能的个性化服务需求对敏感信息保护提出了更高要求。人工智能应用的场景越来越广泛，根据用户行为的特征（例如，适用于用户口音的虚拟助理）和用户偏好（例如，学习用户驾驶习惯的自动驾驶系统）提供定制化的智能决策服务已成为人工智能应用的主要方向之一。然而，在为用户提供更精准服务的同时，系统需要收集大量的用户个人信息（包括个人敏感信息）。尽管欧盟已发布GDRP，但目前关于隐私保护的政策法规和技术手段尚不完善，使得保护用户个人隐私信息和利用这些数据获取巨大商业利益之间的矛盾日益突出。

再次，人工智能跨组织融合对数据安全共享提出了更高要求。在“新基建”趋势下，各类系统和业务的融合速度加快，跨组织、跨地域的数据共享需求越来越高。例如，医院共享数据以预防流行病爆发，金融机构共享数据以提高其欺诈检测能力扩散等。这些智能应用有时需要使用不同机构（甚至是有竞争关系的实体）拥有的数据进行联合训练，一方面可能造成数据所有者敏感信息（如商业秘密等）泄露，另一方面也为恶意攻击提供了更高价值的攻击目标和更多源的攻击渠道。

最后，基于机器学习的安全算法与软件漏洞问题日益突出。近年来，越来越多的网络安全解决方案正在应用机器学习方法来提高安全效率和能力。然而，机器学习系统引入了特定的漏洞，熟练的攻击者可以利用这些漏洞来危害整个系统。因此，基于机器学习的算法和软件本身可能成为安全链中最薄弱的环节。此外，在开放互联的数字世界中，学习系统经常被部署在对抗性的环境中处理“未知”的未知信息。由于建模攻击通常依赖于“已知”的未知信息，而“未知”的未知信息是不可预测的，这使得对机器学习系统的大量潜在攻击也成为不可预测的。

2. “新网络”挑战：5G生态安全

5G网络变革将带来技术和产业的颠覆式发展，是数字经济的全面实践和完整体现。虽然在网络安全方面5G技术进一步加强了认证授权、隐私保护、网络架构与互通安全等保障力度，但实际应用中的5G生态极为复杂，传统的在远端集中部署的安全保护模式已经不能满足5G时代行业数字化、业务边缘化的安全防护需求。

首先，5G的“万物互联”模式打通了物理世界和数字世界，数字资产的价值和意义日益突出。随着工业互联网、车联网等发展，社会场景数字化、人工智能算法化、工业数据模型化、工业知识软件化等趋势越来越明显，使得数字资产的范围不断扩大，其价值已逐步接近物理世界资产，未来甚至会超越物理世界资产。目前，由于数字资产的内涵和边界尚不清晰，使得建立以数字资产保护为核心的数据保护体系面临巨大挑战。

其次，5G 网络提供网络切片机制来服务于不同的应用业务，灵活的整体端到端切片管理编排和资源管理，使得网络边界变得十分模糊，对传统依赖物理网络边界保护网络空间安全的方法带来极大挑战。原则上，每个网络切片是一个相对独立的网络域，配置各自不同的安全机制。但如果切片间出现信息泄露，攻击者就可能从一个低安全等级的切片进入另一个高安全等级切片，窃取、干扰目标切片通信内容。此外，由于是在同一物理网络上共存多个切片，因此很容易受到侧信道攻击等。

最后，5G利用边缘计算模式将业务决策能力下沉到终端，从而提升用户体验。但由于边缘节点所处的用户侧环境复杂，容易受到非授权访问、恶意数据篡改等攻击，一旦用户侧5G业务被攻击，如果没有配套的安全监测手段，很容易对整个安全生产和基础设施产生巨大影响。另外，由于5G网络支持多样化终端，使其面临着终端软件和硬件设计漏洞导致的安全风险。

3. “新模式”挑战：新型融合创新应用安全

随着我国城市化进程的快速推进，“新基建”将新型交通网络（尤其是轨道交通）和新型能源网络建设作为传统基础设施升级的典型示范领域，进而带动国民经济各行业的生产基础设施向网络化、数字化、智能化转型，有效推动各行业在技术、产业和商业模式的融合创新。随着这些基础设施智能化和自动化程度的提高，其面临的安全问题日益突出。以近年来发展迅猛的轨道交通为例，我国即将进入以全自动驾驶、智能调度、智能维修、多模态生物信息识别等新技术为代表的智能运营时代。然而，针对轨道交通系统的信息安全防护还集中在对传统网络和信息系统的各类主机及关键节点的资产管理、威胁预警和应急响应等，无法满足未来智能交通系统的安全保障需求。

首先，交通关键信息基础设施安全防护体系尚不完善。随着交通系统的自动化和智能化程度越来越高，其关键信息基础设施（如轨道交通中列车运行控制系统、调度指挥系统、运输调度管理信息系统、客票发售与预订系统等）之间的耦合关系愈发紧密。而针对这类紧耦合复杂系统的安全防护体系目前还处于理论自洽阶段，还远不能满足以调度控制一体化、轨道交通公交化、旅客出行个性化等为代表的实际运营需求。

其次，交通外场设备成为网络安全保障盲点。我国交通网络规模急速增长，各类交通外场设施、载运工具和移动终端等数量大幅度增长且分布极为广泛。而针对交通外场设施的安全保障方法受限于接口种类、通信协议等尚没有实现统一管理，无法实时了解各类交通外场设施的运行状态和正在面临的网络安全威胁等内容，更不能对这些设施实现远程防护和应急响应等功能，远未达到智能化安全管理的应用需求。

最后，交通网络未知威胁感知能力尚显不足。针对交通运输网络中特有的交调设备、气象设备、监控设备、边坡设备等，业内尚缺乏对攻击特征的积累，一旦遭受攻击就可能是毫无防御能力的未知攻击。另外，以高级持续攻击(APT) 攻击为代表的网络攻击往往采用多种综合的攻击手法，能够绕开传统基于规则的安全产品的检测，使得传统的基于脆弱性、反应性、边界性的周界安全模型很难应对全球化、规模化、快速演变的网络攻击。这些都极大限制了轨道交通系统应对突发网络安全事件的应急响应技术能力。

人工智能技术为网络空间安全防护智能化提供了新的发展机遇，可以为网络空间安全防护在预测、检测、防御和响应等各环节全面提升安全性能提供技术支撑。在网络攻击预测方面，人工智能系统可以利用机器学习预判网络攻击，并结合专家系统给出智能决策，以抵御攻击并且评估风险；在安全检测方面，可以实时监控网络系统，无需人工监视，感知网络安全态势；在网络防御方面，可以利用已有的攻击样本判断攻击类型，实现安全防御自动化；在攻击响应方面，可以实现安全响应自动化，并允许人工干预，快速形成攻击案件分析，为专家系统的决策支持提供基础数据。

2. 区块链的基础作用

区块链作为一种基于密码学原理、共识机制和数据存储结构等关键机制的分布式数据库技术，使传统上难以流通和商品化的“注意力”与“信用度”成为可以批量化生产的流通商品，革命性地扩展了经济活动的范围与提高效率的途径。2020年4月20日，国家发改委首次明确新型基础设施的范围，基于区块链的新技术基础设施是其中重要组成部分。区块链的两个核心性质“去中心化”和“不可篡改”，保证了区块链的高度透明化和可追溯性，在高度开放的动态计算环境中创造了可信任基础，有助于在“新基建”中建设数字社会可信体系。

另外，通过将区块链技术与人工智能、物联网和5G等新兴信息技术进行深度融合，可以自底向上地与互联网基础架构融合，实现可信、可靠、可用、高效的集成化应用，从而促进数据共享、优化业务流程、提升协同效率、降低运营成本。

1.建立并完善“共识性”网络空间安全标准体系

目前，我国已经在大数据、人工智能、云计算等领域建立了较完善的技术体系和较深厚产业积累，在5G、智能交通、新能源等方面甚至取得了先发技术和产业优势，这使得在“新基建”发展过程中，同步建立新型网络安全标准体系的技术条件和时机日渐成熟，从而促进网络空间安全领域从安全观和安全策略等方面实现进一步升级。

在安全观方面，传统的安全观主要强调物理系统（如工业设备）或者网络空间（如互联网）的单一世界安全，而在安全边界延展过程中，基于波普尔的“三个世界”理论将成为新安全观演化的基础，即未来的安全应该是能够同时保障物理世界、心理世界和人工世界均安全的“大安全”。整体的、动态的、开放的、相对的和共同的安全观已经成为网络信息安全领域的普遍共识。

在安全策略方面，传统的安全策略还停留在描述性安全为主、预测性安全为辅的“打补丁”式被动检测防护模式，这种“兵来将挡水来土掩”的安全策略在面对系统复杂性不断提升而带来的安全威胁时显得力不从心。

因此，需要将攻防双方的心理和社会因素纳入到安全策略的建设体系中，利用生成式对抗模型产生的安全大数据填补认知鸿沟，建立以引导安全为主、预测性安全和描述性安全为辅的主动式安全防护体系，不断增强系统的免疫力。

此外，随着我国“一带一路”“高铁走出去”等的推进，在更大范围内建立并完善具有共识性的网络空间安全标准体系，可以有效延展网络空间安全边界，为建立网络空间纵深防御体系提供基础支撑。

2.建立以ACP理论为基础的平行安全智能系统

通过深入分析CPSS系统的安全特征，融合人工智能、区块链等新技术和心理学、社会学等人因要素，建立以平行智能理论为基础，集描述性安全、预测性安全和引导性安全为一体的平行安全理论与技术体系，就成为“新基建”时代保护各类CPSS系统的一种有效解决方案。其核心思想是利用人工系统来模拟和表示复杂的实际安全系统，通过计算实验进行各种安全模型的训练分析和评估，借助虚实互动的平行执行来在线优化安全模型，形成虚实空间的反馈与闭环，从而提升对复杂系统的智能安全防护与免疫能力。平行安全系统的基本框架如图1所示。首先，通过综合考虑CPSS系统中的各种复杂因素，结合理论建模、经验建模和数据建模方法，建立与实际安全系统“伴生”的一个或多个人工安全系统。

其次，在人工安全系统中，利用生成式对抗学习等智能方法与人工参与相结合的方式对系统攻防双方特征与行为进行精确建模，以自底向上的涌现方式实施海量计算实验，并在实验过程中模拟、记录系统实时状态及演化特性，辅助推理和预测实际安全系统各核心要素在不同情况下的耦合关系与演化规律。

最终，通过特定的平行交互机制与协议将人工安全系统和实际安全系统连接，实时同步数据、模型、场景和决策等要素，并通过人工系统中场景推演，实现对系统未来状态的预测，并相应地调节各自的管理与控制方式。

3. 培养网络空间安全优秀人才

现阶段我国网络空间安全人才培养远远不能满足网络大国向网络强国转变的需求。因此，网络空间安全优秀人才的培养已成为当务之急。

首先，打造“国家政策护航、高校教育为主，产业实践支撑”的人才培养新格局。从国家层面提高网络空间安全的政治站位，从保障国家安全的战略高度，支持网络空间安全人才的培养；从高校、科研机构层面，加强理论知识和实际应用的结合，提升网络空间安全人才的整体水平；从产业应用方面，加强与科研院校的实践合作，交换信息，分享经验，从而共同建设一支国际高水平的网络空间安全优秀人才队伍。

其次，建立以网络空间安全为基础的跨学科人才培养体系。由于网络空间安全具有技术尖端、对抗激烈、覆盖面广等显著特点，不仅需要相关从业人员具有扎实的计算机、信息安全等方面的基础能力，还需要建立对攻击防护对象（如工业控制系统、交通系统、电力系统等）的综合知识体系。

最后，构建以平行安全系统为核心的人才培养实践平台。构建可以表示各种安全知识和攻击行为的人工安全系统，提供“真实攻防”实验环境，使学生可以系统地进行攻防测试，从而掌握不同的安全策略和管理规则，加强了学生的网络攻防观念和攻防实战能力。