当前，以大模型为代表的生成式人工智能已深度融入到交通、医疗、金融、教育等领域，正步入产业落地的关键阶段。在人工智能技术飞速发展的同时，安全风险防范成为行业发展的重点。中国信通院人工智能研究所安全与具身智能部主任石霖，就人工智能安全风险及防范策略进行了系统性介绍，为我国人工智能产业健康、可持续发展助力。
人工智能存在的安全风险
人工智能的安全风险呈现出复杂多样的特性，主要涵盖内生安全和衍生安全两大层面。
内生安全层面，主要指人工智能系统自身所存在的风险，包括基础设施、数据、模型、应用等自身安全带来的风险问题。如近期开源跨平台大模型推理工具Ollama被爆出存在默认配置下的未授权访问漏洞就属于内生安全的基础设施安全风险；还有像之前新闻报道的“奶奶漏洞”等提示词注入攻击就是针对模型的内生安全风险。
衍生安全层面，主要更强调人工智能使用带来的风险，特别是恶意使用、滥用，对个人、组织、社会和国家，甚至人类文明都可能产生安全风险。比如利用大模型生成虚假信息，进行电信诈骗、策划暴力恐怖事件，未来强人工智能可能有自主意识，不受人类控制等。
人工智能安全风险的防范策略
面对这些复杂的安全风险，我国已经形成了体系化的人工智能安全治理方案，并注重举措的落地实效。
顶层设计方面，我国出台《网络安全法》《数据安全法》和《个人信息保护法》，筑牢法治屏障。针对算法推荐、深度合成、生成式人工智能等重点领域也出台相关管理办法或规定，提出算法备案、安全评估、内容标识等明确要求，逐步形成人工智能体系化治理框架。
标准化建设方面，在发布《国家人工智能产业综合标准化体系建设指南（2024版）》的基础上，工信部“人工智能标准化技术委员会”还专门发布了“工业和信息化领域人工智能安全治理标准体系建设指南（2025）”。
这些政策法律、标准规范都为我们开展人工智能发展和安全工作指明了方向。
在技术实践层面，产业界除按照相关政策法规要求搭建内部风险合规体系外，还正形成“测-检-防”三位一体的人工智能安全技术体系。其中，“测”是指通过红队测试的方式挖掘人工智能基础设施、模型算法、应用平台的缺陷漏洞；“检”是在应用过程中通过护栏等技术手段持续检测系统输入输出的内容，防范违规有害信息以及敏感信息泄露，还可以从一定程度上缓解模型幻觉问题；“防”是指根据“测”和“检”发现的问题，持续通过模型微调、安全对齐等手段，对模型进行安全加固，提升模型的内生安全能力。
携手共建人工智能安全生态
近年来，中国信通院在人工智能安全治理领域开展了大量卓有成效的研究工作，既有标准研制、风险管理体系搭建、合规咨询等“软能力”，又有大模型安全基准测试、安全自动化评估平台、“智盾”大模型安全对齐及护栏等“硬能力”。
值得一提的是，中国信通院作为国家“人工智能发展与安全研究网络”的成员单位、北京前瞻人工智能安全与治理研究院的发起单位，曾荣获首届生成式人工智能安全大赛“安全攻击”赛道冠军，并于2024年联合百度、阿里、深度求索等单位共同签署《人工智能安全承诺》，也与英国、新加坡等国家的人工智能安全研究机构保持着交流合作关系。
中国信通院将继续发挥自身优势，携手各方力量，为人工智能的健康发展保驾护航。通过不断完善人工智能安全治理体系，推动技术创新与应用落地，中国信通院将助力我国人工智能产业在安全可控的轨道上加速前行，为我国数字经济的高质量发展注入强大动力。
