中国电信天翼安全大模型安全护栏
未来产业在上海有哪些具象化、可感知的落地载体?上海可以为全国的数智场景创新提供哪些可复制、可推广的经验?自11月启动的《IT时报》“2025数智上海十大场景”TOP 20场景日前出炉。从12月11日起,这些优秀场景通过《IT时报》微信公众号、视频号、澎湃号、抖音号等全媒体矩阵,进入展播环节。
TOP 20场景展示结束后,经过专家评审、网络投票,《IT时报》将最终评选出“2025数智上海十大场景”以及各类单项奖,作为独具上海特色的创新实践和成就对外传播,让数智之光照亮城市发展的每一个角落。
当前,相当大比例的主流大模型都在“带病运行”,安全事件屡见不鲜,智能手表、学习机等产品的AI大模型都曾出现诋毁中国人、伟人的问题。
从中国电信天翼安全的评测结果来看,无论是国内的开源模型,还是国际领先的闭源模型,都不可避免地存在安全隐患。这说明大模型安全风险并非个别厂商的问题,而是行业普遍现象。
因为行业长期关注性能指标,忽视了安全防护。天翼安全科技有限公司副总经理刘长波指出了大模型存在的“四大安全漏洞”:一是内容安全风险,通过诱导生成偏见或不当内容,甚至生成违法违规内容;二是注入式攻击带来的策略绕过,使模型在特定指令下突破原有安全边际,产生恶意输出;三是数据安全风险,比如训练数据被意外复现、系统提示词泄露等;四是算力消耗型攻击,攻击者通过构造极端长上下文、循环任务或高复杂度指令,导致GPU被挤占、服务延迟上升,甚至服务不可用。
2025年世界人工智能大会期间,中国电信开源了国内首个专注于中文场景的大模型安全护栏。如今,“见微”大模型安全护栏下载量已过万,被能源、政务、金融、教育等行业广泛应用。
在上海飞络信息科技有限公司,“见微”已经给大模型上了一道“护栏”,它能实时识别用户输入与模型输出两端,打破了“限制输入则削弱 AI 能力,放开输入则牺牲安全” 的两难困境,让用户在使用AI自动研判工单、智能统计数据等高效功能的同时,无需担忧新型安全风险,真正实现了 “体验与安全并重” 。
在大模型安全护栏的背后,是一套“预警、测评、防护、运营”四位一体的安全中枢,依托于运营商特有的资源优势,构建起“云网边端数”一体化防护体系。
智能体、具身智能这些AI“新物种”正在暴露新的攻击面,代码智能体误删磁盘、交易智能体引发盗刷等风险频繁出现。中国电信天翼安全也在着手研发专门的防护能力,不变的是“以模护模”的防护范式,通过AI对智能体行为进行判定、监测与溯源。
假如有一天,一座城市就是一个自主运行的智能体,防止它做出伤害人类的事,将是第一要务。在城市苍穹之上,一个无形的安全防护体系笼罩着,一个安全大脑驱动着预警、测评、防护、运营等智能体运行。不管是AI时代,还是超级智能时代,我们都要给大模型上一道“护栏”。
排版/ 季嘉颖
图片/ 中国电信天翼安全
来源/《IT时报》公众号vittimes
E N D