智源研究院:大语言模型智能体可能带来生物安全风险
创始人
2026-07-22 22:33:59

上证报中国证券网讯(记者 窦世平)当大语言模型从单轮问答工具转向能够调用工具、规划任务的智能体,其在生命科学场景中的安全边界正在受到关注。智源研究院认为,大语言模型智能体可能带来生物安全风险。 据介绍,其大模型安全研究团队近日与北京大学围绕AI智能体可能带来的生物安全风险开展端到端评估,重点考察大语言模型智能体是否会降低非专业人员理解和执行部分高风险生物实验相关任务的知识门槛。 这项评估聚焦DNA合成筛查环节。DNA合成服务是生命科学研究的重要基础设施,合成服务商通常通过序列筛查识别潜在风险订单。随着合成成本下降、实验流程标准化程度提升,筛查机制在生物安全体系中的作用更受重视。不过,在AI智能体能够组合公开知识库、搜索工具、文件读写和程序化校验等能力后,单纯基于问答的安全评测已难以完整反映潜在风险链条。 据团队介绍,评估采用更接近真实风险链条的设置:在非专业背景用户的威胁模型下,智能体需要完成任务规划、方案设计和实验指导生成等环节,研究团队再通过程序化计算校验和受控湿实验验证相关方案的物理可执行性。评估覆盖11个商用大语言模型,并以IBBIS发布的Common Mechanism作为公开筛查基线。 评估结果显示,参与测试的11个模型均能生成通过计算校验的方案,部分前沿模型还能给出较完整的逐步实验指导。研究团队认为,这表明AI智能体可能同时降低计算设计和实验操作两个环节的专业门槛,使现有DNA合成筛查体系面临AI辅助规避策略带来的新挑战。 为避免将风险评估本身变成风险扩散,团队介绍,本次评估遵循负责任披露原则,不展示制造危险物质的方法;湿实验在严格安全约束下进行,使用经过安全处理、失去有害功能的良性代理序列,仅验证组装流程,不产生具有功能活性的危险产物。 围绕后续治理,研究团队建议从模型、系统、筛查和政策协同等层面建立多层防线。模型开发者应在部署前纳入高风险生物安全任务能力评估,并针对相关查询建立检测与防护机制;在智能体系统层面,安全边界也需从输入输出扩展至权限控制、过程监测和任务链风险识别。合成筛查环节则需要增强对AI辅助规避策略的识别能力,并推动国际标准和信息共享机制落地。

上证报中国证券网讯(记者 窦世平)当大语言模型从单轮问答工具转向能够调用工具、规划任务的智能体,其在生命科学场景中的安全边界正在受到关注。智源研究院认为,大语言模型智能体可能带来生物安全风险。

据介绍,其大模型安全研究团队近日与北京大学围绕AI智能体可能带来的生物安全风险开展端到端评估,重点考察大语言模型智能体是否会降低非专业人员理解和执行部分高风险生物实验相关任务的知识门槛。

这项评估聚焦DNA合成筛查环节。DNA合成服务是生命科学研究的重要基础设施,合成服务商通常通过序列筛查识别潜在风险订单。随着合成成本下降、实验流程标准化程度提升,筛查机制在生物安全体系中的作用更受重视。不过,在AI智能体能够组合公开知识库、搜索工具、文件读写和程序化校验等能力后,单纯基于问答的安全评测已难以完整反映潜在风险链条。

据团队介绍,评估采用更接近真实风险链条的设置:在非专业背景用户的威胁模型下,智能体需要完成任务规划、方案设计和实验指导生成等环节,研究团队再通过程序化计算校验和受控湿实验验证相关方案的物理可执行性。评估覆盖11个商用大语言模型,并以IBBIS发布的Common Mechanism作为公开筛查基线。

评估结果显示,参与测试的11个模型均能生成通过计算校验的方案,部分前沿模型还能给出较完整的逐步实验指导。研究团队认为,这表明AI智能体可能同时降低计算设计和实验操作两个环节的专业门槛,使现有DNA合成筛查体系面临AI辅助规避策略带来的新挑战。

为避免将风险评估本身变成风险扩散,团队介绍,本次评估遵循负责任披露原则,不展示制造危险物质的方法;湿实验在严格安全约束下进行,使用经过安全处理、失去有害功能的良性代理序列,仅验证组装流程,不产生具有功能活性的危险产物。

围绕后续治理,研究团队建议从模型、系统、筛查和政策协同等层面建立多层防线。模型开发者应在部署前纳入高风险生物安全任务能力评估,并针对相关查询建立检测与防护机制;在智能体系统层面,安全边界也需从输入输出扩展至权限控制、过程监测和任务链风险识别。合成筛查环节则需要增强对AI辅助规避策略的识别能力,并推动国际标准和信息共享机制落地。

相关内容

热门资讯

本土水果“弯道超车”!福州果市...   曾经价格不菲的进口水果,正被国产“尖货”拉下神坛。7月22日,记者走访福州市场发现,眼下约九成水...
上半年全国财政收入同比增长4.... 财政收支是反映经济运行情况的“晴雨表”。财政部7月22日发布数据显示,今年上半年,财政收入平稳增长,...
吴清发声,坚决维护资本市场平稳... 证监会7月22日消息,7月21日,中国证监会主席吴清在京会见了加拿大养老基金投资公司总裁兼首席执行官...
喜报!晋安区总工会一案例入选省... 近日,福建省总工会、福建省人民检察院联合发布8个“检察+工会”联动化解劳动争议典型案例,其中福州晋安...
福州启动劳动密集型企业火灾隐患... 福州新闻网7月22日讯(记者 阮冠达)22日,记者从市应急管理局获悉,《福州市劳动密集型企业火灾隐患...
未来五年坐火车有这些变化 “十五五”期间,将怎样进一步提升铁路客货运输的能力和品质?国家铁路局副局长王启铭表示,未来将扩大复兴...
福州发布高温橙色预警!新台风“... 刚刚!福州市气象局发布高温橙色预警。 高温稳坐C位 周末有望缓解 22日,副热带高压...
守护“活文物”,昌乐为古树名木... 齐鲁晚报·齐鲁壹点 王佳潼 通讯员 康忠生 汛期极端天气易发,为降低极端天气对古树名木可能造成的影响...
模拟“三断”极端情况,北京消防... 7月22日,北京消防救援机动支队在平谷区西峪水库水域训练场,组织开展了防汛抢险救援检验性拉动演练,全...
多部门联合送法进企业 筑牢大件... 近日,江苏省交通运输综合执法局宁通支队第四大队、宁通支队第七大队联合南通市交通运输综合行政执法支队启...
通州湾主港区首艘浮式储油卸油装... 7月21日,在南通海事局全程精心保障下,通州湾主港区首艘浮式储油卸油装置(FSO)顺利完成水上拖带出...
中汽智能科技申请针对车机APP... 国家知识产权局信息显示,中汽智能科技(天津)有限公司申请一项名为“一种针对车机APP安全防护的监测方...
智源研究院:大语言模型智能体可... 上证报中国证券网讯(记者 窦世平)当大语言模型从单轮问答工具转向能够调用工具、规划任务的智能体,其在...
余庆 :“夏季交通安全课”开讲... 入夏以来 余庆县满溪河畔绿意葱茏杨柳依依 成了周边市民群众消暑纳凉的绝佳去处 清风拂面 闲话家常 河...
遭美国加征关税 加拿大取消与美... 加拿大政府21日宣布,取消原定本周与美国联合举行的戈迪·豪跨国大桥开通庆祝活动,理由是美方日前宣布对...
截至6月底全国累计发电装机容量... 记者从国家能源局了解到,截至6月底,全国累计发电装机容量达到40.4亿千瓦,同比增长10.8%。其中...