深知安全风控推出AI Agent安全护栏比较评估

随着AI Agent（人工智能智能体）逐渐进入工具调用、文件访问、流程执行等应用场景，AI安全问题引发的行业担忧，也催生了全新的安全需求。

从内容审核到智能体安全：聚焦AI智能体安全新挑战

业内认为，公开数据集与统一评估框架的建立，有助于提升AI智能体安全能力的可比性与可评估性，也为行业进一步观察复杂攻击识别能力、误伤控制能力以及整体安全效果之间的关系，提供了新的参考依据。

从“拒答”到“分类处理”：深知安全风控为AI可信落地提供新实践

在机器学习领域，Recall通常用于衡量模型对目标类别的识别覆盖能力，True Negative Rate则用于衡量模型对非目标类别的正确判断能力。

对于AI智能体场景而言，如果过度强调拦截能力，容易影响正常交互体验；而如果放行过多，则可能带来新的安全风险。

据了解，深知安全风控采用组件化插入模式，可与基座大模型及相关智能体应用协同配合，对潜在风险进行识别与响应。针对部分风险问题，系统并非简单拒答，而是结合风险研判结果进行分类处理，在风险防控与正常使用体验之间实现平衡。

业内认为，仅依靠传统内容安全思路，已经难以充分应对新一代AI智能体场景中的复杂风险。

随着AI智能体加速进入办公协同、客户服务、企业运营等更多实际应用场景，能够兼顾风险识别能力与正常使用体验的安全能力，或将成为推动AI智能体进一步规模化落地的重要基础。

标签：