2022年OpenAI公司发布了生成式AI大模型ChatGPT,随后陆续发布了更新版本。ChatGPT推动AIGC技术快速应用于网络安全行业,领先企业纷纷推出基于AI大模型的网络安全应用,并取得良好的效果。
本文简要分析基于大语言模型(LLM)搭建网络安全领域专用的人工智能安全技术模型,并应用于网络安全异常检测技术革新的可行性,其能够实现智能化的DGA域名检测、Web攻击检测、WebShell检测、恶意软件行为检测、恶意软件相似性检测等功能,相较于传统的异常访问检测模型,其检测速度将有明显提升,其检测准确性也能够大幅度的提升。
基于AI大模型的网络安全异常检测由三个基本模块组成:数据处理、大模型训练和安全应用。这些组件中的每一个都在维持 SecGPT 处理动态网络安全数据和提升安全功能和适应性方面发挥着至关重要的作用。
(资料图片)
(1) 数据处理
通过整合来自网络安全企业、设备生产制造企业、应用行业、第三方数据服务商等的数据流量,通过数据清洗、数据标识、词形还原,特征提取,实时计算和实时存储,实现安全流量的数据化转换与集成。通过捕捉网络安全流量的细微差别解决网络安全数据分析固有的时间敏感性问题,采用最先进的 NLP 技术来过滤噪音并突出显示显著的信息。
(2)AIGC大模型
包括通用模型的引入和模型训练两部分。
通用模型引入:通过开源平台和第三方服务商引入GPT、MOSS和其他多种大模型,包含各种微调方法,优先考虑轻量级适应,以保持模型的更新和相关性。通过维护更新的模型,SecGPT 可以处理网络安全数据的高度动态特性,确保其响应与当前的网络安全环境保持同步。
模型训练:使用网络安全数据进行定向大模型训练。建设高性能流量分析神经网络推理框架和相应的算子库,使用多种算法进行面向网络安全应用的进一步的训练,算法包括XGBoost、机器学习等。建设高性能流量分析神经网络计算框架和相应的工具库,使用多种来源的应用加强安全训练,应用包括威胁情报、开源平台等。
(3)安全应用
经过训练大模型能够定向输出多种安全模型,异常访问检测是其中之一。通过定向训练强化异常访问检测能力,实现的能力包括但不限于:
基于深度学习的DGA域名检测模型
检测域名形式上是否符合DGA家族域名的特点,可高效检出常见的70余个DGA家族。相比传统域名检测方法,实现了主流DGA家族全覆盖;微秒级处理速度。
基于深度学习的Web攻击检测模型
可检测SQL注入、XSS、代码执行等十余种常见的Web攻击类型。相比传统方法,其检测准确率大幅提高;对于安全人员的知识广度的依赖较少。
基于深度学习的WebShell检测模型
可检测是否为WebShell脚本。相比传统方法,其可识别常见的PHP类型Webshell;无需人工定义特征。
恶意软件行为深度智能检测与分析模型
基于安全日志,使用深度学习算法检测样本行为是否恶意,并给出可疑行为片段。相比传统方法,其关注行为上下文关联信息;提供AI视角下的可疑片段。
海量恶意软件相似性检索模型
基于行为序列特征、行为图特征和静态二进制特征向量从全量恶意样本中搜索相似样本。相比传统方法,其构建业内首个基于样本行为指纹库;实现海量、多样的向量特征库;能够分布式高效检索。
本文作者:
奇安信集团产业发展研究中心是奇安信集团的产业研究团队。专注网络安全领域,跟踪国内外产业发展现状与趋势,研究网络安全各细分领域,包括产品技术、市场、投融资和产业生态,为网络安全从业人员提供新视角,为企业决策提供依据,推动网络安全产业发展。
陈华平:奇安信集团副总裁,产业发展研究中心负责人。
乔思远:产业发展研究中心研究员,主要负责宏观分析和产品技术研究。
关键词: