达内网站开发学习培训哪里能搜索引擎优化

源自：GoUpSec      “人工智能技术与咨询”   发布

安全研究人员用OpenSSF记分卡对GitHub上50个最流行的生成式AI大语言模型项目的安全性进行了评估，结果发现越流行的大语言模型越危险。

近日，安全研究人员用OpenSSF记分卡对GitHub上50个最流行的生成式AI大语言模型项目的安全性进行了评估，结果发现越流行的大语言模型越危险。

软件供应链安全公司Rezilion的研究人员调查了GitHub上50个最受欢迎的生成式AI项目的安全状况。他们发现，生成式人工智能开源项目越流行、越新，其安全性就越不成熟。

Rezilion使用开源安全基金会(OpenSSF)记分卡来评估大型语言模型(LLM)开源生态系统，强调了安全最佳实践中的重大差距以及许多基于LLM的项目中的潜在风险。研究结果发表在题为《ExplAIning the Risk》报告中。

基于LLM的生成式人工智能技术呈爆炸性增长，机器已经能够生成接近甚至超过人类平均水平（效率）的文本、图像甚至代码的能力。集成LLM的开源项目数量正迅猛增长。例如，OpenAI推出ChatGPT仅7个月，但目前GitHub上已经有超过3万个使用GPT-3.5系列LLM的开源项目。

尽管需求空前旺盛，但生成式AI/LLM技术面临的安全风险也与日俱增，从利用先进的自学习算法共享敏感业务信息到恶意行为者利用生成式AI来大幅度提高攻击力。

本月早些时候，开放全球应用程序安全项目(OWASP)发布了大语言模型应用常见的10个最严重的漏洞（下图），强调了LLM面临的潜在风险、漏洞利用的难易程度和普遍性。OWASP给出的LLM漏洞示例包括提示注入、数据泄露、沙箱机制不充分和未经授权的代码执行。

什么是OpenSSF记分卡？

OpenSSF记分卡是OpenSSF创建的一个工具，用于评估开源项目的安全性并帮助改进它们。OpenSSF评估所依据的指标是代码库本身的问题，例如漏洞数量、维护频率以及是否包含二进制文件。OpenSSF能检查软件项目供应链的不同部分，包括源代码、构建依赖项、测试和项目维护。确保其遵守安全最佳实践和行业标准。

OpenSSF的每项检查都有一个与之相关的风险级别，代表与不遵守特定最佳实践相关的估计风险。然后将各个检查分数换算成总分数，以评估项目的整体安全状况。

目前，OpenSSF共有18项检查，可分为三大类：整体安全实践、源代码风险评估和构建过程风险评估。OpenSSF记分卡为每项检查分配0到10之间的风险级别分数。得分接近10的项目表示高度安全且维护良好，而得分接近0则表示安全状况较弱，维护不足且易受开源风险影响。

越流行的开源大语言模型项目越不安全

Rezilion的研究揭示了一个令人不安的趋势：生成式AI/LLM项目越受欢迎（基于GitHub的星级受欢迎程度评级系统），其安全评分就越低（基于OpenSSF记分卡）。

研究人员指出：“这凸显了一个事实，即LLM项目的受欢迎程度本身并不能反映其质量，更不用说其安全状况了。”报告称，GitHub上最受欢迎的基于GPT的项目Auto-GPT拥有超过13.8万颗星，上线还不到三个月，其记分卡得分仅为3.7。检查的50个项目的平均得分也好不到哪儿去，仅为4.6分（满分10分）。

研究人员进一步将GitHub上最受欢迎的生成式AI和LLM项目的风险与该平台上与生成式AI或LLM无关的其他流行开源项目进行了比较。他们分析了一组94个关键项目（由OpenSSF保护关键项目工作组定义），平均记分卡得分为6.18，还分析了一组7个将OpenSSF记分卡作为其SDLC工作流程一部分的项目，平均得分7.37。

研究人员写道：“围绕LLM的开源生态系统的成熟度和安全状况还有很多不足之处。事实上，随着这些系统越来越受欢迎，普及度越高，如果开发和维护的安全标准保持不变，重大漏洞将持续涌现，不可避免地会成为攻击者的目标。”

未来12-18个月，生成式AI、大语言模型风险将持续增加

报告指出：随着生成式AI和LLM系统的应用不断增长，给企业带来的风险预计将在未来12到18个月内发生重大变化。报告指出：“如果围绕LLM的安全标准和实践没有重大改进，针对性的攻击和发现这些系统中的漏洞的可能性将会增加。企业必须保持警惕并优先考虑安全措施，以缓解不断变化的风险并确保负责任和安全地使用LLM。”

降低LLM安全风险最重要的方法是“安全左移”，即在开发基于人工智能的系统时就采用安全设计方法来应对LLM的风险。企业还应该利用安全人工智能框架(SAIF)、NeMo Guardrails或MITRE ATLAS等现有框架，将安全措施纳入其人工智能系统中。

企业还需要监控和记录用户与LLM的互动，并定期审核和审查LLM的响应，以检测潜在的安全和隐私问题，并相应地更新和微调LLM。

声明:公众号转载的文章及图片出于非商业性的教育和科研目的供大家参考和探讨，并不意味着支持其观点或证实其内容的真实性。版权归原作者所有，如转载稿涉及版权等问题，请立即联系我们删除。

“人工智能技术与咨询”   发布