ChatGPT的横空出世让人震撼，AI对话机器人已经可以回答各式各样的问题、写论文、总结冗长的文件，甚至编写软件和加速药物研发。

(相关资料图)

以ChatGPT为代表的生成式AI的发展已经步入了高速公路，但随之也引发了对生成式AI可能带来的道德以及安全问题的担忧。

对于AI发展的担忧不无道理，但也并非无计可施。就像在高速公路边上修建护栏明确道路的宽度并防止车辆驶入不需要的区域一样，也可以给生成式AI也可以加上护栏，以保证其在正轨上运行，避免潜在的道德以及安全问题。

英伟达本周推出了一个帮助企业确保建立在大型语言模型（LLM）上的应用符合其功能安全和信息安全要求的软件NeMo Guardrails，这一开源软件有助于将AI保持在正轨。

作为AI领域的领导者，英伟达这一举措对于推动AI朝正确可控的方向发展发挥了引导作用。当然，为生成式AI构建有效的护栏是一项难题，需要更多开发者的共同努力，才有可能保证AI的创新保持在正轨。

用户与 NeMo Guardrails 交互的流程

NeMo Guardrails是一个适用于所有大语言模型的软件，开发者能够构建三个护栏，这里的护栏指的是一组位于用户和大型语言模型之间的可编程约束或规则，具体包括：

主题护栏，可以防止应用偏离进非目标领域，例如防止客服助理回答关于天气的问题。

功能安全护栏，确保应用能够以准确、恰当的信息作出回复。它们能过滤掉不希望使用的语言，并强制要求模型只引用可靠的来源。

信息安全护栏，能够限制应用只与已确认安全的外部第三方应用建立连接。

值得关注的是，NeMo Guardrails 完全可编程，随着时间的推移，应用护栏和护栏触发的一组操作很容易定制和改进。这也就意味着，针对不同的应用，不同地区、国家的法规，都可以定制所需的护栏。

并且，对于软件开发人员来说，NeMo Guardrails是一个易于使用的工具，不需要成为机器学习专家或数据科学家，几行代码就可以快速创建新的规则。

英伟达工程师展示了NeMo Guardrails的使用方法，简单几行代码，就可以让AI对话机器人在回答问题时在护栏之内。

这个易用性还体现在是与软件工程师熟悉的工具集成。

因为NeMo Guardrails开源，NeMo框架的大部分内容已在GitHub上作为开放源码提供，所以它可以与企业应用开发人员使用的所有工具搭配使用。

比如，NeMo Guardrails可以在开源工具包LangChain上运行，越来越多的开发者用LangChain将第三方应用嵌入到LLM中。

雷峰网(公众号：雷峰网)了解到，LangChain在短短几个月内就在GitHub上收集了约3万颗星。

NeMo Guardrails同样是专为适用于广泛的基于LLM的应用而设计，例如Zapier。

Zapier是一个被超过200万家企业使用的自动化平台，它见证了用户如何将AI集成到他们的工作中。

当然，作为英伟达推出的一个软件，英伟达也正将NeMo Guardrails整合到NVIDIA NeMo框架中，这一框架包含用户使用公司的专有数据来训练和调整语言模型所需的一切。

NeMo还可作为一项服务使用。作为NVIDIA AI Foundations的一部分，这套云服务面向希望基于自己的数据集和领域知识创建、运行自定义生成式AI模型的企业。

目前，已经有企业使用NeMo提供服务，比如韩国一家移动运营商构建了一个智能助手，这一已经与客户进行了800万次对话；瑞典的一个研究团队使用NeMo创建了LLM，为本国医院、政府和商业机构自动生成文本。

科技的进步总会带来技术之外的许多问题，面对潜在的风险，更恰当的方法是解决问题而非逃避。

雷峰网原创文章，未经授权禁止转载。详情见转载须知。

标签：