英偉達(dá)(NVDA.US)推出“護(hù)欄”軟件以防止AI模型失控

英偉達(dá)(NVDA.US)的強(qiáng)大芯片為人工智能(AI)的繁榮奠定了基礎(chǔ)。然而，隨著ChatGPT等生成式AI的出現(xiàn)，越來越多用戶在享受便利的同時(shí)發(fā)現(xiàn)，AI模型有時(shí)會(huì)出現(xiàn)“幻覺”，即說出錯(cuò)誤的事實(shí)、涉及有害的話題或?qū)е掳踩L(fēng)險(xiǎn)。智通財(cái)經(jīng)APP獲悉，為了解決這一問題，英偉達(dá)在周二發(fā)布了一款名為NeMo Guardrails的新軟件，該軟件能夠?yàn)锳I模型設(shè)置安全“護(hù)欄”，避免AI輸出一些不良的內(nèi)容。

資料顯示，NeMo Guardrails是一個(gè)軟件層，位于用戶和AI模型之間，可以在模型輸出不良內(nèi)容之前進(jìn)行攔截和修改。例如，如果用戶需要一個(gè)針對(duì)特定方向的AI，就可以利用該軟件來限制AI至輸出對(duì)應(yīng)方面的內(nèi)容，而不談?wù)摬幌嚓P(guān)的話題。

此外，該軟件還能夠利用一個(gè)AI模型檢測(cè)另一個(gè)AI模型，如果兩個(gè)模型輸出的答案不一致，軟件將直接輸出“我不知道”的回答。通過這種方式，人工智能“胡說八道”的情況會(huì)得到有效降低，一些可能存在危險(xiǎn)的回復(fù)也能夠被直接攔截。

英偉達(dá)應(yīng)用研究副總裁Jonathan Cohen表示：“每個(gè)人都意識(shí)到生成式大語言模型的力量，以一種安全可靠的方式部署它們非常重要?！庇ミ_(dá)將NeMo Guardrails作為開源軟件提供，并將持續(xù)對(duì)其進(jìn)行更新。