Hallucination Leaderboard——聊天 AI 产生幻觉的排行榜

【2024澳门天天开好彩大全一】

【新奥好彩免费资料查询】

【新澳门免费资料大全彩民之家】

【精准澳门平特一肖】

【二四六天天308k好彩诗象】

【新澳资料免费】

【澳门王中王100】

【12949.cσm查询记录】

【澳门正版管家婆资料大全】

【正宗香港内部资料】

【白小姐—肖中特王中王】

【49澳门免费资料大全红年】

【澳门免费资料2024精选大全】

【2024年澳门六合资料】

【四九论坛马会料49332一肖中】

【新澳门精准一肖一码准确今晚】

【新澳门走势图分析图】

【澳门一肖一码100%精准一】

现在ChatGPT 等 大语言模型(Large Language Model)可以像人类一样出口成章，但另一方面，可能会出现“幻觉(Hallucination)”，即说出与事实不符的内容，就好像它是真的一样。 人工智能公司Vectara公布了各种大型语言模型中幻觉幻觉(Hallucination)发生率的调查结果。

vectara/hallucination-leaderboard: Leaderboard Comparing LLM Performance at Producing Hallucinations when Summarizing Short Documents

https://github.com/vectara/hallucination-leaderboard

Cut the Bull…. Detecting Hallucinations in Large Language Models - Vectara

https://vectara.com/cut-the-bull-detecting-hallucinations-in-large-language-models/

实际幻觉的例子如下。 原文中没有的信息将显示在PaLM摘要中。

原文内容：

植物在周六早上搜查阿什伯恩近郊的仓库时被发现。警方说，他们在“精心设计的种植设施”里。一名四十多岁的男子当场被捕。

The plants were found during the search of a warehouse near Ashbourne on Saturday morning. Police said they were in “an elaborate grow house.” A man in his late 40s was arrested at the scene.

PaLM摘要：

在阿什伯恩附近的一个仓库中发现了价值约10万英镑的大麻植物，警方逮捕了一名40多岁的男子。

Police have arrested a man in his late 40s after cannabis plants worth an estimated £100,000 were found in a warehouse near Ashbourne.

您可以看到 PaLM 推断该文章是关于大麻植物的，并添加了估计的市值，这两者都没有出现在源文本中。

幻觉发生率的评价是通过向各个大规模语言模型传递以下提示，通过Hughes Hallucination Evaluation Model的调查结果来进行排名。

用来生成排行榜摘要的提示是：

You are a chat bot answering questions using data. You must stick to the answers provided solely by the text in the passage provided. You are asked the question ‘Provide a concise summary of the following passage, covering the core pieces of information described.’ <PASSAGE>’

（你是一个使用数据回答问题的聊天机器人。你必须坚持只根据文章中的文字提供的答案。你会被问到这样一个问题：“提供以下文章的简要摘要，涵盖所描述的核心信息。”<段落>）

然后我们将 <PASSAGE> 替换为源文档。您可以在下面找到源文档和 LLM 生成的摘要。

https://github.com/vectara/hallucination-leaderboard/blob/main/leaderboard_summaries.csv

结果如下表所示。GPT4在准确性和幻觉率低两方面都获得了最高得分，GPT3.5和谷歌Gemini Pro紧随其后。另外，生成摘要太短的情况下被认为是“不回答”。

为了能够进行定期更新，每次出现新模型或模型更新时，都会在 GitHub 上使用新数据更新检查此幻觉概率的表。

但是，在这次的调查中，只以各自输出的摘要和原文的事实的连贯性为评价对象，只是将原文的一部分剪切粘贴的模型的评价会变高。幻觉发生率和摘要的质量是完全不同的评价轴，应该进行不同的测量独立评价。

Vectara表示，虽然距离解决大型语言模型的幻觉问题还有很长的路要走，但通过将本次评估中使用的“Hughes Hallucination Evaluation Model”开源化，希望让社区参与解决幻觉问题，使解决大型语言模型的幻觉问题的应对更上一层楼。

【2024澳门天天开好彩大全免费】 【新澳天天开奖资料大全最新】

【2024年天天开好彩资料】 【新澳天天开奖资料大全最新54期】

【2024澳门天天开好彩大全53期】 【澳门天天开彩期期精准】

【2024全年资料免费大全】 【新澳天天开奖资料大全】

【澳门内部最精准免费资料】 【2024澳门天天开好彩大全】

【2024年新奥门天天开彩免费资料】 【新澳2024今晚开奖资料】 【管家婆澳门马会资料】