法律部落2024年11月15日发布: 大语言模型的致命弱点:苹果揭开AI推理的假象
作者:白钟元 | 责任编辑:Admin
本文点赞(10) | 阅读:(47)
【新澳精准资料大全免费更新】 |
【新澳免费资料大全】 |
【2024新奥门免费资料】 |
【2024澳门正版资料】 |
【澳门单双期期准】 |
【2o24澳门正版免费料大全精准】 |
【新澳门免费资料大全精准】 |
【新澳门开奖历史记录走势图表】 |
【澳门今晚开特马+开奖结果走势图】 |
【全年资料免费大全正版资料最新版】 |
苹果公司最近的一项研究揭示了大语言模型(LLM)推理能力的“脆弱性”,表明即使是对查询的微小修改也会导致模型犯下重大错误。虽然如今的生成式AI可以进行流畅的人类对话,但这并不意味着它们具备真正的人类推理能力。苹果团队的研究对此问题给出了明确的否定答案。
LLM的认知假象
大语言模型像GPT或者谷歌的Gemma这样的AI模型,并不“真正”理解或知道任何事情。它们只是通过概率计算,根据输入生成新的单词序列,看起来像是具有知识和推理能力。有人认为,生成式AI可能使用了另一种方式来实现功能性的智能,然而苹果团队的实验表明,这种“智能”相当脆弱。
该研究测试了20款强大的LLM,给它们提供了名为GSM8K的测试题集。GSM8K包含8500个语言多样、与小学数学相关的文字题目,通常用于评估模型的推理能力。不过,苹果团队并没有直接使用这些现有的问题,而是进行了微小的修改——更换了数字、名字或物品——以确保模型无法依赖记忆中的训练数据解决问题。
微小修改,大幅失误
研究结果显示,模型面对修改后的题目表现明显下降。具体表现为,不同模型的准确率下降幅度从9.2%(Mistral)到0.3%(GPT-4o)不等。这表明模型无法真正理解问题,而仅仅是在进行模式匹配。当研究人员重复修改问题并进行50次测试时,不同模型的准确率差异甚至高达15%。
无关信息的干扰测试
更具挑战性的测试是在问题中添加无关的信息。比如,在一个需要简单算术运算的题目中,研究人员增加了一句“有些猕猴桃很小”的无关描述。人类读者会轻松忽略这句无关的信息,但大部分LLM却被彻底迷惑,准确率相比原始问题下降了17.5%到65.7%不等。即使是表现最好的GPT-4o,也因这些干扰信息丢失了30%的准确率。
模式匹配与推理能力的区别
这项研究凸显了LLM的局限性。尽管生成式AI看起来能够进行推理,但实际上它们只是通过模式匹配生成答案,而不具备真正的理解能力。稍微的变化或干扰信息就能让它们的输出变得不可靠,而这在越来越多人依赖AI时可能会带来问题。
尽管意识到LLM推理能力的脆弱性,苹果公司仍然不愿意在AI领域落后于人。它已经在iOS和macOS的最新版本中整合了基于GPT的语言模型,并通过Siri推出了新的AI功能。虽然这些功能目前仍处于“预览”阶段,但随着技术的进步,更多功能将在未来几个月陆续推出。
总的来说,苹果的这项研究警示了AI在推理和理解方面的局限性,提醒我们要谨慎对待AI输出的结果,尤其是在需要严谨推理的场景中。
【2024年新奥正版资料免费大全】 | 【新2024年澳门天天开好彩】 | 【澳门天天免费精准大全】 | 【2024正版资料免费大全】 | 【2024新澳免费资料大全】 | 【新奥门资料大全免费澳门资料】 | 【新澳好彩免费资料查询最新版本下载安装】 | 【新奥资料免费精准大全】 |
推荐文章
不朽的爱国情怀:73年前的抗美援朝捐款故事
1分钟前:它们只是通过概率计算,根据输入生成新的单词序列,看起来像是具有知识和推理能力。...
深化“两新”工作 促进投资消费丨设备更新 河北工业企业加速“焕新”
1分钟前:具体表现为,不同模型的准确率下降幅度从9....
流浪猫遇零下7℃寒冷冬天,好心人搭建猫窝,定期喂食爱心满满
1分钟前:苹果公司最近的一项研究揭示了大语言模型(LLM)推理能力的“脆弱性”,表明即使是对查询的微小修改也会导致模型犯下重大错误。...
最新评论
谢恩·科尔曼 2024-11-14 15:22
即使是表现最好的GPT-4o,也因这些干扰信息丢失了30%的准确率。
IP:59.40.9.*
让-马利比诺什 2024-11-14 15:20
微小修改,大幅失误
IP:73.59.6.*
阿伦·马尔多纳多 2024-11-14 20:19
不过,苹果团队并没有直接使用这些现有的问题,而是进行了微小的修改——更换了数字、名字或物品——以确保模型无法依赖记忆中的训练数据解决问题。
IP:24.36.2.*