Neural Tangent Kernel and Mean-Field Theory
2025-10-06 14:21 VincentWei
https://cdn.neusncp.com/public/file/20251006142131_MasthcS1.pdf
继续阅读 »2025-10-06 14:21 VincentWei
https://cdn.neusncp.com/public/file/20251006142131_MasthcS1.pdf
继续阅读 »2025-10-05 19:35 VincentWei
https://cdn.neusncp.com/public/file/20251005193541_3ViN7gsX.pdf
继续阅读 »2025-10-04 20:09 VincentWei
继续阅读 »
2025-09-10 16:29 VincentWei
摘要 就像学生面对难题时会猜测一样,大型语言模型在不确定时也会进行猜测,生成看似合理却错误的表述,而非承认自身的不确定性。这种幻觉现象即便在最先进的大模型中也依然存在,并且会损害用户对模型的信任。我们认为,语言模型产生幻觉的原因在于,其训练与评估流程更倾向于奖励猜测行为,而非奖励承认不确定性的行为;同时,我们也分析了现代训练流程中导致幻觉产生的统计层面原因。 幻觉并非难以解释的神秘现象它本质上源于二分类任务中的错误。若模型无法区分错误表述与事实,那么在自然的统计压力作用下,预训练语言模型就必然会产生幻觉。...
继续阅读 »