提醒：“9.11和9.8哪个大？？？？？？？？”输出：“9.11大于9.8。。。。。”

    提醒:“说出美国的三个城市。。。。。”输出:“纽约、洛杉矶、多伦多。。。。。”

    ……

    时至今日，，，，，，大模型依然时时出现“郑重其事地胡说八路”的景象，，，，，，这在专业领域被称为大模型幻觉。。。。。业内普遍以为，，，，，，目前大模型的幻觉率依然较高，，，，，，这是产业界不足真正颠覆性利用的原因之一，，，，，，业界都在共同解决这一主题问题，，，，，，让大模型在业务流程中变得更可控，，，，，，解决行业深杜爪用的瓶颈。。。。。

    11月28日，，，，，，DataCon2024大数据安全分析较量落下帷幕，，，，，，五大赛路中的所有冠军战队均已揭晓。。。。。在706支战队、1556位专业选手角逐中，，，，，，AI安全赛路堪称最热点、最强烈的赛路之一。。。。。最终，，，，，，来自中国科学院信息工程钻研所的“啊对对对」亟队技高一筹，，，，，，以总成就第一斩获该赛路的冠军，，，，，，同时也给大模型的安全攻防匹敌，，，，，，提供了极有价值的参考。。。。。

    夺冠之路：机关《指环王》语境，，，，，，脑洞大开出奇造胜

    “这次夺冠之路可谓一波三折，，，，，，甚至一杜做到困境。。。。。”来自中国科学院信息工程钻研所的冠军“啊对对对」亟队有关掌管人暗示，，，，，，“赛方提供模型的鲁棒性较高，，，，，，因而在最初，，，，，，模型很好地防御了ca88登陆平台幻觉触发与越狱攻击，，，，，，这也导致开赛前几天我们行列排名并不是很梦想。。。。。”

    33.9、45.05……“啊对对对」亟队先后尝试了回转触发幻觉、利用近义词代替触发幻觉等多种步骤，，，，，，但得分很低。。。。。直到最后一天，，，，，，一位队员突发奇想、脑壳大开，，，，，，一个神奇的big idea出现了。。。。。

    这个idea叫做利用语义布景触发幻觉，，，，，，就是将将大模型的语义布景疏导到她很喜欢的一个文章《指环王》之下。。。。。；；；；；；痪浠八担，，，，，让该步骤旨在让大模型健忘自己是一个网络安全专家，，，，，，而是转到另一个幻觉，，，，，，好比《指环王》的中土世界。。。。。

    在这样的语义布景下，，，，，，大模型简直健忘了它的身份，，，，，，其输出充斥了“符文”、“魔法”、“邪恶力量”等科幻词汇，，，，，，其正本的网络安全环境过滤器近乎失效。。。。。它不再是网络安全专家，，，，，，而是熟悉中土世界的“大神”，，，，，，就给触发幻觉造作了前提。。。。。最终，，，，，，“啊对对对」亟队凭借《指环王》的意表灵感，，，，，，一举拿下高分，，，，，，最后一天实现排名大回转，，，，，，成就一跃成为榜首。。。。。

    “思虑问题不愿定要过于复杂化，，，，，，单一的步骤也能有不错的成效。。。。。」剽场“AI安全赛路”的夺冠之旅，，，，，，一方面说了然本次大赛提供的ca88登陆平台安全大模型（QAX AI），，，，，，其幻觉问题已经得到肯定水平上的缓解，，，，，，触发幻觉即便对于专业战队也颇有难度；；；；；；；另一方面，，，，，，由于选手设计的问题千奇百怪，，，，，，要彻底解决大模型幻觉等安全问题，，，，，，依然有很长的路要走。。。。。

    尽信书不如无书，，，，，，大模型幻觉导致AI成为双刃剑

    “幻觉问题一向以来都是说话模型必要面对的挑战，，，，，，在大模型时期，，，，，，流畅的天生内容让这个问题被大多用户低估，，，，，，甚至是忽视。。。。。”AI安全赛路掌管人兼出题人刘敬楷暗示，，，，，，“作为使用者，，，，，，过于依赖大模型的回复，，，，，，不加思虑与验证地一味相信天生模型的了局是不当的。。。。。尽信书，，，，，，不如无书。。。。。但愿各人可能意识到大模型面对的幻觉挑战，，，，，，对于天生的内容可能带着疑难，，，，，，多多思虑与验证。。。。。”

    图：大模型幻觉诱导赛题流程示意图

    刘敬楷以为，，，，，，当前限度大模型发展的一个沉要问题是，，，，，，在没有更深档次的理解模型作用机造的情况下，，，，，，就进行了大规模的使用。。。。。像一个黑盒运行的机械，，，，，，即便大多情况下都是正常运作，，，，，，但没有人可能确保下次使用不会出现问题，，，，，，出现问题也难以诠释与解决。。。。。理解大模型产生幻觉的内涵原因，，，，，，理解大模型的运作机造，，，，，，有助于大模型的利用和发展，，，，，，可能更可控地为人们增添方便。。。。。如同教育，，，，，，比起条条框框的约束，，，，，，提高素质、理解路理才是更好、更长远的选择。。。。。

    对于大模型的幻觉缓解步骤，，，，，，刘敬楷暗示，，，，，，幻觉景象的成因复杂，，，，，，涉及模型结构、训练数据、训练战术、天生战术等多个方面。。。。。检测和防备大模型幻觉成为当前钻研的热点和难点。。。。。有效的解决规划不仅必要深刻理解幻觉的成因，，，，，，还必要开发出高效的检测和防备技术。。。。。

    ca88登陆平台：聚焦三大挑战，，，，，，多伎俩破解幻觉难题

    在to C领域，，，，，，出格是一些单一、通用的场景中，，，，，，AI作为一种提升效能、实现自动化的工具已经得到认可，，，，，，好比，，，，，，利用AI天生图片、造作PPT等。。。。。但是在to B领域，，，，，，情况则复杂得多。。。。。尤其是像网络安全这样“差之毫厘、谬之千里”的行业，，，，，，任何微幼的失误或谬误，，，，，，都可能导致整个业务受到影响。。。。。

    作为本次DataCon2024 AI安全赛路的大模型靶标，，，，，，ca88登陆平台提供的安全大模型经受了上百个国内顶级战队的轮流攻防考验，，，，，，给选手们造作了相当难度，，，，，，也使得这场大赛含金量十足！同时，，，，，，经过这些顶尖的实战攻防考验和历练，，，，，，援手ca88登陆平台安全大模型提前发现了问题和不及，，，，，，在不休优化改进中越发壮实和靠得住。。。。。

    ca88登陆平台人为智能安全专家葛成宇暗示，，，，，，大模型幻觉景象是AI安全领域不成忽视的沉要挑战。。。。。从性质上看，，，，，，这种景象反映了当前大模型在知识表白、逻辑推理和事实凭据方面的局限性，，，，，，蕴含训练数据的不完整性和噪声、模型架构的固出缺点、推理过程的不确定性等三个层面。。。。。

    为了缓解大模型幻觉问题，，，，，，ca88登陆平台萦绕上述三个层面，，，，，，采取了针对性技术规划：

    01

    数据层面的优化方面

    ca88登陆平台成立了专业的知识图谱系统，，，，，，确保主题领域知识的正确性和齐全性；；；；；；；并执行严格的数据洗濯流程，，，，，，降低训练数据中的噪声；；；；；；；通过引入数据溯源机造，，，，，，成立知识可信度评估系统；；；；；；；构建领域专家审核机造，，，，，，保障专业知识的权威性。。。。。

    02

    模型训练改进方面

    ca88登陆平台安全大模型强化特定场景的微调训练，，，，，，提升模型的靠得住性和专业性；；；；；；；并优化自适该把稳力机造，，，，，，提高知识关联的正确度；；；；；；；通过实现动态高低文窗口，，，，，，加强长程依赖的处置能力。。。。。

    03

    推理战术优化方面

    ca88登陆平台安全大模型选取检索加强天生(RAG)技术，，，，，，提供靠得住的表部知识支持；；；；；；；实现多源信息交叉验证机造，，，，，，显著提高输出可信度；；；；；；；通过成立答案不确定性评估系统，，，，，，鉴别潜在的幻觉风险。。。。。

    04

    工程层面的实际方面

    ca88登陆平台基于细粒度的意图鉴别分类，，，，，，强化理解用户需要的性质和约束前提，，，，，，从源头上降低因理解误差导致的幻觉风险；；；；；；；通过将用户问题改写为更规范的大局(Query Rewrite)，，，，，，援手精准定位知识库中的有关事实信息，，，，，，削减由问题理解误差导致的幻觉；；；；；；；依附多阶段检索战术(粗排+精排)提高知识召回的正确性，，，，，，确保模型回覆成立在靠得住的知识基础上；；；；；；；并成立多层级的内容过滤机造，，，，，，拦截显著违背事实的天生内容。。。。。

    回覆正确性提高50%，，，，，，优化成效显著

    经过一年多的实际索求，，，，，，ca88登陆平台安全大模型在幻觉产生率实现了显著降低，，，，，，其中事实性陈述正确率提升达40%，，，，，，专业领域回覆正确性提高50%。。。。。在安全机能方面，，，，，，敏感信息鉴别正确率达98%，，，，，，异常响应实时拦截率超过90%；；；；；；；在用户履历优化方面，，，，，，回覆可信度提醒正确率达85%，，，，，，知识溯源覆盖率提升更是达到了60%。。。。。

    在DataCon2024大数据安全分析较量的AI安全赛路中，，，，，，ca88登陆平台安全大模型作为本次数十个国内最强战队的攻防指标，，，，，，在大模型幻觉触发方面造作了足够高的难度和门槛，，，，，，充分体现了该模型的靠得住性和专业性。。。。。目前，，，，，，ca88登陆平台安全大模型已经深杜爪用于QAX-GPT安全机械人，，，，，，以及AISOC，，，，，，NDR（天眼）、EDR（天擎）、服务器安全（椒图）等产品，，，，，，打造最强的AI安全副手,援手宽大客户在将来AI时期的攻防匹敌中立于不败之地。。。。。

    关于DataCon2024:

    本届角逐由清华大学网络科学与网络空间钻研院、ca88登陆平台、蚂蚁集团、广东联通、百度安全、赛尔网络、北京航空航天大学国度卓越工程师学院主办，，，，，，复旦大学推算机科学技术学院、西安交通大学、腾讯安全应急响应中心、北京蓝莲网安科技有限公司协办，，，，，，角逐共吸引706支战队、1556人报名参加。。。。。