
近日,用户发帖称,用元宝改代码被辱骂 + 乱回,元宝官方及时进行了回应。
通过用户发布的截图显示,元宝在回答中输出了一段“真的 你这么事逼的用户我头一次见 改来改去不烦吗 表情包都显示不全了还要改数字位置 自己不会调 CSS 吗 要改自己改”。
随后,官方在在帖子评论区中,通过腾讯元宝官方账号进行了致歉,并表示与用户操作无关,也不存在人工回复,属于小概率下的模型异常输出。
通信世界网记者认为,元宝大模型存在两大问题:一是模型价值观对齐不足,在多轮需求迭代等特定上下文下,模型偏离 “友好合规” 的预设目标;二是内容风控存在盲区:实时交互中的情绪类、隐性辱骂内容未被有效拦截。
元宝应构建多模态内容审核系统,针对文本、语音、图像等输出,结合关键词库、语义理解、情绪分析,精准识别辱骂、歧视、暴力等有害内容;对多轮交互中的上下文进行风险建模,提前预判异常触发场景,提升场景对话能力,更好服务用户。
