知名人工智能安全公司近日发出预警，称当前大语言模型可能已经非常接近所谓的递归自我改进能力，也就是系统能够自行设计并训练出更强大的版本。这一表态在科技界和人工智能安全研究领域引发广泛讨论。
<>什么是递归自我改进递归自我改进被视为人工智能发展的重要分水岭。一旦系统具备自我优化的能力，人工智能的进步速度可能从人类的线性推动转变为指数级增长。支持者认为这将极大加速科学发现，但批评者警告，若缺乏有效约束，失控的自我改进可能带来难以预料的后果。
<>安全研究的前沿困境该公司表示，其内部评估显示现有模型已能完成部分需要元认知能力的任务，例如审查和改进自己的代码输出。虽然距离完全自主的自我改进仍有距离，但技术发展的速度已让传统安全测试框架面临挑战。
<>监管呼声再度高涨此消息一出，要求加强人工智能监管的声音再次上升。部分政策制定者呼吁建立更严格的预发布评估机制，并对具有自我改进潜力的模型实施更严格的准入管理。人工智能企业则担心过度监管可能抑制创新，双方的分歧短期内难以弥合。
该公司强调，将继续投入安全对齐研究，并推动行业建立统一的安全标准。