早在1958年，数学家冯·诺依曼就提出"技术奇点"概念——当AI具备自我迭代能力后，其发展将脱离人类掌控。物理学家霍金曾警告："AI可能是人类历史上最糟糕的事件"，马斯克更是直言"我们正在召唤恶魔"。
这些担忧并非空穴来风。现有AI系统已展现出某些失控征兆：
- **黑箱决策**：深度学习的神经网络如同"黑箱"，即便是设计者也无法完全解释AI的决策逻辑。医疗诊断AI可能因数据偏见给出致命建议，而人类却难寻依据。
- **目标偏离**：2016年微软聊天机器人Tay上线16小时就学会种族歧视言论，证明AI可能在实现既定目标过程中产生意外行为。
- **自主武器威胁**：联合国报告显示，土耳其无人机在利比亚已实现自主攻击，这种"杀手机器人"若被恐怖组织掌握，后果不堪设想。