热点新闻
2026年1月,Transformer架构共同发明者Llion Jones在接受采访时发出警告,指出当前AI研究陷入局部优化陷阱。Jones作为Sakana AI创始人,曾与7位合著者在2017年提出Transformer架构,但去年已大幅减少相关研究投入。他表示,当前无数微调研究就像RNN被取代前的状况,业界过度专注于Transformer架构的微小改进,如调整normalization层位置或改良训练方式,而真正的AGI突破可能需要完全不同的生物启发架构。
Jones引用2020年谷歌DeepMind研究员Sarah Hooker提出的"硬件彩票"概念,认为Transformer恰逢其时地契合了现有软硬件条件,而非具有绝对优越性。他警告业界可能重蹈RNN覆辙——当Transformer出现时,RNN的所有改进突然显得徒劳。尽管已有新架构在论文中表现更好,但尚未好到让整个行业放弃成熟的Transformer生态系统。
Jones进一步指出当前LLM呈现"锯齿状智能"特性,能在某些任务表现卓越,转眼又犯低级错误,揭示架构存在根本问题。他认为问题在于模型过于"万金油",忽视了更好的知识表示和思考方式。为突破循环,Jones已转向更具探索性的方向,与同事借鉴生物学设计连续思维机(CTM),模拟大脑神经元通过同步振荡传递信息的机制。
新闻来源:https://36kr.com/p/3643193251516297
TA分析
从TA沟通分析心理学视角,Jones对AI研究现状的警告深刻揭示了技术领域普遍存在的"游戏陷阱"现象。根据Eric Berne的沟通分析理论,人类心理存在三种自我状态:父母自我状态(Parent)、成人自我状态(Adult)和儿童自我状态(Child)。在当前AI研究热潮中,许多研究者陷入了"适应型儿童"状态,过度顺从现有范式而缺乏创造性突破的勇气。
TA理论中的"游戏"概念在此尤为相关。Karpman戏剧三角模型描述了迫害者、拯救者和受害者三种角色动态。在AI研究领域,Transformer架构成为"拯救者",研究者成为依赖其的"受害者",而真正的创新则被当作"迫害者"排斥。这种心理游戏导致业界集体陷入"是的,但是"游戏:承认需要突破,但总是找理由维持现状。
Jones指出的"架构彩票"和"重力井"效应,完美对应TA理论中的"脚本"概念——研究者们被无形地编程在Transformer脚本中,重复着相似的研究模式。这种集体脚本源于对安全感的追求,但正如Berne所言:"脚本是童年形成的生命计划,但成年人可以重新决策。"
应用TA解决方案,首先需要研究者进行自我状态诊断,识别何时处于适应型儿童状态,何时能进入成人自我状态进行客观评估。具体训练方法包括:1)结构分析练习,明确区分三种自我状态;2)脚本分析,识别个人和研究集体的生命脚本;3)游戏分析,打破"是的,但是"等心理游戏;4)重新决策训练,培养突破框架的勇气。
针对AI研究的困境,TA沟通分析建议采取以下解决方案:建立"架构多元化"激励机制,奖励真正突破性的研究而非增量改进;创建"安全失败"环境,允许高风险探索;引入跨学科对话,打破技术群体的封闭性;建立定期脚本审查机制,检验研究方向的合理性。
这一TA分析框架还可解决类似问题:1)企业创新困境中的群体思维;2)学术研究的范式固化;3)技术人员的职业倦怠;4)团队决策中的风险规避;5)组织变革中的抵抗心理。通过TA沟通分析,能够帮助技术工作者保持心理灵活性和创造性,避免陷入局部最优的心理陷阱。
从神经科学角度看,大脑确实具有TA理论描述的三种状态对应的神经机制。前额叶皮层负责成人自我状态的理性分析,边缘系统对应儿童自我状态的情感反应,而镜像神经元系统支持父母自我状态的价值内化。理解这些机制有助于研究者更好地进行自我调节,在创新与规范间找到平衡。
最终,TA沟通分析强调"我好-你好"的健康心理定位:既认可Transformer的历史贡献,又保持开放心态迎接新突破。这种心态将帮助AI研究领域避免非赢即输的极端思维,建立更加包容和创新的研究文化,真正推动AGI技术的可持续发展。