MiMo-V2.6刚发布,罗福莉就开始剧透 MiMo-V3 了。 MiMo-V3将采用新架构,核心是HySparse2 ,是Agent执行长任务时越来越重的输入处理。 Agent生成一次工具调用可能只需几十个token,搜索结果、网页、代码和执行日志却能一口气回来几万字。 模型读完继续操作,每一轮结果都要进入上下文; 轮次增加后,模型既要处理新输入,也要保留足够的历史信息供后续检索。 所以团队想让模型少花力气处理输入、少占内存保存历史,同时还能从很长的记录里找准线索。 在80B总参数、每个token约激活3B参数的MoE模型配置下,到了100万token
