规模化预训练
围绕多模态数据配比、Scaling Law、MoE 负载均衡与稳定训练配方,持续提升单位算力的能力收益。
数据 → 配方 → 稳定扩展团队长期聚焦多模态模型、推理能力、生成编辑、Agent 与自进化,推动研究探索到真实商业场景落地,打造具备商业安全特色的大模型训练推理框架,保障商业内容理解、生态提升、内容安全健康发展。
基础设施支撑 Mamoda 模型基座与 Agentic 框架,并在真实场景中完成验证与持续演进。
如何将有效方法稳定扩展到更大规模、更长轨迹与真实生产系统。
围绕多模态数据配比、Scaling Law、MoE 负载均衡与稳定训练配方,持续提升单位算力的能力收益。
数据 → 配方 → 稳定扩展探索高效注意力、渐进式上下文训练与视觉 Token 压缩,让文本、图像和视频在超长上下文中统一建模。
长序列 → 多模态 → 高效记忆构建可验证、可防奖励投机的长轨迹环境,通过 RL & OPD、多教师能力融合和可控推理预算提升复杂任务执行能力。
环境 → Rollout → 能力融合围绕并行训练、持久化沙箱、KV Cache、推测解码与资源调度,打通训练、评估和线上推理的效率闭环。
训练 → 评估 → 部署围绕推理、感知、行动与系统四个长期边界持续探索,让模型能力从方法研究走向真实环境中的验证与演进。
模型如何在复杂规则和长上下文中持续提升判断能力,并通过自我奖励、主动学习与在线反馈不断进化。
探索连续与离散信号统一的表示与训练方法,建设交织生成与理解的模型。
如何让 Agent 在真实交互环境中具备更强的规划、执行与反思能力。
如何让模型在动态业务环境中持续学习、评估、优化,形成长期可扩展的能力演进闭环。