用自然语言控制MMD动作与表情:PoPo工具全解析

PoPo 是一款面向 MikuMikuDance(MMD)动画创作的开源工具,它最大的特点在于:用户仅需输入简单的自然语言描述,就可以生成角色的姿势动作与面部表情。无需手动调整骨骼或Morph,PoPo 自动将语句转换为结构化脚本,直接驱动角色表演。


核心功能概览

PoPo 能识别类似「挥右手、大笑邀请晚餐」这类自然语句,并生成结构化的MPL(MMD Pose Language)代码,精准控制角色的骨骼、手指、面部表情等部分。整个渲染过程流畅自然,针对日系角色骨骼结构和物理机制做了特别优化,使动作更具真实感。


技术架构一览

PoPo 的技术栈设计简洁高效:

  • 前端:基于 Next.js + TypeScript,UI部分采用 shadcn/ui
  • 动画渲染:使用 Babylon.js 和 babylon-mmd 插件实现三维角色动画
  • 语言处理:通过精调后的 GPT‑4o‑mini 模型,将自然语言精准映射为 MPL 脚本
  • 部署平台:托管于 Vercel,支持快速访问与迭代开发

MPL语言的优势

与传统的动画姿势控制方式相比,MPL 语义语言更直观、易于阅读和调试。它避免了复杂的数学模型(如四元数)的干扰,能更稳定地生成符合人体运动规则的动作结果。输出的脚本格式结构清晰,便于后续修改或复用。


示例训练结构

PoPo 的训练集采用如下对话结构来强化语言到动作的映射能力:

{
"messages":[
{"role":"system","content":"Generate MMD Pose Language (MPL) script from description."},
{"role":"user","content":"Description: arms down"},
{"role":"assistant","content":"arm_l bend forward 40;arm_r bend forward 40;"}
]
}

这种方式能快速训练模型,确保输出结果的一致性与可调性。


背景与社区演进

PoPo 的前身是 MiKaPo 项目,起初是通过 MediaPipe 捕捉用户姿势,再映射至 MMD 模型。而 PoPo 直接省去中间步骤,从文本指令生成 MPL 控制脚本,极大简化了创作流程。目前训练集已收录约 160 个标准姿势样本,模型表现稳定,欢迎用户贡献更多训练数据,进一步丰富动作库。


如何使用 PoPo

访问在线演示平台:https://popo.love,选择如「深空之眼 三相·梵天『无间玩伴』」等模型,输入自然语言描述即可体验自动生成的动作与表情效果。项目源码与文档已发布至 GitHub,采用 GPL-3.0 开源协议,开发者可自由下载、修改或二次开发。


下载地址

https://popo.love/

© 版权声明
THE END
喜欢就支持一下吧
点赞457 分享
评论 抢沙发

请登录后发表评论

    暂无评论内容