阿里开源动作生成模型Wan2.2
9月19日消息,阿里阿里开源全新动作生成模型通义万相Wan2.2-Animate,开源该模型同时支持动画和替换两种模式,动作输入一张角色图片和一段参考视频,生成可将视频角色的模型动作、表情迁移到图片角色中,阿里赋予图片角色动态表现力;同时还可在保留原始视频的开源动作、表情及环境的动作基础上,将视频中的生成角色替换为图片中的角色。该模型支持驱动人物、模型动漫形象和动物照片,阿里可应用于短视频创作、开源舞蹈模板生成、动作动漫制作等领域。生成
去年年初,阿里推出了Animate Anyone模型,基于该模型的「全民舞王」功能一度火爆全网,兵马俑、萌宠跳科目三的视频在社交平台刷屏。但此前的技术框架无法同时控制动作、表情和环境交互,生成的视频依旧存在不自然的问题。
此次,通义万相团队构建了一个涵盖说话、面部表情和身体动作的大规模人物视频数据集,并基于通义万相图生视频模型进行后训练。Wan2.2-Animate将角色信息、环境信息和动作等,规范到一种统一的表示格式,实现了单一模型同时兼容两种推理模式;针对身体运动和脸部表情,分别使用骨骼信号和隐式特征,配合动作重定向模块,实现动作和表情的精准复刻。在替换模式中,团队还设计了一个独立的光照融合LoRA,用于保证完美的光照融合效果。
实测结果显示,Wan2.2-Animate在视频生成质量、主体一致性和感知损失等关键指标上,超越了StableAnimator、LivePortrait等开源模型,是目前性能最强的动作生成模型,在人类主观评测中,Wan2.2-Animate甚至超越了以 Runway Act-two代表的闭源模型。
自今年 2 月以来,通义万相已连续开源20多款模型,在开源社区和三方平台的下载量已超3000万,是开源社区最受欢迎的视频生成模型之一。通义万相模型家族已支持文生图、文生视频、图生视频、人声生视频和动作生成等10多种视觉创作能力。
- ·XGP四月下旬阵容公布!《Kiln》《远日点》等新作入库
- ·泉州古建匠人:剪瓷雕刻街巷风景
- ·慈世平:麦蒂天赋比肩乔丹科比 盼退役前再夺冠
- ·厦门空港出入境客流 清明假期创十年新高
- ·猫眼娱乐成首批接入微信AI生态团队,打造智能化票务新体验
- ·4D瓷砖效果图制作技巧
- ·企业的坏账信用险是什么?企业的坏账信用险怎么理赔?
- ·厦门首个聚焦新就业群体税费服务驿站启用
- ·天长市法院开展国际档案日主题宣传活动_
- ·“反向旅游”兴起 年轻人的口味为啥变了?
- ·“反向旅游”兴起 年轻人的口味为啥变了?
- ·泉州警方破获特大网络赌博案 投注额超三百亿元
- ·颗粒归仓抢农时——全椒县夏收一线见闻_
- ·巴克利喷勇士"女子篮球队" 科尔:他和我们有仇
- ·女模特Mara Martin边哺乳边走秀 网友:这是在剥削自己的孩子
- ·厦门大学强基计划招生方案出炉
- ·速卖通618战报:品牌成交同比增长90%,多类目涌现百万美金冠军
- ·市区道路及公园园路盲道专项整治 泉州力争月底前完成
- ·2021年泉州市文化和旅游消费季启动
- ·优待证持有人每月发600元?汉阴县退役军人事务局辟谣:纯属骗局!
- ·肯德基、蜜雪冰城、瑞幸、高德打车、滴滴等首批接入支付宝AI开放平台
- ·天下財經週報:年後台股怎麼走?春節有哪些重要國際財經大事|天下雜誌
- ·厦门很多路边的芒果熟了 挂在树上黄灿灿非常漂亮
- ·川普對付墨西哥,台灣電子五哥遭殃?鴻海已佈局德州,為何廣達衝擊最小?|天下雜誌
- ·7.3折!近5年折扣力度最大的一届天猫618,5月21日正式开卖
- ·1日NBA:威少拥抱前主帅 劳森玩摔跤制服考辛斯
