EMO:Emote Portrait Alive - 在弱条件下使用 Audio2Video 扩散模型生成富有表现力的人像视频
我们提出了EMO,一个富有表现力的音频驱动的纵向视频生成框架。 输入单个参考图像和人声音频,例如说话和唱歌,我们的方法可以生成具有富有表现力的面部表情和各种头部姿势的发声头像视频, 同时,我们可以根据输入视频的长度生成任意时长的视频。
让肖像歌唱
输入单个字符图像和语音音频,我们的方法可以生成具有富有表现力的面部表情和各种头部的声音头像视频,同时,我们可以根据输入音频的长度生成任意时长的视频。 我们的方法也可以在较长时间内保留字符的标识。
不同的语言和肖像风格
我们的方法支持各种语言的歌曲,并使不同的肖像风格栩栩如生。 它可以直观地识别音频中的音调变化,从而生成动态、 表情丰富的头像。
快速节律
被驱使的头像可以跟上快节奏的节奏, 保证即使是最快速的歌词也能与富有表现力和动态同步 角色动画。
与不同的角色交谈
我们的方法不仅限于处理歌唱的音频输入,还可以容纳口语 各种语言的音频。 此外,我们的方法能够为过去时代的肖像、绘画、 以及 3D 模型和 AI 生成的内容,为它们注入了逼真的动作和真实感。
跨角色性能
探索我们方法的潜在应用, 这使得电影角色的肖像能够以不同的方式提供独白或表演语言和样式。 我们可以扩大多语言和多元文化中人物刻画的可能性上下文。
(阿里智能计算研究院)
免责声明:本网站仅提供网址导航服务,对链接内容不负任何责任或担保。
1 年前
阿里推出新夸克,集成AI对话、深度搜索、深度执行等功能,标志着其从搜索引擎向AI Agent的转型。 新夸克接入通义系列模型,用户规模超2亿,DAU达3430万,位居AI应用榜首。

1 年前
3月6日凌晨,阿里巴巴发布并开源全新的推理模型通义千问QwQ-32B: 模型性能 媲美大参数模型:拥有320亿参数,性能可与具备6710亿参数(其中370亿被激活)的DeepSeek - R1媲美,很大程度上证明了参数规模不再是模型性能的决定性因素。 超越同类模型:在一系列权威基准测试中表现出色,几乎完全超越了OpenAI去年9月发布的尺寸相近的o1 - mini模型。在测试数学能力的AIME24评测集、评估代码能力的LiveCodeBench中,表现与DeepSeek - R1相当,远胜于o1 - mini及相同尺寸的R1蒸馏模型;在LiveBench、谷歌提出的IFEval评测集、加州大学伯克利分校等提出的BFCL测试中,得分均超越了DeepSeek - R1。 技术特点 本地部署优势:突破性地让高性能推理模型在消费级显卡上实现本地部署,英伟达4090的增强版就能部署,大幅降低了模型应用成本,成本是R1的1/10以内,更利于推理模型的应用和普及。 集成Agent能力:集成了与智能体(Agent)相关的能力,使其能够在使用工具的同时进行批判性思考,并根据环境反馈调整推理过程。 大规模强化学习:在冷启动的基础上,针对数学和编程任务、通用能力分别进行了两轮大规模强化学习,在32B的模型尺寸上获得了令人惊喜的推理能力提升,印证了大规模强化学习可显著提高模型性能。与依赖传统的奖励模型不同,通过校验生成答案的正确性来为数学问题提供反馈,并通过代码执行服务器评估生成的代码是否成功通过测试用例来提供代码的反馈。 开源情况:采用Apache 2.0开源协议,已在魔搭社区、HuggingFace及GitHub等平台开源,所有人都可免费下载及商用QwQ - 32B模型,可通过网页版Qwen Chat进行体验,也将免费上架通义APP。

1 年前
11月12日,阿里在海外推出对话式AI搜索引擎 Accio,面向全球商家开放,这是全球第一个B2B领域的AI搜索引擎。 Accio 的页面主体是对话框,产品形态类似于 AI 搜索引擎 Perplexity,定位是个人采购代理。 当用户输入需求之后,它会通过供货商、定制范围、价格、终端零售销量、客户评价等信息筛选,输出符合的商家和商品。 Accio 意在整合全球超过 3000 万家参与跨境贸易的供应链企业信息,作为对比,阿里国际站收录的商家数量为 25 万个。

1 年前
找到一个满意的域名平均需要查询50次以上,而智能起名应用则能一键完成这一过程,使域名注册从“拼脑力”进入“拼算力”时代。

9 天前
西门子Xcelerator开放式数字商业平台作为正式发布生态合作伙伴"繁星计划",旨在发挥平台网络效应,与生态伙伴共享知识与技术资源,共创面向客户的解决方案,共赢数字化与低碳化新机遇。

14 天前
AI 研发已从单点 Prompt 优化迭代至Harness 工程底座 + Loop 自治闭环 + SDD 标准化规范的三位一体体系,通过重构人机协作模式,解决大模型落地不稳定、难规模化的痛点,实现企业级 AI 从原型试用走向工程化、自动化、体系化落地。

19 天前
WorkBuddy有望拿下国内独立桌面自动化办公智能体细分第一。但受企业协同生态、移动端能力等短板限制,无法成为全域企业及全球办公AI赛道第一名,将与钉钉悟空、WPS AI形成差异化竞争格局。

26 天前
OpenClaw工具与生态完整生命周期判断 本文尝试分短期、中期、长期三段,结合项目现状、风险、护城河客观测算OpenClaw这款智能体工具或者相似工具的发展趋势。 一、短期生命力(1~3年,2026–2029):完全安全、高速增长,是黄金运营窗口期 支撑理由 赛道刚需独一无二,差异化壁垒极强 OpenClaw是极少数本地系统级执行、模型无关、纯自托管的终端Agent运行框架,定位“能操作电脑文件、软件、桌面的AI助手”,区别于LangGraph/CrewAI这类后端开发框架、AutoGPT纯实验型智能体。普通办公、个人自动化、小微企业没有替代同类成熟开源工具,C端+中小企业需求持续释放。 社区与生态飞轮已经跑通 GitHub 30万+星标、近千名全球持续贡献者,日均数百条PR/Issue迭代,更新频率行业第一;创始人Peter全职维护,大厂(英伟达、Kimi、MiniMax)主动适配接入; ClawHub官方技能仓库沉淀数千标准化Skill,国内衍生生态(xia345、各类中文技能站、私有化二次改版)持续扩容,形成标准锁定; MIT宽松开源协议,允许企业二次改造、搭建托管服务,大量服务商入局完善配套生态(部署、安全加固、私有化定制)。 行业周期红利:本地终端Agent处于普及早期 2026被行业定义为桌面Agent落地元年,云端大模型成本持续下行、本地Ollama离线模型普及,完美匹配OpenClaw“本地优先”架构;未来3年,个人自动化、企业内网办公自动化需求只会扩张。 短期仅有的可控风险 Token调用成本偏高、频繁更新易出现版本兼容bug、本地高权限带来安全隐患; 以上问题官方正在持续迭代修复,企业级备份、权限沙箱、日志审计功能已逐步补齐,属于可优化痛点,不会动摇存续根基。 结论:未来1–3年是生态最繁荣、流量最大、变现最顺畅的阶段。 二、中期生命力(3~7年,2029–2033):稳定存续,但竞争加剧、增速放缓 存续核心逻辑 标准化生态具备长期锁定效应 SKILL.md、ClawHub统一技能规范、openclaw CLI命令行已经形成行业事实标准。就算出现竞品,开发者、存量数万套技能、企业定制项目迁移成本极高,生态不会短时间崩塌,会维持稳定使用人群。 分层商业模式支撑项目持续维护 原生项目开源免费,但周边商业化闭环成型:企业私有化部署服务、安全审计、托管云服务、垂直行业技能付费、模型渠道分销,持续产生现金流反哺社区开发,不会出现“没人维护停更”的局面。 使用人群分层留存 C端极客、办公自动化爱好者会长期使用; 中小企业内网自动化、数据处理场景高度依赖本地执行Agent,大厂SaaS Agent无法满足内网隐私需求; 开发者持续基于OpenClaw做二次分支、私有化改版,衍生生态会持续分流、延续整个“龙虾生态”的热度。 中期衰减变量(会降低增速,但不会淘汰项目) 微软、苹果、国产操作系统推出原生系统级AI助手,抢占普通小白用户; 新轻量化终端Agent开源框架分流开发者; 各国监管对本地高权限AI自动化工具出台更严格合规要求,提高企业落地门槛; 结论:3–7年不会消亡,但行业从爆发期进入存量竞争,流量红利收窄,平台需要深耕私有化、企业定制、垂直细分赛道才能持续盈利。 三、长期生命力(7年以上,2033之后):分两种极端走向 走向1:长期持续存活(概率60%),变成基础设施级工具 如果行业发展符合以下趋势,OpenClaw会像现在的Python、Git一样长期存续: 终端自主Agent成为电脑标配生产力工具,本地执行、离线隐私是永久刚需; OpenClaw持续完成企业级、合规化改造,成为政企内网自动化标准选型; 社区形成基金会/商业公司承接维护,摆脱单一创始人依赖,实现长久开源运营。 走向2:逐步边缘化、被新一代架构替代(概率40%) 触发条件: 操作系统底层内置标准化Agent执行层,统一API,第三方独立运行框架失去生存空间; 多模态、具身智能技术迭代,全新架构完全替代“技能+本地脚本执行”模式; 全球监管全面限制本地高权限自主AI工具,商用落地基本锁死,仅小众极客圈子留存。 即便被边缘化,存量存量技能、配套站点、私有部署项目仍会维持5–10年长尾生命周期,不会瞬间彻底消失。 四、关键风险:会大幅缩短生命周期的致命隐患 安全重大事故 若出现大规模Skill供应链投毒、批量本地数据泄露事件,企业端市场会快速萎缩,仅保留个人玩家生态;官方正在完善自动病毒扫描、技能审核机制,风险持续降低。 创始人断更、无承接主体 当前项目由Peter单人主导,若后续精力转移、无商业公司接手维护,迭代速度断崖式下滑,竞争力快速落后竞品;目前已有多家AI服务商、模型厂商深度合作,存在接手预期。 算力成本长期居高不下 如果大模型API按量价格无法大幅下降,普通用户长期使用成本过高,会劝退大众用户,仅留存企业付费群体。 国内政策监管收紧 国内针对本地自主自动化工具出台限制,国内衍生生态、配套导航平台流量大幅下滑,但海外生态不受影响。 五、综合最终总结 0–3年(黄金期):放心投入建站、填充内容、运营变现,生态高速扩张,流量红利充足; 3–7年(平稳期):生态稳定存在,竞争变多,需要走差异化(私有化、离线、海外双语)路线维持竞争力; 7年以上(分化期):要么成为长期基础设施永续存在,要么逐步小众长尾,即便衰退也有数年缓冲时间; 整体安全底线:至少拥有5年以上稳定商业运营周期,足够覆盖站点开发、回本、盈利完整周期;中长期只要避开通用综合赛道,主打本地离线私有化细分,生命周期会进一步拉长。