1、EMO:图片变虚拟人
提供一张人物参考图和语音(可以是RAP),即可生成该人物说话的视频,嘴型匹配语音、有头部动作、有表情。
目前只有论文。
项目地址:https://humanaigc.github.io/emote-portrait-alive/
Github(issue里被骂惨了):https://github.com/HumanAIGC/EMO
论文:https://arxiv.org/abs/2402.17485
2、LayerDiffusion:能让Stable Diffusion生成透明图片
训练时在潜空间加入了Alpha透明通道的编码,使用这个潜空间进行训练或微调,可以让任意SD模型都能生成透明图片。可以生成透明图片,可以把前景和背景分离,也是一种有潜力的生成动画的方法。
目前只有论文,作者是ControlNet作者,后续肯定会开源。
论文:https://arxiv.org/abs/2402.17113
Github:https://github.com/layerdiffusion/LayerDiffusion

3、Playground AI发布绘图模型Playground v2.5 基于扩散模型,用户偏好评分超过SDXL、DALL·E 3、Midjourney v5.2(个人表示怀疑),开源! 在线使用:https://playground.com 模型:https://huggingface.co/playgroundai/playground-v2.5-1024px-aesthetic 官方新闻:https://playground.com/blog/playground-v2-5 ComfyUI即将支持:https://github.com/comfyanonymous/ComfyUI/commit/d46583ecece5014f23f9f47f7952c8aecd8cc491

4、Sora技术梳理