视频

FunClip

FunClip是一款由阿里巴巴达摩院通义实验室开发的开源、本地部署的视频剪辑工具。它主要通过自动化语音识别技术,帮助用户基于语音转文字的结果,选择特定文本片段或说话人进行视频剪辑。其特点包括高精度的中文ASR模型、热词定制化、说话人识别功能、Gradio交互界面,以及支持多段剪辑和自动生成SRT字幕文件。

DiTCtrl

DiTCtrl是一种基于多模态扩散变换器架构的视频生成工具,能够利用多个文本提示生成连贯且高质量的视频内容,无需额外训练即可实现零样本多提示视频生成。它通过KV共享和潜在混合策略优化不同提示间的平滑过渡,同时在MPVBench基准上表现出色,适用于电影、游戏、广告及新闻等多个领域。

MultiPost

可辅助你通过自动化的方式规划自媒体的内容发布,一键将内容发布到多个平台,开源免费。

Phantom

Phantom是由字节跳动研发的视频生成框架,支持从参考图像中提取主体并生成符合文本描述的视频内容。它采用跨模态对齐技术,结合文本和图像提示,实现高质量、主体一致的视频生成。支持多主体交互、身份保留等功能,适用于虚拟试穿、数字人生成、广告制作等多种场景。模型基于文本-图像-视频三元组数据训练,具备强大的跨模态理解和生成能力。

StreamBridge

StreamBridge是一款由苹果与复旦大学联合开发的端侧视频大语言模型框架,支持实时视频流的理解与交互。通过内存缓冲区和轮次衰减压缩策略,实现长上下文处理与主动响应。项目配套发布Stream-IT数据集,包含60万样本,适用于多种视频理解任务,展现出在视频交互、自动驾驶、智能监控等领域的应用前景。

Video Studio

一款利用先进AI技术将文本和图像转换为视频的工具,用户可以通过简单的操作,将文字或图片上传至平台,AI会自动生成高质量的视频。

Luma Ray2

Luma Ray2 是 Luma AI 推出的视频生成模型,基于多模态架构,支持文本和图像输入,生成高质量、连贯的视频内容。相较前代,视频时长从 5 秒提升至 1 分钟,支持电影级运镜和逼真特效,适用于影视制作、广告、游戏动画及教育等多个领域。

Stability AI

Stability AI提供了一套完整的生成式AI模型,覆盖图像、视频和音频等多个领域,旨在推动AI技术的普及和应用。

Mora

Mora是一个多智能体框架,专为视频生成任务设计,通过多个视觉智能体的协作实现高质量视频内容的生成。主要功能包括文本到视频生成、图像到视频生成、视频扩展与编辑、视频到视频编辑以及视频连接。尽管在处理大量物体运动场景时性能稍逊于Sora,Mora仍能在生成高分辨率视频方面表现出色。