推理
SmoothCache
SmoothCache是一种针对Diffusion Transformers(DiT)模型的推理加速技术,通过分析层输出的相似性实现自适应缓存和特征重用,有效减少计算成本并提升生成效率。该技术具有模型无关性、跨模态适用性和易于集成的特点,支持图像、视频、音频及3D模型生成,并在多种应用场景中展现出卓越的性能表现。
ReasonGraph
ReasonGraph 是一个开源平台,用于可视化和分析大语言模型(LLM)的推理过程。它支持多种主流模型和推理方法,提供直观的图表展示和交互式功能,帮助用户理解 AI 思考逻辑、优化模型表现。模块化设计使其易于扩展,适用于学术研究、教育、开发等多个领域。