必一(中国) DreamLite: 字节开源 0.39B 端侧文生图+剪辑一体化模子

中枢破损:三重"不成能"变可能维度传统有盘算DreamLite参数目 FLUX.1-Dev: 12B (30倍) 0.39B (390M) 功能 文生图/剪辑需两个模子 单一收罗二合一部署 需 GPU 做事器 手机 1 秒出图本体:通过架构改革 + 考试政策,在极小参数目下竣事大模子级体验
技艺架构:四大中枢模块剪枝 U-Net 主干收罗减少 Transformer 块数目摄取深度可分离卷积使用 MQA(Multi-Query Attention)裁汰计较量TinyVAE(2.5M)极轻量图像编解码器果然不占算力预算,专注保留高频细节Qwen3-VL-2B 文本编码器充分剖释中英文提示为生成与剪辑提供颐养语义锚点In-Context 任务颐养机制(中枢改革)graph LR
A[输入拼接] --> B{任务类型}
C --> E[颐养U-Net解决]
D --> E
E --> F[输出收敛]上风:磨灭要求通路,必一体育靠任务 token 差异意图,无需双套权重
四阶段渐进式考试T2I 预考试:配置翰墨→图像映射基础Edit 预考试:学习源图+提示→盘算图调遣蚁集考试 + SFT + RL:蚁集考试摒除梯度冲突提示微调普及语义对王人强化学习优化输出质地DMD2 步数蒸馏:20-50步 → 4步,速率普及 5-10 倍性能实测:小模子碾压大模子模子参数目GenEval ↑DPG ↑ImgEdit ↑ FLUX.1-Dev
12B
0.67
84.0
3.86
SANA-1.6B
1.6B
0.66
83.6
- DreamLite0.39B0.7285.84.11 端侧推感性能迷惑:小米 14 手机分辨率:1024×1024速率:步数:4 步(vs 老例 20-50 步)三大行业真义端侧民主化无需云表 API / 订阅费 / 联网秘籍保护 + 离线场景 + 收罗受限地区友好生成×剪辑一体化告别 Midjourney + Photoshop 双责任流单一模子完成从创意到精修全历程效果-质地新范式讲明"大参数 ≠ 高质地"为轻量化扩散模子提供可复用工程旅途快速上手# 1. 克隆仓库
git clone https://github.com/ByteVisionLab/DreamLite.git
cd DreamLite
# 2. 安设依赖
pip install -r requirements.txt
# 3. 下载权重(~800MB)
# 按 README 从 HuggingFace 下载
# 4. 启动推理
python inference.py --task t2i --prompt "一只戴着墨镜的柴犬"
python inference.py --task edit --source_image input.jpg --prompt "把配景换成海滩"功能扩张:作风移动、局部重绘、参考图生成芯片适配:Apple Silicon、骁龙 8 Gen 系列系统集成:与手机原生相机 App 深度会通必一(中国)
九游体育中国体育服务中心