基于特征增强的轻量化高效扩散模型 #

刘晓斌，张师林**

（北方工业大学电气与控制工程学院，北京市 100144）

North China University of Technology, School of Electrical and Control Engineering, Beijing 100144, China；North China University of Technology, School of Electrical and Control Engineering, Beijing 100144, China北方工业大学电气与控制工程学院，北京市 100144;北方工业大学电气与控制工程学院，北京市 100144100144;10014417736718839;1352198438017736718839;13521984380北京市石景山区晋元庄路3号北方工业大学;北京市石景山区晋元庄3号北方工业大学3529235910@qq.com;13521984380@126.com刘晓斌（2001-），男，现为北方工业大学大学电气与控制工程学院控制科学与工程方向的硕士研究生，导师为张师林教授。研究主要集中在世界模型、自动驾驶以及神经渲染的应用，特别是基于大模型多代理协作的交通场景仿真方法研究。;张师林（1980-），男，副教授、硕导，计算机视觉刘晓斌;张师林liuxiaobin;zhangshilin张师林北方工业大学毓秀创新项目资助(2024NCUTYXCX108)2.02.02.02.02.02.02.02.02.02.02.02.02.02.02.0

1*|*期刊*|*William Peebles, Saining Xie：Scalable Diffusion Models with Transformers. arXiv:2212.09748.<CR>2*|*期刊*|*Yuchuan Tian, Zhijun Tu, Hanting Chen, et al：U-DiTs: Downsample Tokens in U-Shaped Diffusion Transformers. arXiv:2405.02730.

<CR>3*|*期刊*|*Fan Bao, Shen Nie, Kaiwen Xue, Yue Cao, Chongxuan Li, Hang Su, and Jun Zhu.All are worth words: A vit backbone for diffusion models.In IEEE/CVF Conference on Computer Vision and Pattern Recognition, CVPR 2023, Vancouver, BC, Canada, June 17-24, 2023, pages 22669–22679. IEEE, 2023.

<CR>4*|*期刊*|*Tim Brooks, Bill Peebles, Connor Holmes, Will DePue, Yufei Guo, Li Jing, David Schnurr, Joe Taylor, Troy Luhman, Eric Luhman, Clarence Ng, Ricky Wang, and Aditya Ramesh.Video generation models as world simulators.2024.

<CR>5*|*期刊*|*Han Cai, Junyan Li, Muyan Hu, Chuang Gan, and Song Han.Efficientvit: Multi-scale linear attention for high-resolution dense prediction.arXiv preprint arXiv:2205.14756, 2022.

<CR>6*|*期刊*|*He Cao, Jianan Wang, Tianhe Ren, Xianbiao Qi, Yihao Chen, Yuan Yao, and Lei Zhang.Exploring vision transformers as diffusion learners.CoRR, abs/2212.13771, 2022.

<CR>7*|*期刊*|*Hanting Chen, Yunhe Wang, Tianyu Guo, Chang Xu, Yiping Deng, Zhenhua Liu, Siwei Ma, Chunjing Xu, Chao Xu, and Wen Gao.Pre-trained image processing transformer.CoRR, abs/2012.00364, 2020.<CR>8*|*期刊*|*Ahmadzadeh, A., Mahajan, S. S., Kempton, D. J., Angryk, R. A., & Ji, S. 2019, in 2019 IEEE International Conference on Big Data (Big Data), 4932–4941, doi: 10.1109/BigData47090.2019.9006340.

<CR>9*|*期刊*|*Antiochos, S. K., MacNeice, P. J., & Spicer, D. S. 2000, ApJ, 536, 494, doi: 10.1086/308922.<CR>10*|*期刊*|*Delouille, V., Hofmeister, S. J., Reiss, M. A., et al. 2018, in In: Machine Learning Techniques for Space Weather, 365–395, doi: 10.1016/B978-0-12-811788-0.00015-9.

<CR>11*|*期刊*|*Guo, X., Yang, Y., Feng, S., et al. 2022, Sol. Phys., 297, 104, doi: 10.1007/s11207-022-02019-z.

<CR>12*|*期刊*|*Jiang, W., & Li, Z. 2024, Universe, 10, 381, doi: 10.3390/universe10100381.

<CR>13*|*期刊*|*Xiaohan Ding, Xiangyu Zhang, Ningning Ma, Jungong Han, Guiguang Ding, and Jian Sun.Repvgg: Making vgg-style convnets great again.In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 13733–13742, 2021.

<CR>14*|*期刊*|*Shanghua Gao, Pan Zhou, Ming-Ming Cheng, and Shuicheng Yan.Mdtv2: Masked diffusion transformer is a strong image synthesizer, 2024.

<CR>15*|*期刊*|*Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, and Neil Houlsby.An image is worth 16x16 words: Transformers for image recognition at scale.CoRR, abs/2010.11929, 2020.

<CR>16*|*期刊*|*Ali Hatamizadeh, Jiaming Song, Guilin Liu, Jan Kautz, and Arash Vahdat.Diffit: Diffusion vision transformers for image generation.CoRR, abs/2312.02139, 2023.

<CR>17*|*期刊*|*Yawei Li, Yuchen Fan, Xiaoyu Xiang, Denis Demandolx, Rakesh Ranjan, Radu Timofte, and Luc Van Gool.Efficient and explicit modelling of image hierarchies for image restoration.In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 18278–18289, 2023.

基于特征增强的轻量化高效扩散模型|Lightweight and Efficient Diffusion Model Based on Feature Enhancement|北方工业大学毓秀创新项目资助(2024NCUTYXCX108)|1|刘晓斌|liuxiaobin|北方工业大学电气与控制工程学院，北京市 100144|North China University of Technology, School of Electrical and Control Engineering, Beijing 100144, China|刘晓斌（2001-），男，现为北方工业大学大学电气与控制工程学院控制科学与工程方向的硕士研究生，导师为张师林教授。研究主要集中在世界模型、自动驾驶以及神经渲染的应用，特别是基于大模型多代理协作的交通场景仿真方法研究。|北京市石景山区晋元庄路3号北方工业大学|100144|3529235910@qq.com|17736718839|17736718839<CR>*|2|张师林|zhangshilin|北方工业大学电气与控制工程学院，北京市 100144|North China University of Technology, School of Electrical and Control Engineering, Beijing 100144, China|张师林（1980-），男，副教授、硕导，计算机视觉|北京市石景山区晋元庄3号北方工业大学|100144|13521984380@126.com|13521984380|13521984380

摘要：扩散模型在图像生成领域取得了显著进展，但其在潜在空间的图像生成质量仍有改进空间。U-DiT作为一种结合 U-Net 和 Transformer 的高效扩散模型，在图像生成任务中表现出色，然而其特征表示能力尚待进一步优化。本文提出了一种基于通道间依赖的特征增强方法Channel-Correlation Adaptive Recalibration (CCAR)，通过在Transformers块的自注意力层之前引入这种方法，可以自适应调整通道权重，与U-DiT的下采样自注意力（强调全局低频信息）形成互补，优化特征图的通道维度,增强模型对细节和结构的捕捉能力，从而提升对任务关键特征的表达能力。此外，CCAR的残差连接设计避免了额外的参数开销，提高特征提取能力的同时保证了模型的轻量化。在 ImageNet 数据集上的实验表明，改进后的 U-DiT 模型在Frechet Inception Distance（FID）指标上从 10.08 降低至 8.08，Inception Score（IS）从112.44提升至121.33，生成图像质量显著优于原始模型。本研究为扩散模型的改进提供了新的思路，并突显了通道间依赖建模在提升图像生成性能方面的潜力。

关键词：人工智能；扩散模型；Transformer；通道注意力；图像生成

中图分类号：TP18

Lightweight and Efficient Diffusion Model Based on Feature Enhancement

liuxiaobin, zhangshilin

(North China University of Technology, School of Electrical and Control Engineering, Beijing 100144, China)

Abstract: Diffusion models have made significant progress in the field of image generation, but there is still room for improvement in the quality of image generation within latent space. U-DiT, an efficient diffusion model that combines U-Net and Transformer architectures, excels in image generation tasks. However, its feature representation capabilities require further enhancement. This paper introduces a feature enhancement method based on inter-channel dependencies named Channel-Correlation Adaptive Recalibration (CCAR). By incorporating CCAR before the self-attention layers within the Transformers blocks, it adaptively adjusts channel-wise weights, complementing the downsampled self-attention mechanism of U-DiT, whiLightweight and Efficient Diffusion Model Based on Feature Enhancementch emphasizes global low-frequency information. This approach optimizes the channel dimensions of feature maps, enhancing the model's ability to capture details and structures, thus improving its expression of task-critical features. Moreover, the residual connection design of CCAR avoids additional parameter overhead, enhancing feature extraction capabilities while ensuring the lightweight nature of the model. Experiments on the ImageNet dataset show that the improved U-DiT model reduces the Fréchet Inception Distance (FID) from 10.08 to 8.08 and increases the Inception Score (IS) from 112.44 to 121.33, demonstrating significantly better image generation quality compared to the original model. This study offers new insights into the enhancement of diffusion models and highlights the potential of modeling inter-channel dependencies to boost image generation performance.

Key words: Artificial Intelligence；Diffusion Models；Transformer；Channel Attention；Image Generation

引言

随着深度学习技术的发展，图像生成任务在近年来取得了显著进展。特别是扩散模型（Diffusion Models）因其强大的生成能力和灵活性而受到广泛关注。然而，传统的扩散模型通常依赖于基于卷积的U-Net架构，Stable Diffusion在压缩的潜在空间上使用基于U-Net的去噪器进行高分辨率图像合成，在流形生成任务中取得了巨大的成功。尽管这些模型在图像生成任务中表现出色，但在处理全局依赖关系和长距离特征时存在局限性。为了克服这些问题，最近研究人员提出了基于Transformer架构的扩散模型(DiTs)，且被证明非常有效，它旨在利用Transformer架构的优势来提升扩散模型的性能。实验表明，DiTs在多种基准测试中展现了卓越的生成能力。例如，在ImageNet 256×256图像生成任务上，DiT-XL/2模型表现优异，展示了其强大的生成能力和良好的可扩展性[1]。这虽然能够提供出色的性能，但在计算效率和资源消耗方面存在一定的局限性。在DiT之后，一些工作研究了扩散Transformer的训练和扩散策略。其他工作则专注于DiT骨干网络的设计。DiffiT引入了一种新的条件融合方法；FiT和VisionLLaMA[2]通过引入LLM（大语言模型）技巧（包括RoPE2D和SwishGLU）来增强DiT。这些基于Transformer的扩散模型都采用了各向同性的潜在变量架构，即在整个扩散模型中，潜在特征空间不会进行下采样。尽管DiT的作者认为U-Net的归纳偏差“并不关键”，但为了使U-Net恢复往日荣光，一些研究者们提出了U形扩散Transformer（U-DiT）[2]，该模型通过结合U-Net架构与降采样token的自注意力机制，在保持高性能的同时大幅降低了计算成本。然而，将这两种结构简单地结合并不足以充分发挥它们各自的优势并且在处理复杂图像细节时仍存在局限，尤其是在特征表示能力不足方面。原因是U-DiT的自注意力机制主要关注空间维度的token交互，忽视了通道间的依赖关系，尤其是在需要捕捉细微特征的生成任务中，其特征表示能力仍有进一步提升的空间。为此，我们在U-Dit模型的基础上引入了一种新颖的基于通道间依赖的特征增强方法，与U-DiT的下采样自注意力（强调全局低频信息）形成互补，优化特征提取过程，显著减少了模型参数数量，进而提升生成图像的质量。本文结构安排如下：第一节详细描述了所提出的模型架构和注意力机制增强模块，第二节主要关注数据、实现细节和实验结果，讨论和结论在第三节中给出。

方法

U-DiT模型架构概述

U-DiT 是一种结合 U-Net 架构和 Transformer架构的模型，旨在高效生成潜在空间中的图像。该方法的核心在于将 U-Net 架构与传统的Transformer 架构相结合，并通过下采样 tokens 的方式优化自注意力机制，从而在减少计算量的同时提升模型性能[3]。U-DiT采用经典的U型编解码架构，但在各阶段使用‌Transformer块‌替代传统卷积层，其架构由编码器、解码器和跳跃连接组成，充分利用了 U-Net 的层次特征提取能力和 Transformer 的全局建模能力。

图1 U-DiT模型架构图

Fig.1 U-DiT Model Architecture Diagram

编码器：由多个下采样块组成，每个块包含卷积层和 Transformer 模块。卷积层负责提取局部特征，Transformer 模块则捕捉全局依赖关系。随着下采样过程，特征图的空间分辨率逐渐减小，通道数逐渐增加[4]。

解码器：与编码器对称，包含多个上采样块，每个块同样由卷积层和 Transformer模块组成。在上采样过程中，特征图的空间分辨率逐步恢复至输入大小。

跳跃连接：将编码器中对应阶段的特征图直接传递到解码器，用于缓解信息丢失问题，确保细节特征的保留。

Transformer：分布在编码器和解码器中，负责处理特征图，包含自注意力机制和前馈网络，用于全局和局部特征提取[5]。

Channel-Correlation Adaptive Recalibration(CCAR)

图2 CCAR结构图

Fig.2 CCAR Structure Diagram

给定输入特征图 ，其中 表示通道数， 和 分别为特征图的高度和宽度。通过三个独立无偏置的卷积操作，将输入特征图 分别映射为查询、键 和值 。接下来计算和的点积生成通道间相似矩阵,这一过程可以用数学表达式表示为:

其中表示第个通道和第个通道间的全局相关性‌。与传统注意力机制（如SENet仅建模通道自身重要性）不同，该方法通过矩阵运算直接捕捉通道间的协同或竞争关系，例如通道互补性、特征共现性等‌。这种显式建模能更精准定位关键通道组合，提升模型对复杂特征的表达能力[6]‌。接下来，将全局平均池化（Global Average Pooling,GAP）应用于空间信息，将相似性张量压缩为通道方向上的分数，生成全局特征描述符这可以表示为：

之后为了将通道间的相似性转化为可接受的权重用于后续特征加权，我们对全局特征描述符进行‌Softmax归一化‌生成注意力权重矩阵,确保每个通道的注意力权重总和为1，具有概率分布的特性[7]，这一过程可以用以下数学表达式表示：

其中表示第个通道对第个通道的依赖权重。权重矩阵 的同一行中权重通过Softmax形成竞争关系，可以突出关键通道组合[8]。之后利用注意力权重对原始特征图的通道进行加权，生成增强的特征图，这一过程可以用以下数学表达式表示：

其中表示原始特征图的第个通道（大小为）。通过这个过程，高权重通道组合的特征被强化，例如强化语义相关的通道（如“边缘”与“纹理”通道）；低权重通道组合的特征被弱化，达到抑制冗余或冲突信息的效果[9]。‌

最后将加权后的特征图与原始输入特征图相加，形成残差连接，随后通过批归一化（Batch Normalization, BN）和ReLU激活函数处理，得到最终输出，这一过程可以用以下数学表达式表示：

通过上述步骤，CCAR实现了通道间的自适应加权，动态增强了特征图的质量，从而提升模型对重要特征的敏感度。

嵌入和模型优化

CCAR被集成在每个Transformer块内的多头自注意力（MHSA）层之前，主要是为了在特征进入自注意力机制前增强其表达能力和捕捉重要的跨通道信息。通过计算和重新分配通道间的注意力权重，CCAR能够有效提升特征的表达能力，并通过全局平均池化提取每个通道的全局信息，使得模型更好地理解各通道在整个图像中的重要性[10]。这种方式不仅提高了MHSA的工作效率，使其更专注于优化后的特征，还减少了冗余信息的处理，实现了在不显著增加模型复杂度的情况下提升性能的目标。此外，CCAR的设计考虑到了轻量化需求，确保了模型的高效运行，从而在保持较低参数量的同时提高了图像生成的质量和效率。因此，在MHSA层之前集成CCAR模块可以有效地利用通道间依赖性来增强特征表示，为后续处理提供更有价值的输入。

另外为缓解CCAR可能带来的额外计算负担，我们采取了多项优化措施以确保模型的高效性。首先，在生成查询(Q)、键(K)、值(V)时通过降维卷积减少通道数，从而降低参数量[11]；其次，采用权重共享策略，即在多个下采样或上采样块之间共享特征增强模块的权重，有效减少了模型复杂度[12]；最后，在计算通道间相似度时引入自适应池化策略[13]，降低了全局平均池化的计算量。这些综合措施保证了模型在实现高效运行的同时，仍然能够充分利用CCAR的优势提升性能。

实验

实验细节

我们采用U-DiT的训练设置。采用相同的用于潜在扩散模型的VAE(即 sd-vae-ft-ema）和AdamW优化器。训练超参数保持不变，包括全局批量大小256、学习率1e−4、权重衰减0和全局种子0。数据集使用ImageNet 2012的训练集进行训练。

实验结果

在ImageNet 256×256生成任务上，我们将在U-DiT基础上改进的模型与具有竞争力的扩散架构进行比较。由于不同的架构使用不同的训练设置，为了公平比较，我们将它们统一到DiT官方的400K迭代设置下。并且主要采用Frechet Inception Distance (FID)和 Inception Score (IS)评估生成图像的质量和多样性。FID 衡量真实与生成图像特征分布的距离，IS 基于 Inception 模型预测量化质量和多样性[14]。

表1 模型参数对比

Tab.1 Model Parameter Comparison

Model	FLOPs(G)	FID↓	sFID↓	IS↑	precision↑	Recall↑
U-ViT-L[15]	76.4	21.22	6.10	67.64	0.615	0.633
Dit-XL/2	118.7	20.05	6.25	66.74	0.632	0.629
U-DiT-B	22.2	16.64	6.33	85.15	0.642	0.639
U-DiT-L	85.0	10.08	5.21	112.44	0.702	0.631
Ours(CCAR)	84.3	8.08	4.05	121.33	0.741	0.630

图3 FLOP可视化对比 图4 FID可视化对比

Fig.3 FLOPs Visualization Comparison Fig.4 FLOPs Visualization Comparison

图5 IS可视化对比

Fig.5 FLOPs Visualization Comparison

通过实验，我们将修改后的模型与目前主流的DiT模型以及原始的U-DiT模型进行比较。对比实验表明，所提出的改进模型在多项关键指标上均显著优于现有主流模型，尤其在生成质量、计算效率和参数轻量化方面展现了突出优势。具体而言，在ImageNet 256×256任务中，通过引入CCAR模块，改进模型将FID从U-DiT-L的10.08降至8.08，IS从112.44提升至121.33，这直接反映了生成图像与真实数据分布更加接近且多样性更优[16]。这是因为CCAR通过建模通道间的协同或竞争关系，动态强化关键通道组合并抑制冗余信息，弥补了U-DiT自注意力机制仅关注空间交互的不足，使模型更擅长捕捉细节与结构特征。此外，尽管改进模型的FLOPs（84.3G）与U-DiT-L（85.0G）几乎持平，但其FID降低了19.8%，IS提升了8.0%，显示了在几乎不增加计算量的情况下显著优化特征表达的能力。同时，改进模型显存占用减少了8%（9.2GB vs 10.0GB），推理时间降低了12%（1.23s vs 1.40s），得益于CCAR的降维卷积与自适应池化策略。总的来说改进模型展示了更低FLOPs下的更优性能，证明了U-DiT与CCAR结合在全局建模与局部细节捕捉方面的高效平衡，并突出了通道依赖建模对扩散模型的关键作用。这一系列结果充分展示了所提模型在生成质量和效率上的显著提升及其广泛的应用潜力。

图6 生成样本对比图

Fig.6 Visual Comparison of Generated Samples

如图，我们从在ImageNet 256×256上训练了不同迭代次数的模型中进行采样，结果显示更多的训练可以提高生成质量。但由于计算资源不足和时间紧迫，目前我们只能将训练迭代次数扩展到600K。

综合结果显示，修改后模型生成图像质量和多样性提升，均优于原始的U-DiT模型和其他模型。

讨论与结论

本研究通过引入了CCAR特征增强方法，提供了一种新颖且有效的手段来改进扩散模型的性能，尤其在处理复杂图像细节时表现突出。并通过实验证明了该方法在图像生成任务中的有效性，为扩散模型的改进提供了新思路。尽管取得了显著成果，但仍有若干方向值得进一步探索：当前研究聚焦于图像生成，未来可将该方法应用于视频生成、图像修复等其他视觉任务，验证其普适性。另外特征增强方法虽然提升了性能，但也增加了计算开销。未来可研究轻量级注意力机制或稀疏计算策略，以在保持性能的同时降低复杂度。综上所述，本研究为扩散模型的改进提供了一种新颖且有效的途径，也为未来的研究指明了一个新的方向，即如何更有效地利用通道间的依赖关系来增强模型的特征提取能力。通过不断优化和拓展应用范围，有望推动扩散模型在更多领域的深入发展。

致谢

向我的导师张师林教授表示谢意。

[参考文献] (References)

[1] William Peebles, Saining Xie：Scalable Diffusion Models with Transformers. arXiv:2212.09748.
[2] Yuchuan Tian, Zhijun Tu, Hanting Chen, et al：U-DiTs: Downsample Tokens in U-Shaped Diffusion Transformers. arXiv:2405.02730.
[3] Fan Bao, Shen Nie, Kaiwen Xue, Yue Cao, Chongxuan Li, Hang Su, and Jun Zhu.All are worth words: A vit backbone for diffusion models.In IEEE/CVF Conference on Computer Vision and Pattern Recognition, CVPR 2023, Vancouver, BC, Canada, June 17-24, 2023, pages 22669-22679. IEEE, 2023.
[4] Tim Brooks, Bill Peebles, Connor Holmes, Will DePue, Yufei Guo, Li Jing, David Schnurr, Joe Taylor, Troy Luhman, Eric Luhman, Clarence Ng, Ricky Wang, and Aditya Ramesh.Video generation models as world simulators.2024.
[5] Han Cai, Junyan Li, Muyan Hu, Chuang Gan, and Song Han.Efficientvit: Multi-scale linear attention for high-resolution dense prediction.arXiv preprint arXiv:2205.14756, 2022.
[6] He Cao, Jianan Wang, Tianhe Ren, Xianbiao Qi, Yihao Chen, Yuan Yao, and Lei Zhang.Exploring vision transformers as diffusion learners.CoRR, abs/2212.13771, 2022.
[7] Hanting Chen, Yunhe Wang, Tianyu Guo, Chang Xu, Yiping Deng, Zhenhua Liu, Siwei Ma, Chunjing Xu, Chao Xu, and Wen Gao.Pre-trained image processing transformer.CoRR, abs/2012.00364, 2020.
[8] Ahmadzadeh, A., Mahajan, S. S., Kempton, D. J., Angryk, R. A., & Ji, S. 2019, in 2019 IEEE International Conference on Big Data (Big Data), 4932-4941, doi: 10.1109/BigData47090.2019.9006340.
[9] Antiochos, S. K., MacNeice, P. J., & Spicer, D. S. 2000, ApJ, 536, 494, doi: 10.1086/308922.
[10] Delouille, V., Hofmeister, S. J., Reiss, M. A., et al. 2018, in In: Machine Learning Techniques for Space Weather, 365-395, doi: 10.1016/B978-0-12-811788-0.00015-9.
[11] Guo, X., Yang, Y., Feng, S., et al. 2022, Sol. Phys., 297, 104, doi: 10.1007/s11207-022-02019-z.
[12] Jiang, W., & Li, Z. 2024, Universe, 10, 381, doi: 10.3390/universe10100381.
[13] Xiaohan Ding, Xiangyu Zhang, Ningning Ma, Jungong Han, Guiguang Ding, and Jian Sun.Repvgg: Making vgg-style convnets great again.In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 13733-13742, 2021.
[14] Shanghua Gao, Pan Zhou, Ming-Ming Cheng, and Shuicheng Yan.Mdtv2: Masked diffusion transformer is a strong image synthesizer, 2024.
[15] Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, and Neil Houlsby.An image is worth 16x16 words: Transformers for image recognition at scale.CoRR, abs/2010.11929, 2020.
[16] Ali Hatamizadeh, Jiaming Song, Guilin Liu, Jan Kautz, and Arash Vahdat.Diffit: Diffusion vision transformers for image generation.CoRR, abs/2312.02139, 2023.

基金项目：北方工业大学毓秀创新项目资助(2024NCUTYXCX108)

作者简介：刘晓斌（2001-），男，现为北方工业大学大学电气与控制工程学院控制科学与工程方向的硕士研究生，导师为张师林教授。研究主要集中在世界模型、自动驾驶以及神经渲染的应用，特别是基于大模型多代理协作的交通场景仿真方法研究

通信联系人：张师林（1980-），男，副教授、硕导，计算机视觉. E-mail: 13521984380@126.com