输入图是否过了vit？

[hrz2000]

观察代码， 输入图像只过了vae，似乎没有过vit输给transformer，求解答

[hrz2000]

Waiting for an answer, I am very much looking forward to the reply, ths!
@mattjamo

[qsh-zh]

seems the training code does not use vit token...

[ainrichman]

没过。把qwenvl当t5用了。

[ChenD-VL]

看代码没有过呀

[byliutao]

似乎使用inference_chat.py将指令设为图像编辑才是文章pipeline所描述的架构，但是好像对非编辑区域内容的保持并不是很好，下图中间是inference.py的结果，右边是inference_chat.py的结果。