评估网站建设方案,镇安县住房和城乡建设部网站,管理系统网站,百度移动端关键词优化概述
任务#xff1a;无条件生成mesh #xff08;无颜色#xff09;数据集#xff1a;shapenet v2方法#xff1a;先trian一个auto encoder#xff0c;用来获得code book#xff1b;然后trian一个自回归的transformermesh表达#xff1a;face序列。face按规定的顺序无条件生成mesh 无颜色数据集shapenet v2方法先trian一个auto encoder用来获得code book然后trian一个自回归的transformermesh表达face序列。face按规定的顺序每个face用三个顶点的坐标表示
Learning Quantized Triangle Embeddings 一个auto encoder mesh表示为triangle face的序列。 triangle的顺序作者直接按照Polygen来的先排列vertex再按vertex来排trianglevertex是按zyx的顺序从低到高排triangle是从最low的vertex次low的最后到最high的vertex来排列。 face怎么表示呢直接用3 vertices的9 coordinates 来表达一个face不太好因此作者就这样 图卷积或的face feature vector 用图来表达图的节点是face边是face的邻接关系node features初始化为9个顶点的位置face normaledge between anglesarea经过若干SAGEConv 层(也就是encoder E)得到每个face的feature vector Z quantization: residual vector quantization (RQ) 作者发现每个face只搞一个code效果不好。于是作者用stack of D codes per face。另外发现最好是按vertex来quantizeT RQ (Z; C, D) Z是刚才的face featuresC是codebook D是depth。 T就是得到的tokens。每个t就是一个codebook C里面的index指向C里面的一个embedding e。后面的transformer要用的就是这个e和codebook Decoder把face embeddings给decode成triangles 先把D个features合成一个方法是summation和concatenation用的是一个1D ResNet34 decoding head G把刚才的这个code给decode成triangle序列顺序就是刚才讲得顺序。每个face表示为9 coordinates。 发现coordiantes预测为某些固定点的概率会比直接回归坐标更准图4 mesh generation with transformers 像文字接龙的语言模型一样自回归地训练transformer
transformer训练时的输入是刚才得到的e加上learned position encoding等经过一个类似GPT的transformer预测下一个token e在codebook中的index用交叉熵loss来train
得到mesh
接龙完成后得到stop signal后用刚才的resnet decoder G来得到mesh。用meshlab搞了一个后处理来合并距离很近的点
训练时间
训练时间 AutoEncoder用了2 A100, 2 days transformer用了4 A100, 5 days
数据集 ShapeNetV2, 所有55个categories来train GPT 但在chairtablebench和lamp这四个类别上finetune。
消融实验
