江苏住房和城乡建设网站,百度站长工具收费吗,城厢区住房和城乡建设局网站,手机网站建设沈阳前置知识
注意力机制
见 这篇
二维 TSP 问题
给定二维平面上 nnn 个点的坐标 S{xi}i1nS\{x_i\}_{i1}^nS{xi}i1n#xff0c;其中 xi∈[0,1]2x_i\in [0,1]^2xi∈[0,1]2#xff0c;要找到一个 1∼n1\sim n1∼n 的排列 π\piπ #xff0c;使得目标函数 L(π∣s)∥xπ…前置知识
注意力机制
见 这篇
二维 TSP 问题
给定二维平面上 nnn 个点的坐标 S{xi}i1nS\{x_i\}_{i1}^nS{xi}i1n其中 xi∈[0,1]2x_i\in [0,1]^2xi∈[0,1]2要找到一个 1∼n1\sim n1∼n 的排列 π\piπ 使得目标函数 L(π∣s)∥xπ1−xπn∥2∑i1n−1∥xπi−xπi1∥2L(\pi|s)\Vert x_{\pi_1}-x_{\pi_n} \Vert_2\sum_{i1}^{n-1}\Vert x_{\pi_{i}}-x_{\pi_{i1}}\Vert_2L(π∣s)∥xπ1−xπn∥2i1∑n−1∥xπi−xπi1∥2 尽可能小。
Pointer Networks
论文链接
随意选择 π1\pi_1π1 然后依次预测 π2,π3,...,πn\pi_2,\pi_3,...,\pi_nπ2,π3,...,πn 。
预测方式利用了注意力机制加性模型 ujivTtanh(W1ejW2di)u_j^iv^T\tanh(W_1e_jW_2d_i)ujivTtanh(W1ejW2di) 其中 v,W1,W2v,W_1,W_2v,W1,W2 是可学习的参数eje_jej 是节点 jjj 的encoder 隐状态did_idi 是已选 i−1i-1i−1 个点的图的 decoder 隐状态。然后直接将 softmax 后的 uiu^iui 作为输出 P(πi∣π1:i−1,P)softmax(ui)P(\pi_i|\pi_{1:i-1},\mathcal{P})\text{softmax}(u^i)P(πi∣π1:i−1,P)softmax(ui)
encoder 和 decoder 的实现使用了单层 LSTM训练使用 SGD。 效果如下 传统的 RNN 的输出是固定词汇表上的分布因此不能应对 nnn 比训练集大的情况。而 Pointer Networks 的输出是输入序列上的分布因此可以应对任意大小的 nnn 。 Attention, Learn to Solve Routing Problems!
论文链接
引入强化学习学习策略函数 pθ(π∣s)∏t1npθ(πt∣s,π1:t−1)p_{\theta}(\pi|s)\prod_{t1}^np_{\theta}(\pi_t|s,\pi_{1:t-1})pθ(π∣s)∏t1npθ(πt∣s,π1:t−1)。
encoder 和 decoder 套用 Transformer 结构。
