一个最优化问题的简化

我的研究过程中，遇到了如下的优化问题．现在考虑下面这种情形，我有任意的 $𝑛$ 阶幺正矩陣 $𝑼 \in 𝑈 (𝑛)$ 对应了可实现的物理构造，然后有 $𝑛$ 阶输入方阵为 $𝑿$ , $𝑛 = 2^{𝑚}$ , $𝑿$ 的前 $𝑚$ 行是 $𝑚$ bit 的 BPSK 信号的所有组合，数学上就是 Rademacher 空间，后 $𝑛 - 𝑚$ 行为每行都相同的 $𝑛 - 𝑚$ 个自由未定参数．也就是说 $𝑿$ 的每一列代表了一种 BPSK 编码的输入状态，即 Rademacher 空间 ${\pm 1}^{𝑚}$ 中的一个元素，如若 $𝑚 = 3$ 的时候的话， $𝑿$ 可写成

[\begin{matrix} 1 & 1 & \dots & - 1 & - 1 \\ ⋮ & ⋮ & ⋮ & ⋮ \\ 1 & - 1 & \dots & 1 & - 1 \\ 𝑎_{1} & 𝑎_{1} & \dots & 𝑎_{1} & 𝑎_{1} \\ ⋮ & ⋮ & ⋮ & ⋮ \\ 𝑎_{𝑛 - 𝑚} & 𝑎_{𝑛 - 𝑚} & \dots & 𝑎_{𝑛 - 𝑚} & 𝑎_{𝑛 - 𝑚} \end{matrix}]

每一行代表了一个输入信号通道．

写成分块矩阵为

𝑿 (𝒂) = [\begin{matrix} 𝑩 \\ 𝑨 \end{matrix}]

其中 $𝑩$ 为 $𝑚$ 行的 BPSK 信号矩阵，其列枚举了所有的 $𝑚$ bit BPSK 信号组合， $𝑨$ 为 $𝑛 - 𝑚$ 行的自由参数矩阵．其各列皆为 $𝑛 - 𝑚$ 元向量 $𝒂$ ．即 $𝑨 = 𝒂 𝟏_{𝑛}^{T} \in 𝗖^{(𝑛 - 𝑚) \times 𝑛}$ ．考虑输入信号的每一种状态，即 $𝑿$ 的每一列 $𝒙_{𝑗} = {(𝒃_{𝑗}; 𝒂)}^{T}$ ，其中 $𝒃_{𝑗}$ 为 $𝑩$ 的第 $𝑗$ 列．现在考虑功率矩阵 $𝑷$ 为输出 $𝑼 𝑿$ 各元素的功率，即有

𝑝_{𝑖 𝑗} = {| {(𝑼 𝑿)}_{𝑖 𝑗} |}^{2} = {| ⟨ 𝒖_{𝑖}, 𝒙_{𝑗} ⟩ |}^{2}, 𝒖_{𝑖} \in 𝗖^{1 \times 𝑛}, 𝒙_{𝑗} \in 𝗖^{𝑛 \times 1}

并对 $𝑷$ 的每一列向量归一化后成为 $𝑷_{norm}$ ．我现在要这个物理器件在对以 $𝒂$ 为额外输入参数时，成为一个译码器（decoder）的功能．数学上，即对幺正矩阵 $𝑼$ 和向量 $𝒂$ 对 ${‖ 𝑷_{norm} - 𝐼 ‖}_{𝐹}^{2}$ 求最小值优化，其中 $𝑰$ 为同阶的单位阵．也就是说要输出尽可能为 one-hot 的分布． 通过数值计算我发现所有的局部最优值都是全局最优（即有多个局部最优但结果都一样），现在要通过理论分析来证明这一点．．（over-parametrization）

整理目標函數

现在有几个重要的事实显然有一点对于 $𝑿$ 的每一列其功率都是一样的，即对于每一列 $𝒙_{𝑗} = {(𝑏_{𝑗}; 𝒂)}^{T}$ 有

𝐿 ≔ {‖ 𝒙_{𝑗} ‖}^{2} = {‖ 𝒃_{𝑗} ‖}^{2} + {‖ 𝒂 ‖}^{2} = 𝑚 + {‖ 𝒂 ‖}^{2}

即每一列的功率都同为 $𝐿$ ．那么优化问题自然便成了

\begin{matrix} min_{\begin{matrix} 𝑼 \in 𝑈 (𝑛) \\ 𝒂 \in 𝗖^{𝑛 - 𝑚} \end{matrix}} {‖ 𝑷 - 𝐿 𝑰 ‖}_{𝐹}^{2} = \sum_{𝑖 = 1}^{𝑛} \sum_{𝑗 = 1}^{𝑛} {(𝑝_{𝑖 𝑗} - 𝐿 𝛿_{𝑖 𝑗})}^{2} \\ = \sum_{𝑖, 𝑗} {| 𝑝_{𝑖 𝑗} |}^{2} - 2 𝐿 \sum_{𝑖 = 1}^{𝑛} \sum_{𝑗 = 1}^{𝑛} 𝑝_{𝑖 𝑗} 𝛿_{𝑖 𝑗} + 𝑛 𝐿^{2} \\ = \sum_{𝑖, 𝑗} {| 𝑝_{𝑖 𝑗} |}^{2} - 2 𝐿 \sum_{𝑖 = 1}^{𝑛} 𝑝_{𝑖 𝑖} + 𝑛 𝐿^{2} \end{matrix}

把 $𝑼$ 分块，第 $𝑖$ 行 $𝒖_{𝑖} \in 𝗖^{1 \times 𝑛}$ 拆成

𝒖_{𝑖} = [\begin{matrix} 𝒗_{𝑖} & 𝒘_{𝑖} \end{matrix}]

其中 $𝒗_{𝑖} \in 𝗖^{1 \times 𝑚}$ , $𝒘_{𝑖} \in 𝗖^{1 \times (𝑛 - 𝑚)}$ ．因为 $𝑼$ 幺正， ${‖ 𝒗_{𝑖} ‖}^{2} + {‖ 𝒘_{𝑖} ‖}^{2} = 1$ 而 $𝑖$ 行, $𝑗$ 列，所對應的輸出元素為

𝑦_{𝑖 𝑗} = ⟨ 𝒖_{𝑖}, 𝒙_{𝑗} ⟩ = ⟨ 𝒗_{𝑖}, 𝒃_{𝑗} ⟩ + ⟨ 𝒘_{𝑖}, 𝒂 ⟩

觀察到 $\sum_{𝑗} 𝒃_{𝑗} = 0$ , $\sum_{𝑗} 𝒃_{𝑗} 𝒃_{𝑗}^{𝐻} = 𝑛 𝑰$ ，定義 $𝑟_{𝑖} ≔ {‖ 𝒗_{𝑖} ‖}^{2}$ ， $𝒓 ≔ (𝑟_{𝑖})$ , 注意到 $0 \leq 𝑟_{𝑖} \leq 1$

\sum_{𝑖 = 1}^{𝑛} 𝑟_{𝑖} = \sum_{𝑖 = 1}^{𝑛} {‖ 𝒗_{𝑖} ‖}^{2} = 𝑚

因爲 $𝑾$ 为 $𝑼$ 的右 $(𝑛 - 𝑚)$ 列块，幺正矩阵的列正交归一化意味着 $𝑾^{𝖧} 𝑾 = 𝑰_{𝑛 - 𝑚}$ ，所以定义

\sum_{𝑖 = 1}^{𝑛} {| ⟨ 𝒘_{𝑖}, 𝒂 ⟩ |}^{2} = {‖ 𝑾 𝒂 ‖}^{2} = 𝒂^{𝖧} 𝑾^{𝖧} 𝑾 𝒂 = {‖ 𝒂 ‖}^{2}

對於固定的输出端口 $𝑖$ 在各个状态 $𝑗$ 下的平均功率有

\frac{1}{𝑛} \sum_{𝑗 = 1}^{𝑛} 𝑝_{𝑖 𝑗} = \frac{1}{𝑛} \sum_{𝑗 = 1}^{𝑛} {| 𝑦_{𝑖 𝑗} |}^{2} = \frac{1}{𝑛} (\sum {| ⟨ 𝒗_{𝑖}, 𝒃_{𝑗} ⟩ |}^{2} + {| ⟨ 𝒘_{𝑖}, 𝒂 ⟩ |}^{2}) =

讨论：但是是不是在置换下其实是唯一的？对呀，这玩意一看就有对称性吧．是不是某个更小的商群下，问题是凸的．我怀疑．permutation和phase rotation之下最优解还唯一么，需要验证．这个loss展开大概是什么，四阶矩么？这样带进去，假设Y = UX．就是一个四次方．我的猜想是，商去某些自由度之后，这个问题可能是凸的．能否证明目标函数存在巨大的对称群？把目标函数在群下的作用目标不变证明一下．能否check一下你最后算出来的那些不同的minima，对应的UX长啥样．对生成元逐个证明，在这些对称都扔掉，取商空间之后呢，是否还有局部极小值．在数学上可以有．光滑紧致流形上的全局极小点正交于对称轨道方向一般是正定的，对称群的零模方向被quotient之后就剩下孤立的点了，j所有切向量的二阶导数都大于0．J(U,a) = 0这样是吧．

一个最优化问题的简化

整理目標函數

评论