CNOP
现在是7-6深夜。我原本打算写完这篇blog再睡觉的。然而我的妹妹、一位比我小一岁的亲戚(应该也算妹妹)、我初中时的同桌以及一个很久没联系的同学都突然来劝我注意身体。所以这篇blog推到明天。
最近心脏有点疼,本来在作死cos张雪峰,突然想到我奶奶的确有心脏病,那么我应该是有这个基因的,wok。
……
好吧,又偷懒了一天,现在是7-8的清晨,我开始写这篇blog。值得注意的是,清晨是一个不会被打扰的时间,现在我很平静,很舒适。背景是 Roxy ,她的魔法「豪雷积雨云」与该主题不谋而合。
前言
CNOP(Conditional Nonlinear Optimal Perturbation) 是一种极其适配于AI时代的扰动计算方案,也是一种哲学。虽然该概念在气象领域被提出,但其与控制理论息息相关。据我初代mentor所述,这样的思想在无人机、机器人控制领域早已泛滥,但即便如此,穆穆院士在2003年观察到气象领域扰动的线性假设的不合理性,并提出CNOP,依旧是十分具有远瞻性的。
自 Alexnet 被提出开始,深度学习就呈现出不可阻挡的发展势头。在气象领域,基于神经网络的预报方案正在逐渐取代过去基于物理模型的预报方案,本质原因在于其效率与准确性。神经网络的极高求解效率,使得CNOP的计算变得空前简洁快速,虽然存在相当一部分团体诟病其黑盒性,但考虑到CNOP极其优美的直观性与简洁性,我还是认为利用AI模型求解CNOP的研究方法具有极高的研究价值,应当被推而广之。
CNOP
CNOP(Conditional Nonlinear Optimal Perturbation),即条件非线性最优扰动,是一种对于扰动的最优化方法。假定我们当前的状态为 ,经过时间 后,状态变为 。我们有一个优化目标,该目标建立在 上,可以表示为 。我们可以通过改变 ,即在 上加上不同的扰动 ,来达成我们的最优化目标。而为了确保扰动 不会破坏地球气候原本的连续性以及稳态,我们得给 加一组约束,防止 出现地球上不可能出现的状态。我们将约束简化为 。
CNOP解决的问题就是找出这样一个扰动 ,使得:
这个问题很早就在气象领域被提出了,但是在很长一段时间内,气象学的大家都在利用基于奇异值的方法进行线性求解。不难想象,大自然中各类气候变量之间的相互作用,必然是非线性的。假如要使用线性求解方法,为了确保求解的准确性,需要保证两个方面:
在满足这两点的情况下,原本的非线性规律,可以被压缩到一个点上,其切线即可反映变化规律,此时,线性假设就是合理的。
- 一是扰动本身很“小”,这里的小是指扰动的绝对值很小,作用的范围很小;
- 二是扰动作用的时间要极为短促。
而CNOP与这样的线性理念背道而驰,CNOP认为非线性的最优扰动是可求的(拉格朗日乘子法),并且其求解是必要的。这一点恰好在AI时代得到了加强。在AI时代,得益于神经网络极快的推理速度,求CNOP甚至变得很简单了。
总之,无论是为了做更加精准、长远的预报,还是为了更加接近气象学的本质,CNOP都远比线性方法更有价值,并且,CNOP的计算成本也不再远高于线性方法的计算成本了。
计算
神经网络是基于反向传播算法,或者说梯度在计算图中的传递,建立起来的。训练模型的过程就是将 loss 函数关于各个参数的梯度求出来,并利用其进行参数更新,直到达到局部最小值,或训练轮次耗尽。
然而反向传播、梯度下降的思路其实不止可以作用于参数上,还可以作用在输入上,这就是求解CNOP的精髓。
现在假设我们训练好了一个及其优秀的气候预报模型,它可能分几个模块,比如最开始的ViT,或许会有swin-transformer,可能还会有MoE,甚至可能有经典的CNN,anyway,我们不管这些,我们只管假设他已经被训练好了,而且表现很优秀,例如对于我们预报的目标有90%的准确率。
就假设该模型的输入是今天的天气,预报的是明天的天气吧,这样比较直观。首先我们将今天的天气输入进去,随后它预报出了明天的天气,会下暴雨。那么问题来了,我不想明天下暴雨。于是我尝试研究一个问题:如何改变几天的天气(输入),才能使预报结果(输出)是晴天呢?
由此,我们确定了一个优化目标,即 这与第二节的式子形式一模一样,我们去求解一个对于今天天气的条件扰动 ,使得 就可以了。
不难发现的是,最后我们优化的是输入 ,而不是模型参数。另外这只是一个日常化的例子,各位可能会误以为这件事情意义不大,只不过是在还原经典的《天气之子》中的设定罢了,好吧,假如有一天,在上海造一场人工降雨,就可以改变一场台风的路径,使其不经过大陆的话……你大概就不会这么想了。届时这就不只是一个有意思的研究了,技术宅真的要拯救世界了。
成果
我们团队将 CNOP 应用在 ENSO 事件的最优扰动求解上。ENSO,即El Niño-Southern Oscillation,厄尔尼诺-南方涛动事件是全球宏观气候的一个关键观测指标,我们对前一年十二月的全球海表温度进行适当扰动,以模拟观测误差,随后观察后一整年的 ENSO 现象变化,也就是预报误差。假如某处扰动使得预报误差非常大,则此处的观测误差会很大程度上影响模型的预报准度,因此,我们需要在此处建立起更加精细的观测。
我们的研究成果非常solid,并得到了很好的物理解释。


最后
最后我还是想说,气象学的研究比大众眼中的有意思很多很多,影响也比大众心目中的大很多。希望未来能有越来越多的人投入到气象学的研究中来,解决更多的科学问题。我真心希望看到大家解决数据降尺度、开始用 CNOP 研究更加微观的气候现象,让《天气之子》走进现实。