Jupyter笔记本实现，慕尼黑工大220页书籍介绍基于物理的深度学习( 二 ) 机器之心报道编辑：杜伟、陈

书籍概览
本书共分 8 大部分、25 个章节。机器之心简单摘取了部分章节的主要内容，更多信息还请参阅原书籍。
可微物理
本章主要分五个小节：介绍可微物理、具有可微物理梯度的 Burgers 优化、讨论、可微流体模拟、可微分物理与 Physics-informed 训练。
为了将深度学习和物理模拟更紧密的结合在一起，可以在学习过程中加入可微模拟，简而言之，可称之为可微物理（differentiable physics ， DP）。这些方法旨在使用现有的数值求解器，并使其具备根据输入计算梯度的功能。

文章图片

文章图片
可微物理训练。
为了说明在 DP 设置中计算梯度的过程，该小节目标是针对相同的逆问题，使用 Physics-Informed NN 进行 Burgers 优化的 PINN 例子。
此外，当我们为 DP 方法选择初始离散化时，未知初始状态由相关物理场的采样点组成，我们可以简单地将这些未知表示为浮点变量。因此，即使对于初始状态，也不需要设置 NN 。因此， Burgers 重建问题在用 DP 求解时简化为一个基于梯度的优化问题，没有任何神经网络。
接下来，本章还介绍了一个更复杂的示例，将 Navier-Stokes 方程作为物理模型。与「Navier-Stokes Forward Simulation」一致，用来针对 2D 案例。
DP 复杂示例
本章主要分四个小节：复杂示例整体概览；利用深度学习减少数值误差、用神经网络求解逆问题以及概述和评论。
本章给出了更复杂案例的代码示例，以向读者展示通过可微物理训练能够实现哪种任务。首先，本章展示了一个使用深度学习来表示数值模拟误差的场景，遵循 Um 等人的建议。这是一项基本任务，需要学习模型与数值求解器密切交互。因此，这是将数值求解器引入深度学习循环至关重要情况的一个主要例子。
接下来，本章展示了如何让神经网络解决棘手的逆问题，即 Navier-Stokes 模拟的长期控制问题，遵循 Holl 等人研究。这项任务需要长期规划，因此需要两个网络，一个用于预测演变过程，另一个用于实现预期目标。

文章图片

文章图片
粗糙和参考流形的视觉概述
强化学习
本章主要分两个小节：强化学习概述、用强化学习控制伯格斯方程（Burgers equation）。
深度强化学习（DRL）是深度学习领域中的一类方法，它可以让人工智能体与周围环境进行交互。在执行此操作过程中，智能体接收其行为奖励信号，并尝试辨别哪些行为有助于获得更高的奖励，从而相应地调整自身行为。强化学习在围棋等游戏方面非常成功，并且在机器人技术等工程应用方面也非常重要。
RL 的设置通常由两部分组成：环境和智能体。环境从智能体接收动作 a ，同时以状态 s 的形式向 a 提供观察，并奖励 r 。观察结果代表了智能体能够感知来自各个环境状态的信息的一部分。奖励是由预定义的函数提供的，通常是根据环境量身定制的，可能包括游戏分数、错误行为的惩罚或成功完成任务的奖励。

文章图片

文章图片
强化学习、环境与智能体相互影响
本小节将 Burgers 方程的逆问题作为强化学习 (RL) 的实验平台。该设置类似于针对可微物理 (DP) 训练的逆问题。与之前类似， Burgers 方程简单但非线性，具有有趣的动力学，因此是 RL 实验的良好起点。本小节目标是训练一个控制力估计器网络，该网络应该预测在两个给定状态之间产生平滑过渡所需的力。