FDM データドリブン U

Jul 08, 2023

Scientific Reports volume 13、記事番号: 9116 (2023) この記事を引用

メトリクスの詳細

物理法則の偏微分方程式 (PDE) の効率的な解法は、コンピューター サイエンスや画像解析における多様なアプリケーションにとって興味深いものです。 しかし、有限差分 (FDM) や有限要素 (FEM) 法などの偏微分方程式を数値的に解くための従来の領域離散化手法は、リアルタイム アプリケーションには適しておらず、特に数値数学の専門家ではない人にとっては、新しいアプリケーションに適応するのに非常に手間がかかります。そして計算モデリング。 最近では、いわゆる物理情報ニューラル ネットワーク (PINN) を使用して偏微分方程式を解く代替アプローチが、新しいデータへの直接的な適用と潜在的により効率的なパフォーマンスのため、ますます注目を集めています。 この研究では、大規模な参照 FDM ソリューションでトレーニングされた深層学習モデルを使用して、任意の境界条件で 2D ラプラス偏微分方程式を解く新しいデータ駆動型アプローチを紹介します。 私たちの実験結果は、提案された PINN アプローチを使用すると、順方向と逆方向の 2D ラプラス問題の両方を効率的に解くことができ、FDM と比較してさまざまな種類の境界値問題に対してほぼリアルタイムのパフォーマンスと 94% の平均精度を実現できることを示しています。 要約すると、当社の深層学習ベースの PINN PDE ソルバーは、画像解析および画像ベースの物理境界値問題の計算シミュレーションにおけるさまざまなアプリケーションを備えた効率的なツールを提供します。

生物医学イメージングの急速な進歩により、生成される画像データの量は増え続けています。 多くのアプリケーションでは、画像解析は主に、色、体積、面積、形状などの対象構造の比較的単純な定量的記述子の導出に限定されています。 ただし、一連の画像は、光学的に監視されている生物学的構造の動的変化の背後にある基礎的な物理的特性や挙動について、より深い洞察を提供することもできます 1、2、3。

一般に、一貫した物理ベースのモデリングには、支配偏微分方程式 (PDE) または構成法則 (連続力学、流体力学、拡散の方程式など) によって与えられ、規定された境界値問題 (BVP) の数値解が必要です。境界条件。 このタスクでは、有限差分 (FDM)4、有限要素 (FEM)5、境界要素 (BEM)6、メッシュフリー法 7 などの従来のドメイン離散化技術が、生物医学応用の文脈で頻繁に使用されていました 8,9。 ただし、従来の数値手法はリアルタイムのアプリケーションには適しておらず、新しいデータや研究目標に適応するには高度なスキルも必要です。 従来の数値ソルバーの計算要求を軽減するために、サロゲート 10、11、モデル次数削減 12、13、14、15、16、17、またはマルチグリッド技術 18、19、20 を含むいくつかのアプローチが研究されています。 これらの高度な手法は計算コストを削減できますが、多くの学際的問題、特に生物医学分野でまだ十分に対処されていないリアルタイム問題、逆問題、および/または非線形問題を含む計算タスクの全領域を捉えることはできません。アプリケーション。 近年、データ駆動型ニューラル ネットワーク モデルを使用して物理学および画像ベースの BVP を解決する代替アプローチの人気が高まっています。 大量の代表的なデータでトレーニングされたいわゆる物理情報ニューラル ネットワーク (PINN)21 は、複雑な物理的関係をデータから直接推測する方法を学習します。 十分な量の利用可能なデータがあれば、PINN は物理法則を直接ニューラル ネットワークに埋め込むことなく、入力データと出力データ (ソース画像とターゲット画像など) の間のマッピングを確立できます。 PINN は、数値モデリングの主要な技術的負担の 1 つである複雑な時空間領域の多大な労力とエラーが発生しやすい離散化を克服できるため、大規模なデータと高度なメカニズムベースのモデリングとの間のギャップをほぼリアルタイムで埋めることができると期待されています。パフォーマンス。 さらに、PINN の適用範囲は順問題だけでなく、計算上さらに難しい逆問題もカバーしています 21、22、23、24、25、26。 近年、ディープ ニューラル ネットワークを使用した物理メカニズムのデータ駆動型近似に対する多くのアプローチが報告されており、CNN を使用して問題を調査している研究も 19,30 あります。 畳み込みニューラル ネットワーク (CNN)31 は、特に高次の認知能力を必要とするコンピューター ビジョンの問題への適用により、従来の方法やスパース ニューラル ネットワーク技術と比較して優れたパフォーマンスを示すことが知られています。 一方、Tensorflow、PyTorch、Keras などの深層学習コーディング プラットフォームは、AI コミュニティの間で広く使用されています。

ただし、ほとんどの既知の PINN フレームワークは、DeepXDE32、Nvidia SimNet33、NeuroDiffEq34 などの特別なソフトウェア プラットフォームで利用できることが多く、任意の画像ドメイン上の物理 BVP の柔軟な定義とソリューションが不足しています。 NiftySim35 や SoFa36 などの従来のアプローチに基づく GPU ベースの数値シミュレーション プラットフォームは、問題ごとに異なる実装を必要とするアプリケーション固有のものです。

この研究では、任意の境界条件を使用して画像および物理ベースの BVP を効果的に解決する深層学習手法の機能を調査することを目的としています。 特に、ここでは、もともと広範囲の画像セグメンテーション問題のために開発された U-Net の基本ネットワーク アーキテクチャに依存しています 37。 画像セグメンテーション問題とは対照的に、物理 BVP の解決には、マルチクラスの問題、またはより一般的な最適化問題が含まれます。 その結果、マルチクラスおよびカスタム損失関数を使用した U-Net の 2 つの修正が導入され、2D ラプラス偏微分方程式の大規模な参照 FDM ソリューションでトレーニングされました。

私たちの原稿は、次のような構造の理論的および実験的枠組みを示しています。 まず、2D ラプラス問題の解決と、その後の深層学習モデルのトレーニングのための大規模な参照画像セットの生成に使用される数値 FDM スキームについて説明します。 次に、順方向および逆 2D ラプラス問題に対するアプリケーション別の PINN モデルのパフォーマンスの結果が示され、参照 FDM ソリューションと比較されます。 私たちの実験結果は、私たちの PINN モデルが、新しい未知のデータに対する従来の数値解法と類似したものを驚くべき精度で実現できることを示しています。 最後に、PINN アプローチの現在の限界とさらなる改善について説明します。

この研究では、熱の伝播と拡散の問題の記述を通じて数理物理学で生じる 2 次元ラプラス偏微分方程式 (PDE) の解法に焦点を当てます。 2D ラプラス偏微分方程式は、2 次の楕円偏微分方程式のカテゴリに属します。

ここで、 \(u=u(x,y)\) は 2D 空間領域で定義されたスカラー変数であり、したがって一般に座標の関数です。 式の自明ではない解 (1) 右辺がゼロの式は、空間領域 \(\Omega _D \in \Omega\ の一部で \(u = u_{D} \ne 0\) の非ゼロ値が定義されている場合にのみ存在します。 ）。 多くの場合、u の所定の値は、外部または内部の境界 \(\Gamma \subset \Omega\) で定義されます。 このような境界条件はディリクレ境界条件として知られています。 与えられた境界条件に対する偏微分方程式の解を見つける問題は、境界値問題 (BVP) と呼ばれます。

式の解析解 (1) は、特に単純な (対称) 境界条件のいくつかの空間的ケースについてのみ知られています。 このような特殊なケースの 1 つは、ディラック点関数の形式で右辺を使用した不均一ラプラス偏微分方程式の解です。

ここで、 \(r(x,y)-r'(x',y')\) は、ディラック インパルスが適用された座標 \((x',y')\) から他の座標を指すベクトルです。無限 2D 領域 \(\Omega\) の座標 (x, y)。 式の解 (2) 2D ラプラス偏微分方程式の基本解としても知られ、次の式で与えられます。

BVP は式によって定義されます。 任意の境界条件を伴う (1) は、一般に数値的にのみ解くことができます。

この研究では、この目的のために通常の 2D 画像グリッド上の有限差分法が適用されます。 特に、FDM は、隣接するグリッド ノード間の変数値の差によって導関数を近似します。

したがって、画像ノード (つまりピクセル) の規則的なグリッド上の 2 次 2D ラプラス偏微分方程式の FDM 方程式は次の形式になります。

ここで、(i, j) はユークリッド系座標 (XY) における画像ピクセルのインデックスです。 式の考察すべての画像ピクセルに対する式 (5) は、未知の節点値 \(u_{ij}\) の線形方程式系につながります。これは、既知の節点値 (つまり、所定のディリクレ境界条件) を実装した後、次のように行列形式でコンパクトに書くことができます。以下に続きます:

ここで、A は対称の正定行列、b は u の既知の値の実装から得られる右側ベクトルです。

この作業では、式の FDM 離散化が行われます。 (5) を式に組み立てます。 (6) 続いて、前処理共役勾配 (PCG) 法を使用した後続の数値解法が MATLAB 2021a で実装されました。 上で説明したように実装された FDM ソルバーは、最初に 2D ラプラス偏微分方程式の正確な解析解との直接比較によって評価されました (つまり、式 1 の基本解)。 (3)] そして、BVP の任意の境界条件を解くために適用されます。

PINN モデルを適切にトレーニングして、任意の境界条件に対する 2D ラプラス偏微分方程式の解を正確にエミュレートするには、ペアごとの参照 BVP 画像とその FDM 解の大規模なセットを生成する必要があります。 この目的のために、ディリクレ ドメインのさまざまな幾何学的パターンとこれらのサブドメイン上の所定の値の分布を含む一連の BVP 画像が生成されました。 さまざまな幾何学模様の定義には、ブロブ、点、線、三角形、長方形、円などのさまざまな形状のプリミティブと、それらのランダムな変化とスケールと位置の摂動が使用されました。 次のステップでは、\(u\in [25,255]\) の所定の値が各幾何学模様のピクセルに割り当てられました。 所定の値の分布を構築することにより、いくつかの摂動戦略が使用されました。 まず、戦略は定数、勾配、またはランダム値の生成に基づいています。 分布に影響を与える次の要因は、これらの分布のパラメータのランダム化でした。 たとえば、勾配パターンの場合、勾配の方向と大きさは、いくつかの許容範囲内でランダム化されます。

PINN モデルを使用した 2D ラプラス偏微分方程式のエミュレーションに対する私たちのアプローチは、U-Net 画像セグメンテーション フレームワークの適応に基づいています。 ただし、典型的な画像セグメンテーション タスクとは対照的に、連続物理 BVP を解決するには、適切な損失関数の導入が必要です。 ここでは、(i) マルチクラス スパース カテゴリ エントロピー (SCE) (式 7) と (ii) 平均二乗誤差 (MSE) (式 8) を含む 2 つの代替損失関数を使用して U-Net のパフォーマンスを調査します。 ):

ここで、 \(z_{i,j}\) は、i 番目のピクセルが指定されたクラス ラベル j に対して正しく分類されているかどうかを示します。 \(p_{i,j}\) は分類の信頼スコア、N は数値ですピクセル数、M はクラスの数、

ここで、 \(q_i^*\) は i 番目の画像ピクセルのグラウンド トゥルース値、 \(q_i\) は指定されたネットワーク パラメーター \(\theta\) の予測値、 N は画像ピクセルの数です。 したがって、これら 2 つの U-Net 変更は、さらに MC U-Net および MSE U-Net と呼ばれます。

さらに、物理 BVP を解決して良好なパフォーマンスを達成するには、U-Net アーキテクチャ全体を変更する必要があります。 オリジナルの U-Net の変更点は次のとおりです。 私たちの研究では、ドロップアウト層はバッチ正規化層に置き換えられました。 バッチ正規化により、すべてのミニバッチの入力が標準化され、モデルのトレーニングの安定性と速度が向上します。 バッチ正規化を使用しない場合、モデルへの入力分布に変化があると、隠れ層が新しい分布に適応しようとするため、内部共変量シフトが発生します39。 この作業で導入された U-Net アーキテクチャの変更を表 1 にまとめます。

順モデルは、所定の境界条件を使用して 2D ラプラス偏微分方程式によって与えられる BVP の FDM 解を予測するようにトレーニングされます。 フォワード モデルをトレーニングする場合、入力データは上記のように生成された合成 BVP 画像によって定義され、出力データは BVP 画像の FDM ソリューションによって与えられます。 その結果、フォワード モデルは、画像ピクセルの強度値を 8 ビット画像の合計 256 の可能なクラス (つまり、強度値) の 1 つに正しく割り当てるようにトレーニングされました。 このようなモデルは純粋にデータ駆動型であり、コスト関数の一部として物理方程式が明示的に含まれていません。

逆モデルは、順モデル トレーニングに使用された入力データセットと出力データセットを逆にすることによってトレーニングされます。 したがって、逆モデルは、(FDM) ソリューションから元の BVP 画像を再構成する方法を学習することを目的としていました。

順方向 PINN モデルと逆方向 PINN モデルはどちらも、TensorFlow40 と Keras API を使用して Python 3.8 で開発されました。 さらに、読み取りやトレーニング データの準備などの一部の画像処理操作は、PIL、NumPy41、Scikit-image42 を使用して実行されました。 続いて、PINN モデルは、Linux オペレーティング システム (Intel(R) Core (TM) i7-10700K CPU @3.80 GHZ) と NVIDIA RTX 3090-24GB グラフィック カードを搭載した GPU マシンでトレーニングされました。 モデルのトレーニング構成に関しては、準備されたデータセットは、経験と以前の研究に基づいて、トレーニングと検証にそれぞれ 85:15 の比率で分割されました 43,44。 PINN モデルの初期重みは、45 によって提案されているように、平均 0、標準偏差 0.05 でランダムに定義されました。 ここでは、Adam optimizer46 を使用してモデルを最適化し、トレーニング データセットのパフォーマンスを向上させます。 次に、MC U-Net モデルは、学習率 0.0001、バッチ サイズ 256 の 24 個の畳み込みチャネル特徴を使用して 500 エポックでトレーニングされ、MSE U-Net モデルは、学習率 0.0001 およびバッチ サイズ 256 の 24 個の畳み込みチャネル特徴を使用して 2000 エポックでトレーニングされました。 0.0001、バッチサイズは 128。

順方向および逆方向 PINN モデル (\(I_{\text {PINN}}\)) の予測は、参照 FDM ソリューション (\(I_{\text {FDM}}\)) との直接比較によって検証されます。 浮動小数点値を整数値の画像強度に四捨五入することによる許容される差異を考慮するため、最大 1 つの強度値の差 (つまり、プラス-マイナス 1 セグメンテーション クラスの偏差) が許容されました。

PINN モデルと FDM ソリューションのパフォーマンスは、マルチクラス混同行列の従来の導関数を使用して評価されました。この場合、これは 256 クラス (つまり、8 ビット画像の強度値) を数えます。 結果は 8 ビット画像であり、ピクセル値は最も近い整数値に丸められるため、同じメトリックが MSE U-Net モデルの評価に使用されています。 特に、精度と F1 スコアがすべてのテスト画像について評価されました。

精度と感度はどこにあるのか

さらに、すべての画像ピクセルの平均絶対誤差 (MAE) と平均二乗誤差 (MSE) が計算されました。

ここで、 \(p_i^*\) は i 番目の画像ピクセルのグラウンド トゥルース値、 \(p_i\) は予測値です。 PINN 予測の特に大きな外れ値は、FDM ソリューションと PINN ソリューションの差をしきい値処理することで特定されました。

2D ラプラス偏微分方程式の数値解の参照セットは、「方法」セクションで説明した有限差分法を使用して生成されました。 FDM ソルバーの精度を検証するために、数値解を 2D ラプラス偏微分方程式の基本解と比較しました。式 1 を参照してください。 (3)。 この目的のために、ソース点 (\(|r -r'|>0\,,\forall r(x,y) \in \Omega\))、基本解は特異な動作を示します (\(u(r=r') \rightarrow \infty\)) 、図 1 を参照してください。FDM 解と 2D ラプラス偏微分方程式の基本解の検証は、サブドメイン \(r(x,y)\in \Omega \backslash \Gamma\) の内部点に対してのみ実行されました。 。 基本解 \(u(r(x,y)),\,r(x,y)\in \Gamma\) の境界値は、\(r 内の FDM 解の後続の計算のための規定の境界条件として使用されました) (x,y)\in \Omega \backslash \Gamma\)。 このアプローチの理論的基礎は、閉じた空間領域内の解はその境界値によって一意に定義されるというガウス積分定理によって与えられます。

FDM 解と 2D ラプラス PDE u(r(x, y)) の解析的 (基本的) 解の検証は、無限媒質 \ の二次部分領域 \(r(x,y)\in \Omega\) に対して実行されます。 (\オメガ_{\text {inf}}\)。 検証では、内側の点 (つまり、内側の画像ピクセル) \(r(x,y)\in \Omega \backslash \Gamma\) のみが考慮され、境界値は基本解 \(u(r( x,y))=u_{\text {fs}},~r(x,y)\in \Gamma\) であり、内部ドメイン ノードで FDM 解を計算するための境界条件として使用されます。

図 2 は、サブドメイン \(\Omega\) の 128 \(\times\) 128 画像グリッドで計算された解析ソリューションと FDM の比較を示しています。 ご覧のとおり、基本解と FDM 解の間の絶対差は \(1\text {e-}5\) に達し、特異音源点付近で最大値に達します。

2D ラプラス偏微分方程式の基本解と、128 \(\times\) 128 画像サブドメインの FDM を使用して計算された数値解の比較。 左から右へ: 無限媒質の 128 \(\times\) 128 サンプリングされたサブドメインの基本解 (FS) のプロット、128 \(\ の境界で定義された FS 値から計算された FDM 解のプロット倍\) 128 の画像、基本ソリューションと FDM ソリューションの違い。

PINN モデルのパフォーマンスの結果に対する画像領域の離散化とトレーニング データの量の影響を調査するために、9 セットの参照 BVP 画像と対応する FDM ソリューションが生成されました。 これら 9 つのデータセットは、3 つの異なる空間解像度 (64 \(\times\) 64、128 \(\times\) 128 を含む 10,000、40,000、および 70,000 の BVP 画像 (10k、40k、および 70k データセットとも呼ばれます) で構成されています。 、256 \(\times\) 256)、表 2 を参照してください。任意の BVP 上で PINN モデルの正確なパフォーマンスを可能にするために、BVP 画像の参照セットの生成によって幾何学的パターンと境界条件の大きな変動が考慮されました。 したがって、画像の各セットは、幾何学的パターン (点、線、輪郭、立体形状など) と、定数、勾配、および定数を含む所定の値 (境界条件) の空間分布を定義するためのいくつかの戦略を組み合わせることによって生成されました。ランダムな配布。 勾配分布では、ピクセルの値がさまざまな方向に沿って 25 から 255 まで段階的に割り当てられます。 3 つの異なるタイプの境界条件 (定数、勾配、ランダム分布を含む) の BVP 画像の例を図 3 に示します。さらに、トレーニング データの潜在的なバイアスを回避するために、勾配の異なる方向と大きさが実装されました。

BVP 画像生成の例。 左から右へ: 同じ幾何学的パターン上で定義された所定の (ディリクレ)、定数、勾配、およびランダム値の分布を定義するためのバイナリ イメージ (つまり、幾何学的パターン)。

フォワード PINN モデルは、「方法」セクションで説明したように、表 2 の 9 つのデータセットを使用して 2D ラプラス偏微分方程式の FDM 解をエミュレートするようにトレーニングされました。 3 つの異なるタイプの BVP を含む、表 2 のトレーニング データセット 4 に基づく PINN モデル予測の例を図 4 に示します。全体的に、PINN モデル予測は、すべてのタイプの BVP 画像をクロスオーバーする FDM ソリューションとの高い類似性を示します。 ただし、詳細な分析では、異なるタイプの BVP 間で PINN パフォーマンス測定に大きな違いがあることが示されています。 たとえば、両方の方法でランダムに分布した境界値と比較して、一定および勾配境界条件を持つ BVP 画像に適用すると、モデルのパフォーマンスが大幅に正確になることがわかります。補足図 S1 を参照してください。 MC U-Net モデルの場合、モデルのトレーニングに対する空間画像解像度の特有の効果が観察されました。 特に、MC U-Net モデルは、256 \(\times\) 256 でトレーニングされた場合にのみ、最初の 50 エポック内で初期の過学習を示しましたが、64 \(\times\) 64 および 128 \(\times\) 128 ではそうではありませんでした。 BVPの画像。 これは、256 \(\times\) 256 FDM 解のサンプル間隔が、128 \(\times\) 128 および 64 \(\times\) 64 FDM 解と比較して大幅に小さいという事実に遡ることができます。このモデルは、顕著な特徴に加えて、より多くの特徴を捉えるために使用されます。 この問題に対処するために、代わりに maxpooling が 2 から 4 に増加され、問題の軽減に役立ちました。補足図 S3 を参照してください。 これにより、10k データセットでトレーニングされた MSE U-Net ベースのモデルは、70k データセットでトレーニングされた MC U-Net モデルよりも優れたパフォーマンスを発揮します。これは、最高のパフォーマンスの MC U-Net モデルです。補足図 S1 を参照してください。 MC U-Net モデルの追加のパフォーマンス測定は、補足資料の図 S4 ～ S6 にあります。 フォワード モデルのパフォーマンス指標を表 3 に示します。

FDM ソリューションとフォワード MSE の比較例。10,000 128 \(\times\) 128 のグラウンド トゥルース画像でトレーニングされた U-Net モデル予測。 左から右へ: (1 列目) 元の BVP 画像、(2 列目) BVP 画像から計算された 2D ラプラス PDE の FDM 解、(3 列目) BVP 画像から計算された順 PINN モデル予測の結果 (1 列目)、(4 列目)列) FDM (2 列目) と前方 PINN 予測 BVP 画像 (3 列目) の間の絶対差。 上から下へ: 境界条件を含む勾配 (上)、一定 (中央)、およびランダムに分布した境界条件 (下) の例。 カラー グラデーションは、[0, 255] の範囲の強度値とその差を示します。

逆モデルは、2D ラプラス PDE の解 (つまり、平滑化された画像) から初期 BVP (つまり、スパース画像) を再構築することを目的としています。 従来の手法を使用した逆問題の数値解法は、多くの場合簡単な作業ではありません。 PINN ベースの PDE 解法の範囲内では、このタスクはターゲット画像セットからソース画像セットへのモデル トレーニングの方向を逆にする、つまり順モデルのトレーニングに使用される入力データと出力データを交換することによって簡単に対処できます。 さまざまな種類の BVP 問題に対する 128 \(\times\) 128 逆モデルのパフォーマンスの例を図 5 に示します。

元の BVP 画像と、10,000 128 \(\times\) 128 のグラウンド トゥルース画像でトレーニングされた逆 MSE U-Net モデル予測の比較例。 左から右へ: (1 列目) 元の BVP 画像、(2 列目) BVP 画像から計算された 2D ラプラス偏微分方程式の FDM 解、(3 列目) FDM 解から計算された逆 PINN モデル予測の結果 (2 列目)、(4 つの列)列) 元の BVP イメージ (最初の列) と逆 PINN 予測された BVP イメージ (3 列目) の間の絶対差。 上から下へ: 境界条件を含む勾配 (上)、一定 (中央)、およびランダムに分布した境界条件 (下) の例。 カラー グラデーションは、[0, 255] の範囲の強度値とその差を示します。

FDM に対する逆 PINN 予測の検証。 左から右へ: (1 列目) 元の BVP 画像、(2 列目) 元の BVP 画像によって与えられる境界条件に対する 2D ラプラス偏微分方程式の FDM 解、(3 列目) を使用した FDM 解からの元の BVP 画像の再構成逆PINNモデル、(4列)逆予測BVP画像によって与えられる境界条件に対する2Dラプラス偏微分方程式のFDM解、(5列目)元のBVP画像と逆予測BVP画像から計算されたFDM解の差(2列目と4列目) (1列目と3列目)。 上から下の行: ランダム BVP (上)、実線 (中央) と同じ境界値を持つ空の円 BVP (下)。 元の BVP 画像と逆再構成された BVP 画像の違いにもかかわらず、FDM ソリューションはそれほど大きな違いを示しません。 次に、逆 PINN モデルは、他の点では等しい FDM 画像の逆解の原理的曖昧さのため、空の円の内側の正しい値を回復できません。 カラー マップは、[0, 255] の範囲の強度値とその差を示します。 元の BVP の FDM ソリューション (2 列目) と逆予測の FDM ソリューション (4 列目) の間の F1 スコアは、それぞれ 99% (上の行)、100% (中央の行)、100% (下の行) です。

ただし、異なる境界条件が非常に類似した解を導く場合があるため、元の境界条件を正確に回復することは原理の不完全性と関連していることが知られています。 どちらのアプローチでも、予測された逆境界条件は元の境界条件に比べてまばらであり、まばらに予測された境界条件の FDM 計算は、逆予測された境界条件の FDM 解がグランド トゥルースの FDM 解と高い類似性を示すことを示しており、これは次のステートメントを証明します。 、 見る。 図 6. 表 4 の逆 U-Net モデルのパフォーマンス メトリクスの概要からわかるように、それらは順モデルよりも大幅に大きな MSE 誤差を示しています。 表 3. MSE U-Net モデルでは、MC U-Net モデルよりも予測された境界条件がよりまばらであることが観察されています。 したがって、MSE U-Net モデルは、MC U-Net モデルと比較して低い F1 スコアを示します。 MSE U-Net モデルはスパースな逆予測を生成するため、MC U-Net モデルを使用してさらなる分析が行われました (S2 を参照)。 MC U-Net モデルの追加のパフォーマンス測定は、補足図 S7 ～ S9 および補足表 S1 にあります。

画像処理の観点から見ると、逆 2D ラプラス モデルは、平滑化された画像の一種のぼけ除去を効果的に実行します。 図 7 は、\(\sigma =8\) と逆 128 \(\times\) 128 70k PINN モデルを使用した合計 12 回の反復によるガウス平滑化バージョンからの元の画像の逆再構成の例を示しています。 元の画像と逆再構成された画像の間のわずかな違いは、逆 PINN 再構成 (2D ラプラシアン) アルゴリズムと画像平滑化 (2D ガウス) アルゴリズムの違いによるものです。 元の BVP 画像からの逆予測の不一致のもう 1 つの原因は、逆解の原則的な曖昧さによるものです。 図6

ガウス平滑化画像のブレを除去するための逆 128 \(\times\) 128 70k MC U-Net モデルの適用例 (\(\sigma =8\)、12 回の反復)。 左から右へ: 元の画像、ガウス平滑化画像、逆 PINN モデルを使用したガウス平滑化画像のぼけ除去の結果。 カラー マップは、[0, 255] の範囲の元のイメージと逆再構成されたイメージ間の差異を示します。 元の画像と再構成された画像の間の F1 スコアは 67% です。

考えられるすべての BVP の例を含む 128 \(\times\) 128 検証データセットの中からランダムに選択された 500 枚の BVP 画像を使用した、PINN モデルと FDM の計算パフォーマンスの分析。 PINN ソルバーにかかる平均時間は、PCG を使用して剛性行列とその数値解の疎性を決定するため、画像解像度と所定の境界条件を持つノード (つまりディリクレ ピクセル) の数に応じて FDM 解と比較されます。 事前トレーニング済み PINN モデルと FDM の計算パフォーマンスの概要を表 5 と図 8 に示します。 わかるように、PINN モデルを使用した 2D ラプラス偏微分方程式の解の計算は、PINN モデルを使用した反復解と比較してはるかに効率的です。 FDM。 FDM の計算時間が同じ画像サイズのディリクレ ピクセル数に応じて変化することを考慮しても、大きな影響はありません。 画像解像度が増加するにつれて、FDM の計算パフォーマンスは、最大 256 \(\times\) 256 サイズの画像の計算を 1 秒未満で実行する PINN モデルと比較して大幅に高速化されます。

256 \(\times\) 256 画像の計算 PINN パフォーマンスと FDM の比較。 左: 500 個のテスト BVP 画像の PINN 予測 (赤) と FDM ソリューション (青) の経過時間 (秒単位)。 右: 所定の値を持つピクセル (ディリクレ ピクセル) の数に応じた PINN 対 FDM ソリューションの経過時間。 ディリクレ ピクセル数に対する計算時間の依存性は、規定の境界値を実装するための追加の努力と関係があります。

当社の 2D ラプラス PINN ソルバーは、単純なコマンド ライン呼び出し (model.exe ) を使用して Windows および Linux OS 上で実行できる実行可能デモ ツールとして実装されました。 https://ag-ba.ipk-gatersleben.de/Lap2Dpinn.html からサンプル画像とともにダウンロードできます。

この研究では、8 ビット画像上で定義された任意の 2D ラプラス境界値問題を解くための 2 つの PINN モデルを開発し、調査しました。 私たちの実験結果は、大規模な参照 FDM 解セットでトレーニングされた PINN モデルが、これまで見たことのない新しい順方向および逆 2D ラプラス BVP の解を、非常に高い精度で、しかも FDM と比較してはるかに短い計算時間で現実的に予測できることを示しました。

広範囲の境界値問題をカバーするために、PINN モデルはさまざまな種類の境界値問題でトレーニングされました。 これらすべてのタイプの BVP は数学的に許容されますが、そのうちのいくつかは他のもの (ランダムに分布した境界値) よりも物理的に意味があるように見えます (一定または勾配境界条件)。 この観点から、物理的により意味のある BVP の予測精度がランダム境界条件の場合よりも高いことは驚くべきことではありません。 一般に、適切なタイプの BVP の選択は具体的な物理的問題によって異なりますが、2D ラプラス偏微分方程式の場合、ランダムな境界条件は物理的に関連していないようです。

順方向および逆方向の 2D ラプラス BVP は両方とも、PINN モデルを使用して非反復的な方法で驚くべき精度で解決できることが判明しました。 ただし、フォワード PINN モデルとインバース PINN モデルのパフォーマンスを比較すると、フォワード モデルの方がインバース モデルよりも正確な予測を行うことがわかります。 ただし、境界条件が異なっても同様の解が得られるため、これは驚くべきことではありません。 PINN モデルのトレーニングには、2 つの代替損失関数が使用されました。 フォワード PINN モデルの場合、MSE 損失関数でトレーニングされた U-Net モデルは、SCE 損失関数でトレーニングされたマルチクラス U-Net モデルと比較して、わずかに優れたパフォーマンスを示します。 しかし、これは逆予測では観察されませんでした。これは、逆解の原理的曖昧さと、順解と比較して誤差が大きかったためと考えられます 47。 ただし、SCE 測定が整数値クラスに制限されているため、MSE 損失関数にはより一般的なアプリケーション範囲があります。 PINN モデル予測の評価は、いくつかの異なるメトリックを使用して行われました。 しかし、以前の研究からすでに知られているように、特に疎な境界条件を伴う逆問題の場合など、不均一な分布の場合には、F1 スコア尺度を使用した精度の定量化がより有利です。 この作業で開発された PINN モデルは生の入力画像を取得するため、領域の離散化、線形方程式系の組み立て、およびその反復解法のためのさらなる努力は必要ありません。 これらの機能により、特に専門分野を超えた問題に簡単に適用できる、効率的で使いやすいツールになります。 ただし、PINN モデルをトレーニングできる画像ドメインのサイズに関しては、依然として特定の技術的 (G​​PU など) 制限があります。 たとえ将来的にこれらの技術的負担を克服できるとしても、非構造化点群 48 に依存する PINN 解決技術のさらなる研究は一般的に興味深いと思われます。

現在の研究は、整数値の画像領域で定義された 2D ラプラス問題への適用に関する実現可能性の研究を表しています。 より一般的な MSE 損失関数を使用して、浮動小数点値および/または多次元 BVP のより一般的なクラスへの PINN アプローチの拡張は簡単です。 他の画像および物理ベースの境界値問題への適用によって、提案された PINN アプローチの原理的な機能と精度限界を詳しく分析するには、さらなる調査が必要です。

この原稿には、サンプル画像を含む補足情報が付属しています。 現在の研究中に使用および分析されたさらなるデータセットは、合理的な要求に応じて責任著者から入手できます。

Gladilin、E. et al. 一軸セル伸張の有限要素解析: 画像から洞察へ。 Ｊ．Ｍｉｃｒｏｓｃ． 4、104–113 (2007)。

CAS Google スカラー

Gonzalez, P.、Reichenzeller, M.、Eils, R. & Gladilin, E. 顕微鏡イメージングと計算モデリングを使用した、野生型およびラミン欠損細胞の核内部の圧縮性の調査。 Ｊ．Ｂｉｏｍｅｃｈ． 44、2642–2648 (2011)。

記事 Google Scholar

Gladilin, E.、Eils, R. & Peshkin, L. 収縮環機構を超えた胚細胞分裂について: 卵黄の閉じ込め、温度、卵の大きさの影響に関する実験的および計算による研究。 ピアJ. 3 (2015)。

Trew、ML、Smaill、BH、Bullivant、DP、Hunter、PJ、Pullan、AJ 任意の不規則な計算メッシュ上で心臓の電気的活性化をモデル化するための一般化された差分法。 数学。 生物科学。 198、169–189 (2005)。

記事 MathSciNet PubMed MATH Google Scholar

SA州マース、ジョージア州アテシアン、JAフェビオ州ワイス: 歴史と進歩。 アンヌ。 バイオメッド牧師。 工学 19、279–299 (2017)。

論文 CAS PubMed PubMed Central Google Scholar

Mackerle, J. バイオメカニクスにおける有限要素および境界要素法: 参考文献 (1976–1991)。 工学計算します。 9、403–435 (1992)。

記事 MathSciNet Google Scholar

Zhang, L.、Ademiloye, A. & Liew, K. 生体力学におけるメッシュフリーおよび粒子法: 展望と課題。 アーチ。 計算します。 メソッド工学 26 (2018)。

Mang, A.、Bakas, S.、Subramanian, S.、Davatzikos, C. & Biros, G. 統合された生物物理モデリングと画像解析: 神経腫瘍学への応用。 アンヌ。 バイオメッド牧師。 工学 22、309–341 (2020)。

論文 CAS PubMed PubMed Central Google Scholar

Chengyue、W. et al. メカニズムベースのモデリングと生物医学イメージングを統合して、臨床腫瘍学向けの実用的なデジタルツインを構築します。 生物物理学。 改訂 3、021304 (2022)。

記事 Google Scholar

Eskinazi, I. & Fregly, BJ 関節接触機構の代理モデリングのためのオープンソース ツールボックス。 IEEEトランス。 バイオメッド。 工学 63、269–277 (2015)。

記事 PubMed PubMed Central Google Scholar

Halloran, JP、Erdemir, A. & Van Den Bogert, AJ 筋骨格制御モデルと組織変形モデルを効率的に結合するための適応サロゲート モデリング。 Ｊ．Ｂｉｏｍｅｃｈ． 工学 131、011014 (2009)。

論文 PubMed Google Scholar

Niroomandi, S.、Alfaro, I.、Cueto, E.、Chinesta, F. 超弾性材料の次数削減をモデル化します。 内部。 Ｊ．Ｎｕｍｅｒ． メソッドエンジニアリング 81、1180–1206 (2010)。

記事 MathSciNet MATH Google Scholar

Barbič, J. & James, DL St. Venant-Kirchhoff 変形可能モデルのリアルタイム部分空間統合。 ACMトランス。 グラフ。 TOG。 24、982–990 (2005)。

記事 Google Scholar

An、SS、Kim、T.、James、DL 部分空間変形を効率的に統合するための立方体最適化。 ACMトランス。 グラフ。 TOG 27、1–10 (2008)。

記事 Google Scholar

Goury, O. & Duriez, C. モデル次数削減を使用したソフト ロボットの高速、汎用、信頼性の高い制御とシミュレーション。 IEEEトランス。 ロブ。 34、1565–1576 (2018)。

記事 Google Scholar

Chaturantabut, S. & Sorensen, DC 非線形モデル削減のための離散経験的補間。 2009 年の第 28 回中国制御会議と共同開催された第 48 時間 IEEE 会議決定と制御 (CDC) の議事録、4316 ～ 4321 (IEEE、2009)。

Bui-Thanh, T.、Willcox, K. & Ghattas, O. 高次元パラメトリック入力空間を使用した大規模システムのモデル削減。 サイアム J. Sci. 計算します。 30、3270–3288 (2008)。

記事 MathSciNet MATH Google Scholar

マイスター、F.ら。 ニューラルネットワークを使用した軟組織の高速生体力学的モデリングに向けて。 https://doi.org/10.48550/ARXIV.1812.06186 (2018)。

Mendizabal, A.、Márquez-Neila, P.、Cotin, S. 深層学習を使用したリアルタイムの超弾性材料のシミュレーション。 医学。 アナル画像。 59、101569 (2020)。

論文 PubMed Google Scholar

Margenberg, N.、Hartmann, D.、Lessig, C.、Richter, T. ナビエ・ストークス方程式のニューラル ネットワーク マルチグリッド ソルバー。 Ｊ．Ｃｏｍｐｕｔ． 物理学。 460、110983 (2022)。

記事 MathSciNet MATH Google Scholar

Raissi, M.、Perdicaris, P. & Karniadakis, GE 物理学に基づいた深層学習 (パート I): 非線形偏微分方程式のデータ駆動型ソリューション。 CoRR. abs/1711.10561 (2017)。 1711.10561。

Fetene, BN、Shufen, R.、Dixit, US Fem ベースのレーザー支援曲げのニューラル ネットワーク モデリング。 ニューラルコンピューティング。 応用 29、69–82 (2018)。

記事 Google Scholar

ライヒシュタイン、M. et al. データ駆動型地球システム科学のためのディープラーニングとプロセス理解。 Nature 566、195–204 (2019)。

論文 ADS CAS PubMed Google Scholar

アルバー、M.ら。 機械学習とマルチスケール モデリングの統合 - 生物学、生物医学、行動科学における視点、課題、機会。 NPJ 桁。 医学。 2、1–11 (2019)。

記事 Google Scholar

Iten, R.、Metger, T.、Wilming, H.、Del Rio, L. & Renner, R. ニューラル ネットワークによる物理概念の発見。 物理学。 レット牧師。 124、010508 (2020)。

論文 ADS CAS PubMed Google Scholar

Karniadakis、GE et al. 物理学に基づいた機械学習。 ナット。 Rev. Phys. 3、422–440 (2021)。

記事 Google Scholar

Roewer-Despres, F.、Khan, N.、Stavness, I. 深層学習を使用した有限要素シミュレーションに向けて。 生体力学および生医工学におけるコンピュータ手法に関する第 15 回国際シンポジウム（2018 年）にて。

Luo, R. et al. NNWarp: ニューラル ネットワーク ベースの非線形変形。 IEEEトランス。 ヴィス。 計算します。 グラフ。https://doi.org/10.1109/tvcg.2018.2881451 (2018)。

論文 PubMed Google Scholar

Odot, A.、Haferssas, R.、Cotin, S. Deepphysics: リアルタイム シミュレーションのための物理学を意識した深層学習フレームワーク。 内部。 Ｊ．Ｎｕｍｅｒ． メソッドエンジニアリング 123、2381–2398 (2022)。

記事 MathSciNet Google Scholar

Cai, S.、Liang, J.、Gao, Q.、Xu, C.、Wei, R. 深層学習運動推定器に基づく粒子画像流速測定。 IEEEトランス。 インストラム。 測定。 69、3538–3554 (2019)。

記事 ADS Google Scholar

O'Shea, K. & Nash, R. 畳み込みニューラル ネットワークの概要。 arXiv e-printsarXiv:1511.08458 (2015)。

Lu, L.、Meng, X.、Mao, Z.、Karniadakis、GE Deepxde: 微分方程式を解くための深層学習ライブラリ。 SIAM Rev. 63、208–228 (2021)。

記事 MathSciNet MATH Google Scholar

Hennigh、O. et al. Nvidia simnet\(^TM\): AI アクセラレーションによるマルチフィジックス シミュレーション フレームワーク。 計算科学に関する国際会議、447–461 (Springer、2021)。

チェン、F.ら。 Neurodiffeq: ニューラル ネットワークを使用して微分方程式を解くための Python パッケージ。 J. オープンソース ソフトウェア。 1931 年 5 日 (2020)。

記事 ADS Google Scholar

ジョンセン、SF et al. Niftysim: 軟組織生体力学シミュレーション用の GPU ベースの非線形有限要素パッケージ。 内部。 Ｊ．Ｃｏｍｐｕｔ． 支援する。 ラジオル。 外科。 10、1077–1095 (2015)。

論文 PubMed Google Scholar

コマス、O. et al. オープンソースフレームワークソファ内での軟組織モデリングとそのGPU実装のための効率的な非線形FEM。 生物医学シミュレーションに関する国際シンポジウム、28 ～ 39 (Springer、2008)。

Ronneberger, O.、Fischer, P. & Brox, T. U-net: 生物医学画像セグメンテーションのための畳み込みネットワーク。 医用画像コンピューティングとコンピュータ支援介入 (MICCAI)、vol. LNCS の 9351、234–241 (Springer、2015)。

ヤング D.、ツァイ C.-C.、チェン C.、ファン C.-M. ラプラス方程式の逆問題の基本解法と条件数解析の方法。 計算します。 数学。 応用 55、1189–1200 (2008)。

記事 MathSciNet MATH Google Scholar

Ioffe, S. & Szegedy, C. バッチ正規化: 内部共変量シフトを削減することでディープ ネットワーク トレーニングを加速します。 機械学習に関する国際会議、448–456 (PMLR、2015)。

アバディ、M.ら。 TensorFlow: 異種分散システム上の大規模な機械学習。 arXiv e-printsarXiv:1603.04467 (2016)。

Walt, SVD、Colbert, SC & Varoquaux, G. numpy 配列: 効率的な数値計算のための構造。 計算します。 科学。 工学 13、22–30 (2011)。

記事 Google Scholar

Van der Walt, S. et al. scikit-image: Python での画像処理。 PeerJ 2、e453 (2014)。

記事 PubMed PubMed Central Google Scholar

Crimi, A.、Bakas, S.、Kuijf, H.、Menze, B. & Reyes, M. 脳損傷: 神経膠腫、多発性硬化症、脳卒中および外傷性脳損傷: 第 3 回国際ワークショップ、BrainLes 2017、MICCAI 2017 と同時開催、カナダ、ケベックシティ、ケベックシティ、2017 年 9 月 14 日、Revised Selected Papers、vol. 10670 (スプリンガー、2018)。

Joseph、VR データ分割の最適な比率。 統計アナル。 データ最小値 ASA データサイエンス。 J. 15, 531–538 (2022)。

記事 MathSciNet Google Scholar

Krizhevsky, A.、Sutskever, I.、および Hinton, GE によるディープ畳み込みニューラル ネットワークによる Imagenet 分類。 『神経情報処理システムの進歩』、1097–1105 (2012)。

Kingma, DP & Ba, J. Adam: 確率的最適化の手法。 CoRRabs/1412.6980 (2015)。

Aster, RC、Borchers, B. & Thurber, CH パラメータ推定と逆問題 (Elsevier、2018)。

リー、Ｚら。 パラメトリック偏微分方程式のフーリエ ニューラル演算子。 arXiv プレプリント arXiv:2010.08895 (2020)。

リファレンスをダウンロードする

この研究は、AVATARS プロジェクト (FKZ 031B0770A) の範囲内で、ドイツ連邦教育研究省 (BMBF) によって支援されました。

Projekt DEAL によって実現および組織されたオープンアクセス資金調達。

ライプニッツ植物遺伝学および作物研究研究所、OT Gatersleben、Corensstr. 3、06466、ゼーラント、ドイツ

アント・ニヴィン・マリア・アントニー、ナレンドラ・ナリセッティ、エフゲニー・グラディリン

PubMed Google Scholar でこの著者を検索することもできます

PubMed Google Scholar でこの著者を検索することもできます

PubMed Google Scholar でこの著者を検索することもできます

ANMA と NN は、計算実験を実行し、データを分析し、原稿を書き、図や表を作成し、論文の草稿をレビューしました。 EG は調査を考案および監督し、計算分析を実行し、図を作成し、原稿を作成およびレビューしました。 著者全員がこの原稿を現在の形式にすることに同意した。

Anto Nivin Maria Antony または Evgeny Gladilin への通信。

シュプリンガー ネイチャーは、発行された地図および所属機関における管轄権の主張に関して中立を保ちます。

オープン アクセス この記事はクリエイティブ コモンズ表示 4.0 国際ライセンスに基づいてライセンスされており、元の著者と情報源に適切なクレジットを表示する限り、あらゆる媒体または形式での使用、共有、翻案、配布、複製が許可されます。クリエイティブ コモンズ ライセンスへのリンクを提供し、変更が加えられたかどうかを示します。 この記事内の画像またはその他のサードパーティ素材は、素材のクレジットラインに別段の記載がない限り、記事のクリエイティブ コモンズ ライセンスに含まれています。 素材が記事のクリエイティブ コモンズ ライセンスに含まれておらず、意図した使用が法的規制で許可されていない場合、または許可されている使用を超えている場合は、著作権所有者から直接許可を得る必要があります。 このライセンスのコピーを表示するには、http://creativecommons.org/licenses/by/4.0/ にアクセスしてください。

転載と許可

Maria Antony、AN、Narisetti、N.、Gladilin、E. 2D ラプラス PINN ソルバーとしての FDM データ駆動型 U-Net。 Sci Rep 13、9116 (2023)。 https://doi.org/10.1038/s41598-023-35531-8

引用をダウンロード

受信日: 2022 年 8 月 18 日

受理日: 2023 年 5 月 19 日

公開日: 2023 年 6 月 5 日

DOI: https://doi.org/10.1038/s41598-023-35531-8

次のリンクを共有すると、誰でもこのコンテンツを読むことができます。

申し訳ございませんが、現在この記事の共有リンクは利用できません。

Springer Nature SharedIt コンテンツ共有イニシアチブによって提供

コメントを送信すると、利用規約とコミュニティ ガイドラインに従うことに同意したことになります。 虐待的なもの、または当社の規約やガイドラインに準拠していないものを見つけた場合は、不適切としてフラグを立ててください。