コンテンツにスキップ

wall-mounted-cube

英語 | 日本語

« Home · « 外部流れ・風工学

概要: チャネル床面に置いた立方体まわりの流れ(ERCOFTAC case 41 / SIG15 6.3(OpenCAE V&V の OpenFOAM ケース、ディレクトリ名は case06.2)、Martinuzzi & Tropea の実験、Re_H = 40,000)を、D3Q27 キュムラント LBM-LES で解く。格子を H/16、H/32、H/48 と細かくして、LDA の平均速度・レイノルズ応力と比べる。H/48 の計算(1.23 億セル)は Miyabi-G の GH200 8 台で行い、その速度とスケーリングも測った。途中経過のまとめ(2026-10-27)。2026-10-29 の進捗は下記。

進捗(2026-10-29)

  • 2026-10-28 の壁モデルの変更は、このケースに影響しない。 D3Q27 の壁モデルは、壁に対する相対的な接線速度を使うように変わった(DrivAer の計算の動く床と車輪のため)。立方体には動く壁がなく、変更前後で分布関数のチェックサムがビット単位で一致した(GB200、H/32 は 20 + 400 ステップ、H/48 は 20 + 200 ステップ、stdpar と CUDA 版の各モード:初版、新レイアウト、FP32 保存、FP32 衝突)。このページの結果はすべてそのまま有効である。
  • Miyabi-G での複数ノードの CUDA(1 ノードに GH200 1 基、1 ノード 1 MPI ランク、CUDA 版は計算ノードで -cuda を付けてビルド、2026-10-28 のソース)。2026-10-28 の計算は起動時に失敗していた(実行ファイルが未ビルドだった)ため、2026-10-29 に再実行した。s/step は力の出力を含む。FP64 のチェックサムは stdpar と一致し(H/48 ec36499638244575、H/32 d33bf4bdf3983bd4)、OVERLAP=3 でも結果は変わらない。
H/48(スパン 24 H)、s/step 2 ノード 4 ノード 8 ノード
stdpar、縮小デバイス halo(2026-10-27) – – 0.02704
CUDA LBM_CUDA=3(FP64) 0.01511 0.00903 0.00574
CUDA FP64 + OVERLAP=3 0.01455 0.00813 0.00503
CUDA LBM_FP32=2(FP32 衝突) 0.01259 0.00779 0.00503
CUDA FP32 衝突 + OVERLAP=3 0.01200 0.00683 0.00427

ノード間では、内部のカーネルと MPI の重ね合わせが効く(H/48、8 ノードで 12〜15 %)。1 ノード内では効かなかったのと対照的である。H/48 を FP32 衝突と重ね合わせで GH200 8 基に載せると 0.00427 s/step(29 GLUPS)で、stdpar の 6.3 倍である。H/32(スパン 7 H)は 8 ノードには小さすぎる(4 ノードの 0.00080 に対して 0.00059 s/step)。

1 ノード(2026-10-29):H/48 は Miyabi-G の GH200 1 基では動かない(準備の段階で、ジョブのメモリ上限 100 GiB を超えて止められる)。H/32 は GH200 1 基で、FP64 が 0.00253 s/step(stdpar の 0.0166 の 6.6 倍)、FP32 衝突が 0.00206 s/step(8.1 倍)で、チェックサムは複数ノードと同じ。OVERLAP は 2 ランク以上が必要(1 ランクでは HALO_MEM が legacy になる)。 - 立方体前方の壁近くの乱れ(下の課題):未着手。最初の作業は、引き続き x 方向の断面での u_rms の測定である。

構成

立方体(一辺 H)は高さ 2H の閉じたチャネルの床に立つ。領域は立方体前面の 10H 上流から 12H 下流まで(x/H = -10〜12)。座標は実験と同じく、x が流れ方向、y が床からの高さ、z がスパン方向。

domains

項目 H/16 H/32 H/48
格子幅 H/16 H/32 H/48
セル数 126 万 1,010 万 1.17 億(側壁の固体帯を含めて 1.23 億)
スパン 7H、側面は free-slip 7H、側面は free-slip 24H(実験と同じ)、側壁は no-slip + 壁関数
閉塞率 7.1 % 7.1 % 2.1 %(実験と同じ)

grids

立方体まわりの格子(側面、x/H = -1〜2)。一様な直交格子で、立方体は固体セル。立方体の高さ方向に 16、32、48 セル。

共通の条件:

項目 値
格子 D3Q27、キュムラント衝突、一様格子(細分化なし)
LES Smagorinsky(C_s = 0.10)
壁 床・天井・立方体(H/48 では側壁も)に Spalding 則の壁関数。壁は格子面に一致する階段状の bounce-back で、格子生成は不要
流入 x/H = -18 で測った十分発達したチャネル流の平均速度とレイノルズ応力(LDA)に、デジタルフィルタの人工乱流(長さスケール L_x = 1.0H、L_y = L_z = 0.3H)を重ねる。助走計算(precursor)やリサイクルはない
流出 圧力一定

結果(平均場)

H/16 と H/32 は 1 GPU で、H/48 は 8 GPU で回した。H/48 の統計は 118 H/U_b(5,671 サンプル)、その前の助走が 45 H/U_b。

centreline U

中心面(z = 0)の平均速度 U/U_b。○ は実験(LDA)。

centreline urms

同じ位置の u_rms/U_b。

量 実験 H/16 H/32 H/48
後流の再付着長さ X_R/H(最初のセル / y = 0.02H) 1.62(y = 0.02H) 2.72 / 2.72 1.54 / 1.52 1.37 / 1.35
前面: 最上流の逆流点 x/H(最初のセル) -1.04(油膜) -0.83 -1.10 -1.14
屋根: x/H = 0.5 の U/U_b(最初のセル) -0.56(y = 1.02H) -0.04 -0.13 -0.14
床から最初のセル中心までの高さ y/H 0.02(LDA の最下点) 0.0312 0.0156 0.0104
U/U_b の平均絶対誤差(全測点) – 0.173 0.104 0.088
u'u'/U_b² の平均絶対誤差 – 0.0165 0.0097 0.0080
v'v'/U_b² の平均絶対誤差 – 0.0161 0.0063 0.0061
u'v'/U_b² の平均絶対誤差 – 0.0064 0.0036 0.0028

X_R convergence

再付着長さ X_R/H(最初のセル)の移動平均と平均時間 T U_b/H。点線は実験(1.62)。最後の 50 H/U_b での変化は H/32 で 0.007H(1.530 → 1.537)、H/48 で 0.009H(1.383 → 1.374)で、X_R は平均時間について収束している。H/16 は 300 H/U_b まで平均しても 2.6〜2.7 にとどまる。

  • H/16 から H/32 で誤差の大部分が消え、H/48 で平均速度・応力の誤差はさらに減る。
  • X_R は 2.72 → 1.54 → 1.37 と短くなり、H/48 では実験(1.62)より 0.25H 短い。スパンだけを変えた計算(H/32 を 24H、H/48 を 7H、流入の乱数の種を変えて複数本)では、スパン(閉塞率)による X_R の差は種のばらつきの範囲内で、短くなるのは格子の効果。H/64(24H、FP32 計算)でも X_R/H = 1.371 で H/48(1.359 ± 0.038)とばらつきの範囲で一致し、X_R は格子について収束している。
X_R/H(最初のセル) スパン 7H スパン 24H
H/32 1.516 ± 0.025(5 本) 1.489 ± 0.001(2 本)
H/48 1.343 ± 0.023(2 本) 1.359 ± 0.038(5 本)
H/64 – 1.371(1 本)
- 屋根上の逆流は弱いまま(実験 -0.56 に対して -0.14)。
- 立方体前方(x/H = -3、-1.5)の壁近くの乱れは、H/32 では実験より小さく、H/48 では約 50 % 大きい。人工乱流の長さスケール(0.3H)が H/48 では 14 セルで解像されて減衰しにくくなったためと考えているが、まだ確かめていない(下の「課題と対策」)。

瞬時場(H/48)

H/48 の最後のチェックポイント(t = 163 H/U_b)の瞬時場。

|U| on y=0

中心面 z = 0 の |U|/U_b(x/H = -3〜12)。

Q 10

Q (H/U_b)² = 10

Q 30

Q (H/U_b)² = 30

Q 値の等値面(Q = ½(|Ω|² − |S|²) を中心差分で計算、壁に接するセルは除く)。上流の渦は流入の人工乱流、上の方の渦は高さ 2H の天井の境界層のもの。Q (H/U_b)² = 30 では、立方体前面の馬蹄渦が側面に回り込む形が見える。

動画(H/48)

最後のチェックポイント(t = 163 H/U_b)から計算を続け、x/H = -3〜11、横方向 ±3.5H の範囲の速度を 48 ステップごとに書き出した 160 コマ(t = 163.2〜171.1 H/U_b、約 10 秒でループ)。

|U| on z=0 animation

中心面 z = 0 の |U|/U_b(x/H = -3〜11)。

Q 30 animation

Q (H/U_b)² = 30 の等値面(上の静止画と同じ計算方法、2 セルおきに間引き)。流れは左から右。

文献の計算例(Q 値などの等値面)

文献 条件 等値面
Krajnović & Davidson (2002), AIAA J. 40(5), 927–936(doi:10.2514/2.1729) 本計算と同じ ERCOFTAC case 41(Re = U_b H/ν = 40,000、チャネル高さ 2H、スパン 7H)。LES(動的 1 方程式 SGS)、粗い格子(立方体の各辺に 16〜40 点) 瞬時の Q = 5(図 9)。立方体側面の横渦(「ティーカップの取っ手」形)の生成と崩壊を示す。正規化は本文に明記なし
Nigro et al. (2005), Mecánica Computacional 24, 1299(論文ページ) ERCOFTAC case 41(Re = U_b H/ν = 40,000、立方体の一辺 1、スパン ±3.5)。有限要素 LES(Smagorinsky、壁関数)、四面体約 130 万、周期チャネルの助走計算で流入 瞬時の Q = 0.35(図 21、馬蹄渦・ヘアピン渦・横渦)。時間平均場の Q > 0 を範囲 [0.1, 3.0] と [0.2, 0.5] で表示(図 22)。正規化は本文に明記なし
Diaz-Daniel, Laizet & Vassilicos (2017), Int. J. Heat Fluid Flow 68, 269–280(doi:10.1016/j.ijheatfluidflow.2017.09.015、著者版 PDF) DNS、境界層(層流・乱流)中の立方体、Re_H = U∞H/ν = 500〜3,000 層流境界層の図 3 で、Q H²/U∞² = 0.1(Re_H = 500、600、750)、0.2(1,100)、0.28(1,700、3,000)。Re_H = 500 では 0.003 まで下げて弱い非定常構造を示す。流れ方向速度で色付け。立方体上面から周期的に出るヘアピン渦
Schröder et al. (2020), Exp. Fluids 61, 189(doi、オープンアクセス) 実験(時間分解 PIV、3D Shake-The-Box)と LBM(ProLB)、境界層中の立方体、Re_H = 2,000〜8,000 Q ではなく渦度の大きさの等値面(層流流入の例で |ω| = 170 s⁻¹)
  • 本計算に条件が最も近いのは上の 2 件(同じ case 41 の LES)で、しきい値は Q = 5 と 0.35。このページの Q (H/U_b)² = 10、30 はそれより大きい。格子が細かいほど小さく強い渦まで解像されるので、一般に同じように見せるためのしきい値は大きくなる(このページの H/48 は立方体の一辺に 48 セル、Krajnović & Davidson は 16〜40 点)。
  • Q のしきい値は、レイノルズ数、格子解像度、正規化に使う速度(上の文献は自由流速 U∞、このページは bulk 速度 U_b)で大きく変わる。このページの Q (H/U_b)² = 10、30 は Re_H = 40,000 の LES で、上の DNS(Re_H ≤ 3,000)の値とは直接比べられない。しきい値は、構造が見分けられる値を計算ごとに選んでいる。

速度とスケーリング(Miyabi-G、GH200)

1 ノードに GH200 が 1 台、1 GPU に 1 MPI ランク。D3Q27、FP64。

計算 GPU s/step MLUPS 効率 T₁/(N T_N)
H/48(1.23 億セル) 1 0.1953 631 100 %
2 0.0997 1,237 98 %
4 0.0542 2,273 90 %
8 0.0289 4,266 84 %
H/32(1,010 万セル) 1 0.0166 607 100 %
2 0.0088 1,151 95 %
4 0.0051 1,990 82 %
8 0.0032 3,188 66 %
1 GPU 基準 2 GPU 基準
speedup 1 GPU speedup 2 GPU
  • カーネル部分は 1→8 GPU でほぼ理想的に縮み、効率の低下は halo 交換(パック、MPI、アンパック)の時間による。
  • 改良版(受け手が読む方向の分布関数だけを送る、壁の ghost の交換を省く、内側ブロックの衝突と局所コピーを MPI と重ねる)では、8 GPU で H/48 が 0.0263 s/step(4,686 MLUPS、効率 93 %)、H/32 が 0.0025 s/step(4,040 MLUPS、83 %)になった。結果は改良前とビット単位で一致する。2 GPU と 4 GPU の改良版は測定待ちで、上の図と表は改良前の値。
  • 1 GPU あたり 6.2 × 10⁷ セルの弱スケーリング(1→2 GPU)は 100 %。
  • オープンCAEシンポジウム2026 の発表では、上の表の H/48(1.23 億セル、固体帯込み)の速度向上率を、1 GPU 基準で 2/4/8 GPU で 1.96/3.60/6.76 倍(並列化効率 98.0/90.0/84.5 %)と示した。
  • H/48 の本計算(統計の FP64 積算つき)は 8 GPU で 0.0277 s/step(約 4,450 MLUPS)、156,600 ステップで約 1 時間 15 分(約 10 ノード時間)。

速度とスケーリング(Flow2、GB200)

名古屋大学の Flow2(不老・弍)Type II は 1 ノードに GB200 が 4 基。1 ノード内の 1、2、4 GPU で、halo 交換の 3 通りを比べた。1 GPU に 1 MPI ランク、D3Q27、FP64。

計算 GPU 従来版 s/step(効率) 送る量を減らす版 計算と重ねる版
H/48(1.23 億セル) 1 0.1664(741 MLUPS) – –
2 0.0835(99.7 %) 0.0837(99.5 %) 0.0837(99.4 %)
4 0.0444(93.8 %) 0.0440(94.6 %) 0.0433(96.2 %)
H/32(1,010 万セル) 1 0.01443(699 MLUPS) – –
2 0.00747(96.6 %) 0.00738(97.8 %) 0.00751(96.1 %)
4 0.00407(88.6 %) 0.00387(93.2 %) 0.00402(89.7 %)
  • 「送る量を減らす版」は受け手が読む方向の分布関数だけを送り、壁の ghost の交換を省く。「計算と重ねる版」はさらに内側ブロックの衝突と局所コピーを MPI と重ねる。
  • 1 GPU では GB200 が GH200(Miyabi-G)より約 17 % 速い(H/48 で 0.166 対 0.195 s/step)。
  • 4 GPU の従来版の効率は H/48 で 94 %、H/32 で 89 % で、Miyabi-G(90 %、82 %、GPU 間はノード間通信)より高い。4 GPU がノード内でつながっているため、H/48 の halo 交換は Miyabi-G の 6.3 ms に対し 3.4 ms(計算と重ねる版で 2.0 ms)。このため改良の効果は 1〜2 ポイントにとどまる。
  • 分布関数のチェックサムは、3 通りの交換のすべてで同じで、Miyabi-G(GH200)の値とも一致する(計算機をまたいでビット単位で同じ結果)。
  • 2 ノード(8 GPU)は測定待ち(Flow2 Type II の複数ノードジョブはまだ流れていない)。

速度とスケーリング(Aquarius、A100)

東京大学 Wisteria/BDEC-01 の Aquarius(1 ノードに A100-SXM4-40GB が 8 基)。1 GPU に 1 MPI ランク、NVHPC 25.9 と付属の HPC-X(CUDA 対応)、stdpar 版。各行は 3 通りの halo 交換のうち最速のもの。

計算 GPU(ノード) s/step MLUPS 効率
H/32 1 0.0305 331 100 %
2 0.0156 647 98 %
4 0.0082 1,226 93 %
8(1) 0.0045 2,240 85 %
16(2) 0.0027 3,767 71 %
32(4) 0.0019 5,423 51 %
H/48 4 0.0993 1,241 100 %(4 GPU 基準)
8(1) 0.0536 2,302 95 %
16(2) 0.0285 4,322 89 %
32(4) 0.0156 7,912 80 %
  • A100 1 基は GH200・GB200 の約 0.45〜0.5 倍。H/48 は 40 GB の GPU 1〜2 基には入らない。
  • 2 ノードでは送る量を減らす交換が効き、H/48 の効率は従来の交換の 74 % に対し 89 %。計算と重ねる効果は 2 % 以内。
  • チェックサムは Miyabi-G・Flow2 と一致する(4 ノードを含む)。4 ノード(32 GPU)の効率は H/32 で 51 %、H/48 で 80 %。8 ノードは測定していない。

1 ノードで解ける大きさ(Flow2、GB200 4 基)

スパン 24H のまま格子を細かくした。計算と重ねる交換、100 ステップ。

格子 セル数 s/step MLUPS ホストメモリの最大(1 ランク)
H/48 1.23 億 0.0433 2,849 –
H/64 2.83 億 0.1001 2,823 68〜70 GB
H/72 4.01 億 0.1422 2,823 94〜98 GB
H/80 5.50 億 0.1902 2,890 127〜130 GB
H/88 7.31 億 0.2546 2,869 167〜171 GB
  • 大きくしても GPU 1 基あたり約 710 MLUPS で落ちない。1 ランクのホストメモリは担当セル 1 個あたり約 930 B で、ジョブの上限(864 GB)から 1 ノードは H/88 程度まで。

CUDA 版

衝突と並進を 1 つの CUDA カーネルにまとめ、ブロック間のコピーを隣のブロックからの直接読み出しに置き換えた版。さらに、分布関数を内部のセルだけの配置(16 セルの行を 128 バイト境界にそろえる)にし、床と天井のセルを専用のカーネルにした(LBM_CUDA=3)。演算の順序は stdpar 版と同じで、分布関数のチェックサムは GB200・A100 の 1〜8 GPU で stdpar 版とビット単位で一致する。s/step(かっこ内は stdpar 版との比)。

GB200 stdpar CUDA(はじめの版) CUDA(配置変更) 配置変更 + FP32 保存 配置変更 + FP32 計算
H/48、1 GPU 0.1664 0.0292(5.7 倍) 0.0222(7.5 倍) 0.0228 0.0178(9.4 倍)
H/48、4 GPU 0.0433 0.00846(5.1 倍) 0.00656(6.6 倍) 0.00671 0.00545(7.9 倍)
H/32、1 GPU 0.01442 0.00271(5.3 倍) 0.00195(7.4 倍) 0.00201 0.00156(9.2 倍)
H/32、4 GPU 0.00404 0.00092(4.4 倍) 0.00069(5.9 倍) 0.00071 0.00059(6.8 倍)
A100 stdpar CUDA(はじめの版) CUDA(配置変更) 配置変更 + FP32 計算
H/32、1 GPU 0.0305 0.00693 0.00516(5.9 倍) 0.00402
H/32、4 GPU 0.00823 0.00222 0.00176(4.7 倍) 0.00149
H/32、8 GPU 0.00450 0.00148 0.00118(3.8 倍) 0.00101
H/48、4 GPU 0.1004 0.0289 0.0244(4.1 倍) 0.0208
H/48、8 GPU 0.0538 0.0194 0.0165(3.3 倍) 0.0145

CUDA の速度向上

同じ GPU での、stdpar 版に対する CUDA 版の速度向上(H/48、力の出力を含む s/step)。

Miyabi-G での CUDA のスケーリング

Miyabi-G での H/48 の強スケーリング(1 ノードに GH200 1 基、2026-10-29)。左は 1 ステップの時間(点線は理想)、右は処理速度。CUDA 版は 2 ノードから測った(1 ノードでは、H/48 が準備の段階で Miyabi-G のジョブのメモリ上限 100 GiB(GPU のメモリを含む)を超えて止められる)。GH200 8 基で、FP32 衝突と OVERLAP=3 を使うと 29 GLUPS で、元の halo 交換の stdpar 版の 6.8 倍である。

Miyabi-G での CUDA の速度向上

Miyabi-G(1 ノードに GH200 1 基)での、同じノード数の stdpar 版に対する CUDA 版の速度向上(力の出力を含む s/step。stdpar は元の halo 交換、CUDA は 2026-10-29)。FP32 衝突と OVERLAP=3 で、H/48 は 2 / 4 / 8 ノードで 8.3 / 7.9 / 6.8 倍速い。ノード数が増えると速度向上は下がる(原因はまだ測っていない)。H/48 は 1 ノードには載らない(ジョブのメモリ上限)。

  • FP32 保存:分布関数を f − wᵢ の形の FP32 で保存し、計算は FP64。FP32 計算:衝突も FP32。統計とチェックポイントは FP64 のまま。
  • 非同期の読み込み(cp.async)と 2 ストリームは試したが速くならなかった。
  • 力の計算(ホストでの集計)を除いたカーネルだけの時間では、H/48 で GB200 1 基が FP64 で 0.01925 s/step(stdpar の 8.5 倍)、FP32 計算で 0.01485 s/step(11.0 倍)、4 基で 0.00510 / 0.00399 s/step(8.4 / 10.7 倍)。
  • カーネルはメモリ帯域でも FP64 演算でもなく待ち時間で律速している。FMA をまとめない版(6〜8 % 速いだけ)と、計算と MPI を重ねる版(1 ノード内では速くならない)は既定にしていない。

FP32 の検証

H/32 の本計算(45 H/U_b の助走 + 105 H/U_b の平均)を、流入の乱数の種を変えて各 5 本。± は種の間の標準偏差。

版 X_R/H(最初のセル) x_F/H U の平均絶対誤差 u'v' の平均絶対誤差
FP64 1.516 ± 0.025 −1.111 ± 0.017 0.1032 0.0039
FP32 保存 1.511 ± 0.017 −1.111 ± 0.018 0.1029 0.0038
FP32 計算 1.499 ± 0.029 −1.111 ± 0.018 0.1033 0.0039
H/48 FP64(45 + 60 H/U_b) 1.359 ± 0.038 – 0.0875 0.0029
H/48 FP32 計算 1.368 ± 0.058 – 0.0871 0.0030
  • FP32 計算の X_R は FP64 より 0.017 短いだけで、差の標準誤差と同程度。有意なずれはない(1 本ずつの比較で見えた 0.05〜0.07 は種によるばらつきだった)。誤差の指標は 3 桁目まで一致する。
  • 検証済みの最速の構成は、配置変更 + FP32 計算(GB200 1 基の H/48 で stdpar の 9.4 倍)。H/48(45 H/U_b の助走 + 60 H/U_b の平均、各 5 本)でも FP32 計算による差は種のばらつきの範囲内。4 基の GB200 の本計算モードの H/48 は FP64 で 0.0052 s/step(24 GLUPS)、FP32 計算で 0.0040 s/step(30 GLUPS)。
  • H/48 を FP32 計算で 45 + 118 H/U_b 回した結果は FP64 と許容差内で一致した(X_R/H 1.390 対 1.374、U の平均絶対誤差 0.0863 対 0.088)。このため、本計算は配置変更 + FP32 計算(LBM_CUDA=3 LBM_FP32=2)を標準とし、FP64 の配置変更版は stdpar との照合用に残す。H/64(2.8 億セル)の本計算は GB200 4 基で 0.0088 s/step、192,000 ステップを 1 時間で回せる。

課題と対策

立方体前方の壁近くの乱れ

現状: y = 0.15H での u_rms/U_b は次のとおり。H/48 のピークは y = 0.14〜0.18H にあり、実験のピークは最下点(0.02H)にある。天井(y = 2H)近くでも同じように大きすぎる。

x/H 実験 H/32 H/48
-3 0.094 0.084 0.135
-1.5 0.103 0.094 0.160

流入の作り方: x/H = -18 で測った平均速度とレイノルズ応力を、壁で 0 になるように流入口(x/H = -10)に与え、デジタルフィルタで変動を作る。フィルタの長さスケールは高さ方向に一定(L_y = L_z = 0.3H、時間相関 L_x = 1.0H)。助走計算やリサイクルはないので、流入口から x/H = -3 までの 7H で、人工乱流が壁乱流として発達するかどうかで結果が決まる。

原因の候補(どれもまだ確かめていない):

  1. 長さスケールが壁近くでも 0.3H のままで、壁乱流の渦(壁からの距離に比例して小さい)より大きい。H/48 ではこれが 14 セルで解像され、減衰せずに下流へ運ばれる(H/32 では 10 セルで、より早く減衰する)。
  2. 流入口での振幅そのもの。実験の応力を Cholesky 分解で与えているが、格子で解像できない成分まで与えている可能性がある。
  3. 壁関数つき LES の壁近くの u_rms の過大評価。壁関数を使う LES では、最初の数セルで流れ方向の変動が大きく出ることがある。

対策(順に):

  1. 切り分けの測定: x/H = -9.5、-8、-6、-3 の断面で u_rms の高さ分布を出し、流入口での値と下流での減衰・増幅を分ける。流入口で既に大きければ 2、下流で増えるなら 3、流入口では合っていて減衰が遅いだけなら 1。いまの出力は y/z 断面だけなので、x 断面の出力を足す。
  2. 壁からの距離に応じた長さスケール: L_y、L_z を壁近くで min(0.3H, κ d)(d は壁からの距離、κ ≈ 0.41)程度に小さくする。格子に依存しないように、セル数でなく H 単位で決める。H/32 と H/48 の両方で、x/H = -3、-1.5 の u_rms が実験に近づくかを見る。
  3. 助走区間で流入を作る: 周期境界のチャネル流(同じ格子幅)を別に回し、その断面を流入に使う(precursor)。いちばん確実だが、断面の時系列の入出力が新たに要る。
  4. 流入口の位置: 流入口を上流に離す(-10H → -15H など)と、人工乱流が発達する距離が延びる。1 の測定で減衰が遅いことがわかった場合に、2 と比べる。

その他

  • X_R の差について、格子の効果とスパン(閉塞率)の効果を分ける:済み(スパンの効果は種のばらつきの範囲内、短くなるのは格子の効果、H/64 で収束)。実験より短い原因は残る。
  • スパン方向の周期境界と側面の no-slip 境界の選択肢(いまは H/48 の側壁を固体セルの帯で作っている)。
  • 計算の準備(トポロジー、分割)がホスト側で 1 ジョブ 1.5〜2 × 10⁸ セル程度に制限している。

Miyabi-G でのビルドと実行

2026-10-29 に、公開版の main(スクリプトは scripts/case041/miyabi/)と nvhpc 25.9 + HPC-X 25.9 で確かめた。Miyabi-G は 1 ノードに GH200 が 1 基なので、1 ノードに 1 MPI ランクで動かす。ジョブのメモリ上限(100 GiB)には、GPU のメモリに置いた分も数えられる。

1. ソースと流入データ

ログインノード。

export GROUP=<グループ>                                # 課題のグループ(例 gz00。id -Gn で所属を確認)
export CASE_DIR=/work/$GROUP/$USER/case041             # このケースの作業ディレクトリ
git clone https://gitlab.com/masaz/openrheo.git && cd openrheo
scripts/case041/fetch_data.sh                          # ERCOFTAC case 41 のデータ(リポジトリには含まない)
mkdir -p $CASE_DIR/bin && python3 scripts/case041/make_inflow.py $CASE_DIR/inflow_x01.dat

/work は課題のグループごとに分かれているので、グループは明示する。Miyabi では id -gn が課題のグループではなく個人のグループを返す。

2. ビルド

計算ノードで約 2 分。scripts/case041/miyabi/build.pbs が 1 GPU 用と複数 GPU 用の計算プログラムをビルドする。CUDA=1 を付けると、CUDA 版(-cuda)の複数 GPU 用 orheo-forest-cube-channel-d3q27-mpi-cuda もビルドする。

qsub -W group_list=$GROUP -v REPO=$PWD,BIN_DIR=$CASE_DIR/bin,CUDA=1 scripts/case041/miyabi/build.pbs

ビルドのログは、qsub を実行したディレクトリにできるジョブの出力 c41-build.o<ジョブ番号>(速度の確認は c41-speed.o<ジョブ番号>)。コンパイラは 30 個ほどの警告(ラムダの捕捉、カーネルの起動)を出すが、問題ない。成功すれば最後の行が === build done、失敗すれば === build FAILED か === CUDA build FAILED になる。grep -v -i warning c41-build.o* | grep -E "===|error" で、それだけを表示できる。

3. 速度とチェックサムの確認

scripts/case041/miyabi/run_speed.pbs。ノード数は select で指定し、1 ノード 1 ランク。H/48(スパン 24 H、20 + 200 ステップ)と H/32(7 H のチャネル、20 + 400 ステップ)を、5 つの設定で流す:stdpar の元の halo 交換、stdpar の縮小 halo 交換+重ね合わせ、CUDA FP64、CUDA FP64+OVERLAP=3、CUDA FP32 衝突+OVERLAP=3。ほかの設定は MODES で指定する(スクリプトの先頭を参照)。2 ノードで、ジョブ全体は約 4 分。

qsub -W group_list=$GROUP -l select=2 -v CASE_DIR=$CASE_DIR scripts/case041/miyabi/run_speed.pbs

出力は、qsub を実行したディレクトリの c41-speed.o<ジョブ番号> に書かれる。Miyabi では、ジョブの実行中もこのファイルに書き足されるので、tail -f c41-speed.o* で進み具合を見られる。ジョブの最後に、1 回の計算を 1 行にまとめた一覧を出し、チェックサムを基準の値と比べる(OK、NG、既定以外の設定では no reference)。2 ノードでの出力:

=== summary (2 nodes)
H/48   stdpar     rc=0   s/step=0.10205   ec36499638244575 OK
H/48   stdpar-ovl rc=0   s/step=0.10010   ec36499638244575 OK
H/48   c3         rc=0   s/step=0.01508   ec36499638244575 OK
H/48   c3ov       rc=0   s/step=0.01449   ec36499638244575 OK
H/48   c3f32ov    rc=0   s/step=0.01200   b65b5a0b67e14afd OK
H/32   stdpar     rc=0   s/step=0.00896   d33bf4bdf3983bd4 OK
H/32   stdpar-ovl rc=0   s/step=0.00878   d33bf4bdf3983bd4 OK
H/32   c3         rc=0   s/step=0.00153   d33bf4bdf3983bd4 OK
H/32   c3ov       rc=0   s/step=0.00150   d33bf4bdf3983bd4 OK
H/32   c3f32ov    rc=0   s/step=0.00126   3c28d3a5ebaef9a1 OK
=== all runs OK

s/step は力の出力を含む 1 ステップの時間(TIMING の行)。一覧の上に出る TIMING_KERNELS は計算部分だけの時間。基準のチェックサム:

格子 FP64(stdpar、stdpar-ovl、c3、c3ov) FP32 保存(LBM_FP32=1) FP32 衝突(LBM_FP32=2)
H/48(20 + 200 ステップ) ec36499638244575 6a28de6f5831daf7 b65b5a0b67e14afd
H/32(20 + 400 ステップ) d33bf4bdf3983bd4 d5ae5874c7720640 3c28d3a5ebaef9a1

FP64 の設定は stdpar と同じチェックサムになり、ビット単位の確認になる。計算プログラムの位置引数は、H あたりのセル数、ステップ数、格子単位の U_b(0.05)、Re_H(40000)、Smagorinsky 定数(0.10)。複数ノードでは、設定は OMPI_MCA_mca_base_env_list(スクリプトの中で設定)で他のノードのランクに渡る。

4. 物理の計算

統計量と分布を取り、再開しながら進める計算。scripts/case041/miyabi/run_mpi_phys.pbs(複数 GPU)と run_single.pbs(1 GPU)が、キューの制限時間に収まる区切りで計算を続ける。区切りごとにチェックポイントを書き、次の区切りは前の区切りが終わってから投入する(依存関係のチェーンは使わない)。使い方は各スクリプトの先頭にある。例:

qsub -W group_list=$GROUP -l select=8 -v CASE_DIR=$CASE_DIR,TAG=h48,NH=48,TRANS=43200,TOTAL=400000 scripts/case041/miyabi/run_mpi_phys.pbs

これらのスクリプトは stdpar 版の実行ファイル(build.pbs)を使う。CUDA 版での 2026-10-27 の物理の計算は Flow2 の GB200 で行った。

5. 結果の可視化と実験値との比較

ログインノード。2026-10-29 に、3 区切りの H/48 の物理の計算で確かめた。

numpy と matplotlib のある Python:Miyabi のシステムの python3 は numpy が古く、matplotlib がないので、仮想環境を一度作る(~/.local に matplotlib がすでにあれば pip3 install --user --upgrade numpy でもよいが、システムの python3 を使うすべての場面に効く)。

module load python/3.11.15
python3 -m venv /work/$GROUP/$USER/venv-c41
/work/$GROUP/$USER/venv-c41/bin/pip install numpy matplotlib
PY=/work/$GROUP/$USER/venv-c41/bin/python

LDA の実験値との分布と QoI の比較(計算のすべての区切りを順に指定。約 20 秒):

RUN=$(ls -d $CASE_DIR/runs/h48/p* | paste -sd,)
$PY scripts/case041/compare_case041.py --figs $CASE_DIR/figs --run H48=$RUN --json $CASE_DIR/figs/qoi.json

14 枚の図(SIG15 の各位置での中心面と z/H = 1 の U、V、W とレイノルズ応力、壁近くの U、中心面の流線、QoI の収束)と qoi.json(X_R/H、前面と屋根の逆流、平均絶対誤差)を書く。このページの要約の図は次で作る。

LAST=$(ls -d $CASE_DIR/runs/h48/p* | tail -n 1)   # 最後の区切り(p01、p02、… の順に並ぶ)
$PY scripts/case041/make_summary.py --out $CASE_DIR/summary --run H48=$LAST \
    --qoi $CASE_DIR/figs/qoi.json --qoi-label H48=H48
firefox $CASE_DIR/summary/*.png         # 表示(ssh -X が必要。PC に写して見てもよい)

centreline_{U,urms,vrms}.{png,pdf}(x/H = -1.5、1、2、3)、qoi_table.{md,csv}、xr_convergence.{png,pdf} を書く。--run LABEL=... を増やすと、複数の計算を比べられる。

ParaView での瞬時場は 3 段階で作る(各ジョブが終わってから次の段階に進む)。

# 1. 最新のチェックポイントから速度の箱を書き出す(計算と同じノード数と設定。
#    統計を取り始めた後なら AVG_FROM は計算の TRANS)
CK=$(tail -1 $CASE_DIR/runs/h48/state | awk '{print $3}')
qsub -W group_list=$GROUP -l select=8 -v CASE_DIR=$CASE_DIR,NH=48,CK=$CK,AVG_FROM=43200,OUT=$CASE_DIR/runs/h48/inst scripts/case041/miyabi/inst_dump.pbs

そのジョブが終わってから:

# 2. 1 つの VTK ファイルにまとめる(ログインノード)
$PY scripts/case041/inst_to_vti.py $CASE_DIR/runs/h48/inst/inst $CASE_DIR/inst.vti --stride 2
# 3. ParaView の pvbatch で図を描く(ログインノード。Xvfb で仮想の画面を用意する)
mkdir -p $CASE_DIR/render
module load paraview/5.13.1
xvfb-run -a -s "-screen 0 2400x1400x24" pvbatch scripts/case041/render_inst.py $CASE_DIR/inst.vti $CASE_DIR/render 30 100
firefox $CASE_DIR/render/*.png          # 表示(ssh -X が必要。PC に写して見てもよい)

H/48 の書き出しは 1.7 GB(8 ランク)。--stride 2 で数秒、100 MB の .vti になる(付けなければ 1056 × 384 × 96 の全体)。.vti には U、|U|、Q((U_b/H)^2 単位)、固体の印が入る。render_inst.py は中心面の |U| と、レベルごとの Q の等値面(Q (H/U_b)^2 = 30、100)を描く。図 umag_y0.png、q_30.png、q_100.png が約 10 秒で $CASE_DIR/render にできる。Miyabi-G の ParaView のモジュール(5.13.1)は画面を必要とするので、xvfb-run を付ける。ssh -X(Mac では XQuartz)でログインすれば、GUI の paraview で .vti を直接開ける。ほかの方法:scripts/case041/miyabi/render_inst.pbs は、paraview.org の Linux x86_64 版 ParaView(PARAVIEW にそのディレクトリを指定)で、同じ描画を Miyabi-C(x86_64)のジョブとして行う。.vti を PC に写して、ParaView で開いてもよい。

Validation

Tier T2 — 単点比較
QoI X_R/H、U/U_b、レイノルズ応力
Reference ERCOFTAC case 41(Martinuzzi & Tropea、LDA)、X_R/H = 1.62
Gate — ゲートなし
注 H/16〜H/64 の格子で実験と比べ、X_R は H/64 で格子について収束。T0 は解析解との比較に限るので T0 ではない

ソース

計算プログラム、halo と計算の重ね合わせ、CUDA 版は、公開版の main に入っている(2026-10-29 にマージ)。scripts/case041/ に、データの取得、流入、比較、Miyabi-G のジョブのスクリプトがある。halo、重ね合わせ、CUDA の各モードの速度とチェックサムを確かめるジョブは miyabi/run_speed.pbs。実験データは ERCOFTAC Classic Collection の case 41 による。