位相的機械学習
――データはもはや「ただの数字」ではない――

これから AI で加速する産業分野はどこか？

はじめに

TDL (Topological Deep Learning) とは，幾何学的な概念によって深層学習を（再）解釈しようとする立場であり，近年急速な盛り上がりを見せている．こういうと理論的な話に聞こえるかも知れないが，幾何学の概念を AI 利用に取り入れることは，半導体，ニューロサイエンスなど，幅広い科学分野において重要なステップである．従って，位相的機械学習は今後とも，理論だけでなく応用と実践が交差するキーワードとなっていくと期待されている．

A Blog Entry on Bayesian Computation by an Applied Mathematician

$$

$$

1 なぜ位相的機械学習が必要とされたか？

1.1 従来手法の反省点

どうして「位相」が機械学習におけるキーワードとして再注目されているかというと，「以前の我々は，座標の取り方に関して無関心だったから」だと言える．

これまでの深層学習のアーキテクチャは，モデリングの対象が言語・音声・動画のどれであるかに依らず，

という同一のステップを辿っていた．

しかし，深層学習の応用先が広がっていくごとに，次のような例が見つかってきた：

• 分子は従来のように３次元座標ベクトルでモデリングするより，グラフとしてモデリングした方が良い (Veličković, 2023)．¹
• 画像は（従来のようなテンソルだと思うより）実はグラフだと思った方が，幾何学的な情報を取り入れたモデリングができる (Han et al., 2022)．²
• 電子カルテ (EHR) は数値・文章・画像の複数のメディアを含むため，従来の機械学習の適用が困難であったが，その情報をグラフの形でまとめることで，患者の発作リスクや必要な投薬などを予想する精度が向上してきている (Choi et al., 2020)．
• fMRI から取得される脳の画像データは，脳の部位の機能的な結合を意味するグラフの形でモデリングすることで，より多くの情報抽出と科学的発見の促進が可能になっている (Ktena et al., 2018)．

1.2 ベクトルを超えていく

根本的な問題は，従来のデータ解析では Euclid 空間 \(\mathbb{R}^d\) 以外の空間を考えてこなかったことにある．

それゆえ，どんなデータもまずは \(\mathbb{R}^d\) 内に埋め込むことが考えられ，モデリング法の多様性が失われていたのだと言える．

画像を文字列のような系列だと捉えたり，分子を文字列としてモデリングしたりする様子は，大変に奇怪である．

1.2.1 幾何学的深層学習

そこで 幾何学的深層学習 (GDL: Geometric Deep Learning) の標語の下で，従来の Euclid 空間 \(\mathbb{R}^d\) 以外にも，多様な空間上のデータをモデリングをする方法論が研究された．

これにより，「ベクトル」以外の言葉でデータを見ることが可能になったのである．

「ベクトル」以外の言葉として最初に探索されたものが「グラフ」であり，グラフニューラルネットワーク (GNN) が幾何学的深層学習の中心的な柱となっている．

よりみち（幾何学的深層学習の成果）

• 幾何学的な語彙でデータの構造を捉える パーシステント・ホモロジー (persistent homology) という手法 (Edelsbrunner et al., 2002), (Zomorodian and Carlsson, 2005) を取り入れた手法が，D3R (Drug Design Data Resorce) Grand Challenge という世界規模の新薬創出コンテストにおいて，リガンドのポーズ予測や親和度推定など多くのタスクで１位を獲得した (Nguyen et al., 2019), (Nguyen et al., 2020)．
• 光学顕微鏡による全能画像データをニューロン区画の階層に分割するタスクは従来は経験豊富な神経科学者のみの職人技であった．大量の教師ありデータを取得できるはずもないので，深層学習の応用は困難であったが，離散モース理論 によりデータの構造を捉えることで，人間の 90% の正解率に迫っている (Banerjee et al., 2020), (Hu et al., 2021)．

1.2.2 グラフを超えていく

しかしすでに，グラフを超えていく動きの萌芽も見られる (Hajij et al., 2023)．

そのためには，数学の言葉に注目することが肝要である．幾何学には，十数世紀以上の抽象化の蓄積があり，単体複体 (Schaub et al., 2022) や胞体複体 (Hajij et al., 2020) などの概念が，最初のとっかかりとなっている．

(Hansen and Ghrist, 2019) では，スペクトル層理論というスペクトルグラフ理論 (Chung, 1997) の拡張が展開されている．

1.3 位相的機械学習が目指すもの

以上，それぞれのデータに自然な表現を選ぶ ことが大事であることはわかっていただけただろう．

• 創薬において，有機分子が目標のタンパク質に結合するかの判定のために，有機分子を文字列で表してトランスフォーマーに学習させる．
• 画像において，ニューロンの区画をモデリングするために，画像をグラフで表してトランスフォーマーに学習させる．

という営みは，トランスフォーマーというアーキテクチャが言語（だけ）のために制作された当初の意図からすると，大変不本意である．³ （機械学習の黎明期において，必要な試行錯誤であることは間違いないが，）

深層学習が，化学，薬学，神経科学，社会学などの各分野で真にイノベーションを産むためには，その分野にあったアーキテクチャの特定が必要である．

「各分野の各データに最もあったアーキテクチャは何か？」という指標を，幾何学を指導原理として与えよう というのが位相的機械学習である．

これにより，次の２点を達成することが目標である：

1. 幾何学的なことばで データを理解する．（グラフか？）
2. データの位相的性質にあった機械学習アーキテクチャを選べる．

2 位相的機械学習の「いま」

位相的機械学習 (TDL) の目指すところを，各分野での成功事例で見ていこう．

2.1 分子モデリング

2.2 SARS-CoV-2 変異株予測

コロナウィルスの変異株にはオミクロン株という名前がついている．

実はオミクロン株にもさらに分類があり，当初の系統は BA.1 である．

BA.2 系統 (Chen and Wei, 2022) と BA.4, BA.5 系統 (Chen et al., 2022) との登場可能性とその性質（感染力は？既存のワクチンが効くか？）を，２ヶ月以上前に「変異懸念株」として予測することに成功したのは，代数トポロジーの知見を取り入れた TDL 手法であった．

パーシステントホモロジーなどの代数トポロジーの手法は，分子間／分子内相互作用を記述するのに優れており，特に SARS-CoV-2 変異株の新たなスパイクタンパク質がどのようなリガンドに結合し得るかの予測に優れていた (Cang, 2018)．

SARS-CoV-2 やその変異株の迅速なワクチン開発の背後で暗躍していたのは，TDL だったのである．

2.3 タンパク質の構造予測と生成

Google DeepMind の AlphaFold 2 は主にトランスフォーマーを用いた深層模型で，2020 年の タンパク質構造予測精密評価 (CASP14) で驚異的な成績で優勝した．

たんぱく質の構造生成において，(Hoogeboom et al., 2022) 以来は同変性を備えたグラフニューラルネットワークによる拡散模型の使用も進んでいる．なお，AlphaFold 3 (Abramson et al., 2024) でも拡散模型が取り入れられている．

Deep Learning で大規模分子の構造分布を予測するなんて数年前には考えられませんでしたが、拡散モデルによってすでに現実になりつつあります。⁴

2.4 電子顕微鏡

3 文献紹介

サーベイかつポジションペーパー (Papamarkou et al., 2024) を大いに参考にした．

(Nguyen et al., 2019) は，マルチスケール重みつき色つき部分グラフとパーシステント・ホモロジーを取り入れた深層学習手法により，D3R Grand Challenge 2 の stage 2 での絶対自由エネルギー予測 set 1 において１位を獲得し，続いて Challenge 3 では 26 のタスクのうち 10 タスクで１位を獲得したことを報告している．

パーシステントホモロジーについて，液体シリカとアモルファスシリカの分子動力学シミュレーション結果を例に取り，パーシステント図式などの方法でデータの位相的構造を取り出している様子が (大林一平, 2018) で詳細に解説されている．論文としては (Hiraoka et al., 2016), (Ichinomiya et al., 2017) に対応する．同著者によるより数学的なものは (大林一平, 2017)．平岡裕章研究室の研究紹介スライドも参照．

(Hansen and Ghrist, 2019) では，スペクトル層理論という理論を展開している．これは，スペクトルグラフ理論 (Chung, 1997) を，一般の胞体層 (cellular sheaf) に拡張したものであるという．組み合わせ論的なグラフラプラシアンを，正則な胞体複体上の線型空間の胞体層上の Hodge ラプラシアンの特別な場合と見ることで，スペクトルデータを層のコホモロジーや胞体構造と関連づけることが出来るという．

グラフカーネルに関する良い日本語文献に (ガラムカリ和 et al., 2021) がある．

4 個人的な (Papamarkou et al., 2024) の見どころ

Computer Vision の分野に続いて，構造生成の分野でも Diffusion model が state of the art となったことが触れられている（(Mengchun Zhang et al., 2023) も参照）：

In addition to 2D and 3D computer vision, diffusion models have become the state-of-the-art in graphbased molecular generation. (Papamarkou et al., 2024)

これが (Bodnar et al., 2022) で Neural Sheaf Diffusion に発展しようとしている．これはグラフ上の層を考えることで，グラフ上に更なる幾何的構造を作り込み，データのより高次の構造を捉えることができるようにしようというものである（この枠組みでは，Graph Neural Network は自明な層を扱った場合，と相対化される）．

個人的には，Gauss 過程が Banach 空間の研究に応用できたこと，拡散過程が多様体やグラフの局所構造を捉えることが，単に数学的な特徴付けであることを超えて，効率的な計算手法として，計算機科学として，計算数学として発展する具体的な試みが，TDL の名前の下に総覧できる点が大変に興味深い．

For example, a combination of applied category theory and TDA may lead to algorithms that automatically summarize how neural networks produce their output, making deep learning more understandable to humans. (Papamarkou et al., 2024)

ランダムウォークを用いて，単体複体の表現学習を行うという展開もある Simplex2Vec (Billings et al., 2019), (Schaub et al., 2020)

TDL / GDL は初めての幾何学を指導原理としたエンジニアリングになるかもしれない．多様体を超えた一般的な幾何学的な枠組みが，層の言葉で作られるかもしれない．

(Bronstein et al., 2021) も良い本である．

References

Abramson, J., Adler, J., Dunger, J., Evans, R., Green, T., Pritzel, A., … Jumper, J. M. (2024). Accurate structure prediction of biomolecular interactions with AlphaFold 3. Nature, 630(8016), 493–500.

Banerjee, S., Magee, L., Wang, D., Li, X., Huo, B.-X., Jayakumar, J., … Mitra, P. P. (2020). Semantic segmentation of microscopic neuroanatomical data by combining topological priors with encoder–decoder deep networks. Nature Machine Intelligence, 2(10), 585–594.

Billings, J. C. W., Hu, M., Lerda, G., Medvedev, A. N., Mottes, F., Onicas, A., … Petri, G. (2019). Simplex2Vec embeddings for community detection in simplicial complexes.

Bodnar, C., Di Giovanni, F., Chamberlain, B., Lió, P., and Bronstein, M. (2022). Neural sheaf diffusion: A topological perspective on heterophily and oversmoothing in GNNs. In S. Koyejo, S. Mohamed, A. Agarwal, D. Belgrave, K. Cho, and A. Oh, editors, Advances in neural information processing systems,Vol. 35, pages 18527–18541. Curran Associates, Inc.

Bronstein, M. M., Bruna, J., Cohen, T., and Veličković, P. (2021). Geometric deep learning: Grids, groups, graphs, geodesics, and gauges.

Cang, L. A. W., Zixuan AND Mu. (2018). Representability of algebraic topology for biomolecules in machine learning based scoring and virtual screening. PLOS Computational Biology, 14(1), 1–44.

Chen, J., Qiu, Y., Wang, R., and Wei, G.-W. (2022). Persistent laplacian projected omicron BA.4 and BA.5 to become new dominating variants. Computers in Biology and Medicine, 151, 106262.

Chen, J., and Wei, G.-W. (2022). Omicron BA.2 (b.1.1.529.2): High potential for becoming the next dominant variant. The Journal of Physical Chemistry Letters, 13(17), 3840–3849. doi: 10.1021/acs.jpclett.2c00469.

Choi, E., Xu, Z., Li, Y., Dusenberry, M., Flores, G., Xue, E., and Dai, A. (2020). Learning the graphical structure of electronic health records with graph convolutional transformer. Proceedings of the AAAI Conference on Artificial Intelligence, 34(01), 606–613.

Chung, F. R. K. (1997). Spectral graph theory,Vol. 92. American Mathematical Society.

Edelsbrunner, H., Letscher, D., and Zomorodian, A. (2002). Topological persistence and simplification. Discrete & Computational Geometry, 28(4), 511–533.

Hajij, M., Istvan, K., and Zamzmi, G. (2020). Cell complex neural networks. In TDA & beyond.

Hajij, M., Zamzmi, G., Papamarkou, T., Miolane, N., Guzmán-Sáenz, A., Ramamurthy, K. N., … Schaub, M. T. (2023). Topological deep learning: Going beyond graph data.

Han, K., Wang, Y., Guo, J., Tang, Y., and Wu, E. (2022). Vision GNN: An image is worth graph of nodes. In A. H. Oh, A. Agarwal, D. Belgrave, and K. Cho, editors, Advances in neural information processing systems.

Hansen, J., and Ghrist, R. (2019). Toward a spectral theory of cellular sheaves. Journal of Applied and Computational Topology, 3(4), 315–358.

Hiraoka, Y., Nakamura, T., Hirata, A., Escolar, E. G., Matsue, K., and Nishiura, Y. (2016). Hierarchical structures of amorphous solids characterized by persistent homology. Proceedings of the National Academy of Sciences, 113(26), 7035–7040.

Hoogeboom, E., Satorras, V. G., Vignac, C., and Welling, M. (2022). Equivariant diffusion for molecule generation in 3D. In K. Chaudhuri, S. Jegelka, L. Song, C. Szepesvari, G. Niu, and S. Sabato, editors, Proceedings of the 39th international conference on machine learning,Vol. 162, pages 8867–8887. PMLR.

Hu, X., Wang, Y., Fuxin, L., Samaras, D., and Chen, C. (2021). Topology-aware segmentation using discrete morse theory. In International conference on learning representations.

Ichinomiya, T., Obayashi, I., and Hiraoka, Y. (2017). Persistent homology analysis of craze formation. Phys. Rev. E, 95, 012504.

Ktena, S. I., Parisot, S., Ferrante, E., Rajchl, M., Lee, M., Glocker, B., and Rueckert, D. (2018). Metric learning with spectral graph convolutions on brain connectivity networks. NeuroImage, 169, 431–442.

Mengchun Zhang, Qamar, M., Taegoo Kang, Jung, Y., Chenshuang Zhang, Bae, S.-H., and Chaoning Zhang. (2023). A survey on graph diffusion models: Generative AI in science for molecule, protein and material.

Nguyen, D. D., Cang, Z., Wu, K., Wang, M., Cao, Y., and Wei, G.-W. (2019). Mathematical deep learning for pose and binding affinity prediction and ranking in D3R grand challenges. Journal of Computer-Aided Molecular Design, 33(1), 71–82.

Nguyen, D. D., Gao, K., Wang, M., and Wei, G.-W. (2020). MathDL: Mathematical deep learning for D3R grand challenge 4. Journal of Computer-Aided Molecular Design, 34(2), 131–147.

Papamarkou, T., Birdal, T., Bronstein, M., Carlsson, G., Curry, J., Gao, Y., … Zamzmi, G. (2024). Position: Topological deep learning is the new frontier for relational learning.

Sanford, C., Hsu, D., and Telgarsky, M. (2023). Representational strengths and limitations of transformers. In Thirty-seventh conference on neural information processing systems.

Schaub, M. T., Benson, A. R., Horn, P., Lippner, G., and Jadbabaie, A. (2020). Random walks on simplicial complexes and the normalized hodge 1-laplacian. SIAM Review, 62(2), 353–391.

Schaub, M. T., Seby, J.-B., Frantzen, F., Roddenberry, T. M., Zhu, Y., and Segarra, S. (2022). Signal processing on simplicial complexes. In F. Battiston and G. Petri, editors, Higher-order systems, pages 301–328. Cham: Springer International Publishing.

Veličković, P. (2023). Everything is connected: Graph neural networks. Current Opinion in Structural Biology, 79, 102538.

Zomorodian, A., and Carlsson, G. (2005). Computing persistent homology. Discrete & Computational Geometry, 33(2), 249–274.

ガラムカリ和, 杉山麿人, OʼBray, L., Rieck, B., and Borgwardt, K. (2021). グラフカーネルの進展. 人工知能, 36(4), 421–429.

大林一平. (2017). 位相的データ解析の現在（統計的モデリングと予測理論のための統合的数理研究）. 数理解析研究所講究録, 2057, 34–50.

大林一平. (2018). パーシステントホモロジーの理論と応用. 交通流と自己駆動粒子系シンポジウム論文集, 24.

船津公人, 井上貴央, and 西川大貴. (2024). 詳解 マテリアルズインフォマティクス 有機・無機化学のための深層学習. 近代科学社.

Footnotes

1. 有機化合物は，分枝の構造を文字列で表した SMILES 文字列や，３次元座標で原子の位置を表した MOL ファイルなどで表される (船津公人 et al., 2024)．

2. (Han et al., 2022) はグラフニューラルネットワークが，Vision Transformer に画像分類や物体認識など多くのタスクで優ったことを報告している．

3. 例えば，トランスフォーマーは２体間相互作用のモデリングには優れているが，３体間相互作用のモデリングは大変不得意である (Sanford et al., 2023)．

4. メンダコ氏のブログ より．