研究者
banner
rrrrkkkk.bsky.social
研究者
@rrrrkkkk.bsky.social
研究者です
ノードの埋め込み表現にランダムサーフを利用する手法DNGRを対案している論文。Deepwalkなどはランダムにネットワークの流列を学習するが、この手法はノードがKステップ内の共起をとらえたPCO行列を利用し大局的な情報を得る。PCO行列から「実際に一緒に起きた確率」と「偶然一緒に起きる確率」の比率を計算した、PPMI行列で頻度の高いノードの過大評価を防ぎ(NLPでいうstop wordsのようなもの)、最後にSDAE(オートエンコーダ)で非線形な特徴を学習するのが特徴。

Deep Learning for Learning Graph Representations
January 7, 2026 at 10:22 PM
SDNEというネットワーク埋め込み手法を提案。DLをつかって1、1次近接性は教師あり(ラプラス固有写像)、2次近接性は教師なし(ディープオートエンコーダ)からの両方を同時に学習。Grarepのように2次以上は使わないのはDLの多層非線形構造で深い構造を捉えられると主張。実際の実験でも裏付け。ネットワークは疎なので殆どの要素が0となる(ほとんどのノードとつながりがない)。通常のエンコーダーは使えないが、損失関数に重み付けを導入しリンクが存在する箇所の再構成誤差に重いペナルティを課し調整している。
Structural Deep Network Embedding
January 6, 2026 at 9:48 PM
グラフ埋め込みのサーベイ論文(2017年)。当時の主要なグラフ埋め込み手法を整理。行列分解・ランダムウォーク・DLの3つで分類し、グラフ再構築、可視化、リンク予測、ノード分類で性能を検証。1・2・高次近接性の「どの特性が保存されるか」を理論的、実験的に定義。たとえば、node2vecは「コミュニティ構造(同質性)」と「構造的等価性」を保持するので、同じコミュニティや類似した構造的役割(ハブなど)を持つノードの類似性が高くなる。検証ライブラリ(GEM)も公開。
Graph Embedding Techniques, Applications, and Performance: A Survey
January 5, 2026 at 10:03 PM
SNSと伝統的メディア(新聞報道など)で共有される研究の比較。SNSでは研究者自身が共有・キュレーションできるため、多様性がある(カバー率に8倍の差がある)。一方で伝統的メディアは高インパクトの研究や性別の著者・チームの性別、機関の偏りが出やすい。どちらも新規性の高い研究を好むが、伝統的メディアの方がその傾向がより強い。論文情報・著者のSNSアカウント・報道の履歴・SNSの投稿を突合させて調査。

A High-Scale Assessment of Social Media and Mainstream Media in ScientificCommunication
January 4, 2026 at 10:38 PM
ビッグワールド仮説(Big World Hypothesis)では、エージェントの容量は、環境全体の複雑さに比べて必然的に小さい。そのため、すべての情報の記憶や、完璧な正解の保持は不可能(固定された最適解に収束しない)。だから、収束は学習の指標にならず、この論文は代替に「インタラクティビティ最大化」し、「新しいパターンを学習し続け、予測可能な複雑さの維持能力」を捉える指標。この指標ではReLUを線形ネットが上回る。

The World Is Bigger! A Computationally-Embedded Perspective on the Big World Hypothesis
January 4, 2026 at 10:26 PM
言わずとしれたアテンション機構の論文。元々は翻訳タスクのために提案された。従来のRNNは処理が逐次的で並列化できず、CNNは離れた単語間の関係を捉えるのが苦手だった。一方、アテンションはクエリ・キー・バリューの3要素を用いて、重要な情報に直接アクセスする(逐次的な学習が必要ない)。これにより『高速な並列計算』『文法・意味構造の獲得』『長距離の文脈理解』の3つを一挙に実現し、現代のLLMに不可欠な基礎となった。この論文ののインパクトの大きさはある機構で3つの必要不可欠なメリットが実現でき、それが従来の手法のボトルネックを解決したことだろう。

Attention Is All You Need
January 3, 2026 at 10:22 PM
node2vecにメタパスという要素を取り込み、異なるノードで構成されるネットワークから埋め込みを得る(例:論文と会議と著者のネットワーク)。パスのパターン(論文->著者->会議)を特定し、対称性をもたせランダムウォークで再帰的にそのパスを利用しサンプリング。NS時に負例を特定の種類のノードから取り不均一性を解消。例えば、論文ノードの予測の負例は論文ノードに限定。タイプごとの細かい意味の違いを強制的に学習させ、構造と意味的相関の同時を実現する。
metapath2vec: Scalable Representation Learning for Heterogeneous Networks投稿
January 2, 2026 at 10:33 PM
ネットワークの特徴をDeep Nural Networkで捉えて埋め込み表現を得る手法であるSDNEを提案。1次近接性で局所構造を保持し、2次近接性で共通の隣接関係を捉え、学習には隣接行列が用いる。1と2次近接性しか使わ無いのは高次なのか?と思うが、deepなモデルは、それ以上の複雑な高次構造を勝手に学習すると主張。
実証的にも明示的に浅いモデルに2次よりも大きい情報を入れているGraRepよりも性能が良いと主張されている。node2vecやOu et al.とおなじ、KDD'16で発表。node2vecはいわゆる浅いモデル。
Structural Deep Network Embedding
January 1, 2026 at 10:16 PM
高速にそしてよく特徴量をとらえるためGNNに注意機構(attention)をいれた手法であるGATを提案。
ノードの特徴量(テキストやタンパク質の情報)を線形変換して、近傍のノードを重視しながら層を積み重ねる。
マスク付きセルフアテンションによって、近傍のノードのみに注目して学習を行う。
これにより、行列演算のような重い処理を使わずに、グラフの局所的な構造(誰と繋がっているか)を自然に学習に取り込む事ができる。

Graph Attention Networks
petar-v.com/GAT/
December 31, 2025 at 9:26 PM
賞の受賞とそれ以外の科学者の差を分析、上手く対照群を作って受賞者(PW)と非受賞者(NPW)を作る。新規性・収束性・学際性の指標で分析。両グループは収束性・学際性は受賞タイミングで低下するが新規性は上昇。どの指標でもPWの方が上回る。とくにPWは共著をたくさんして、その期間が短く様々な分野で広く探索をしている様子。

The distinctive innovation patterns and network embeddedness of scientific prizewinners
December 31, 2025 at 1:24 AM
ノードn_ijからkステップの遷移確率行列A^kでノードの特徴量を、学習し、グローバルな構造情報を獲得する手法GraRepを提案。
設定したステップ毎に行列分解し、concatしてKステップ毎の情報を明示的に保持。DeepWalkはKステップなど同じ空間に同じ空間に射影するのが問題と指摘し、クラスタリングの精度で提案手法は勝ると主張。比較がフェアになるように、DeepWalkにおいてエッジの重みでサンプルしたE-SGNSを提案し比較。

GraRep: Learning Graph Representations with Global Structural Information
December 30, 2025 at 10:52 PM
言語同士のネットワークを出版物・Twitter・Wikiから作って言語の影響力を測定、それがその言語を母語とする有名人の輩出とそうかんしていることを示している。なんで単純な話者や投稿数でないかというと、巨大な話者数をもつ場合でも翻訳されなかったり言語間の情報のやり取りのハブとしてやくに立たなかったりするから。

Links that speak: The global language network and its association with global fame
December 30, 2025 at 8:00 AM
DeepWalkにテキスト情報を埋め込む論文。ネットワーク構造の埋め込みとノードのテキスト情報(引用ネットワークな要約のベクトル表現とか)を結合するよりも各タスクの予測精度が高いことを示す論文。ミソはDeepWalkが行列分解で定式化することができ、その行つ分解にテキスト情報(e.g.,埋め込み表現、200次元のテキストのベクトル表現をつかって200×|V|)を入れ込むこと。論文ではこれをTADW(text-associated Deep Walk)と読んでいる。

Network representation learning with rich text information
December 29, 2025 at 10:27 PM
DeepWalkやLINEは有向性を考えていないので、近接性を捉えた表現をえる手法の提案。論文のタイトルにもある非対称な推移性(Asymmetric Transitivity)とは有向だとu→vが近ければv→uも近いとはいえないよねということ。これがその当時(2016)では考えられていない。ポイントは著者らの考える有向グラフを考慮している近接性が行列で定義できたのでその分解した表現を計算していること。ちなみにnode2vecも同じKDDで発表されている。

Asymmetric Transitivity Preserving Graph Embedding
December 28, 2025 at 9:25 PM
アメリカにおける格差で大きいのは民族内(中国系、ヒスパニック系など)の格差が大きく、民族間の格差は少ないよという研究。つまり、民族の違いではなく個人の違いで格差が説明できるという研究。タイル指数(Theil Index)という指標を用いているのが面白い。

Anatomy of US inequality
papers.ssrn.com/sol3/papers....
December 27, 2025 at 10:50 PM
DeepWalkみたいにランダムウォークとかnode2vecのように探査の方法をDFS/BFSで切り替えるのではなく、コミュニティ内で探査するのか、ランダムウォークなのかを切り替えている論文。nodeを学習するsequenceをどう獲得するかで色々亜種ができるんだな。その点DFS/BFSで切り替えるnode2vecは賢いと思った。

Community Aware Random Walk for Network Embedding
December 27, 2025 at 10:37 PM
大規模なネットワークにもうまく働くnodeのembeddingを得る手法の提案の論文を読んだ。既存の手法とは異なるインダクティブ(帰納的)」なアプローチを提案。全ノードの埋め込み表現を個別に学習せず、近傍ノードから、対象ノードの埋め込みを生成する集約関数を学習する。ノードのプロパティ(次数など)だけでなく、メタデータとして、投稿テキスト(Reddit)、論文の要約(引用ネットワーク)を利用。属性情報とネットワークの構造情報を統合して学習してるところがうまい。

Inductive Representation Learning on Large Graphs
December 26, 2025 at 10:49 PM
論文の引用のカウントを正規化して分野間のバイアスをなくす手法を提案刷る論文をよんだ。同じ様に引用されている論文のグループを作ってその引用数で正規化する。手法の妥当性は普遍的な分布を持つか、偏りが分野同士でないのか多様性を検証したり、正規化してtop 5%の論文を選んだら分野の割合はフェアになるのかどうかなどを検証している。

A network-based normalized impact measure reveals successful periods of scientific discovery across disciplines
December 25, 2025 at 9:31 PM
ネットワーク埋め込みは行列分解だよ論文を読んだ。
「G=(V,E,A)をつかってV→R^dとなるVの要素の特徴を表すd 次元のベクトル(ただし d≪∣V∣)を学習することが目的」というのは言われてみればそう。各手法のアルゴリズムを清書しているのもよかった。

Network Embedding as Matrix Factorization: Unifying DeepWalk, LINE, PTE, and node2vec
December 24, 2025 at 9:52 PM
LINE論文読んだ。流れ的にはdeepwalk-LINE-node2vecなんだけど。LINEはエッジのサンプリングを重みを使って加重してサンプリングをしていて、学習につかうエッジは1と2次近接性のものだけに絞っている。1ホップ(直接のつながり)と2ホップ(共通の友人がいる関係)までの情報を保存すして、DeepWalkやnode2vecのように、高次のつながり(3、4ホップ)を深く探索して学習するわけでないし、系列ではなく、あくまでエッジを入力として学習している。

LINE: Large-scale Information Network Embedding
December 23, 2025 at 9:03 PM
node2vec、結局これはnegative samplingで学習を効率化しつつサンプリングの方法をBFS/DFSの度合いをパラメータで設定して調整できるようにして、ランダムウォークじゃないようにしたのか。その点がdeepwalkと違うと。なるほどね。
node2vec: Scalable Feature Learning for Networks
December 22, 2025 at 11:32 PM
DeepWalk論文を読んだ。これって、ランダムウォークをつかって対象nodeが出現するsequenceをつくってそのノードの特徴量を得る上に、独立だからwalkerを複数走らせて並列化できる手法なのか。頭いいな。
arxiv.org/abs/1403.6652
December 22, 2025 at 2:31 PM
Reposted by 研究者
とある海沿いの町の新盆メモ。

私の大学のゼミの先生(以前に漫画に描いた万葉集の先生ですね)は「風習は走り書きでも残しておかないと、本当にこの世から煙のように消えてなくなってしまうんです。後から誰も思い出せなくなる。」とよく言ってました。そういうわけで私は、別に研究者でもなんでもないんですが、せっせと生活をスケッチしたりメモで残したりします。

皆さんも今年のお盆の様子を、ちょっとメモしてみはいかがでしょう?
August 9, 2025 at 11:00 PM