Genie 3 support real‑time control for dynamic video generation, enabling creators to guide outputs live. Discover its features and benefits now.

In this project we will explore how people build & deploy world models efficiently for planning & deciding. We will also investigate how world model construal & use is biased in anxiety.

YouTube video by Google DeepMind

YouTube video by Cleo Abram

Genie 3 support real‑time control for dynamic video generation, enabling creators to guide outputs live. Discover its features and benefits now.

DeepMind says model is a step towards artificial general intelligence

Genie 3 represents Google DeepMind’s groundbreaking advancement in world model technology, enabling the generation of interactive, dynamic environments from text prompts. Genie 3 lets users explore na...

Google DeepMind's Genie 3 is an advanced generative AI capable of creating highly realistic and interactive virtual worlds.

YouTube video by Discover AI

Meta challenges rivals with V-JEPA 2, its new open-source AI world model. By learning from video, it aims to give robots physical common sense for advanced, real-world tasks.

Yann LeCun, Meta's chief AI scientist and one of the pioneers of artificial intelligence, believes LLMs will be largely obsolete within five years.

この記事は自作している強化学習フレームワークの解説記事です。 ・フレームワークの記事 ・GitHub WorldModelシリーズの最新作です。夢の次はダイアモンドです。 前：Dreamer3 毎回名前で遊んでいますね。 前々回のDreamerV2では内部表現を連続空間（ガウス分布）から離散空間（カテゴリカル分布）に変更することで、性能の大幅な向上が実現されました。この改善の要因として、未来の状況を予測する時に生じる「予測誤差の累積」を緩和できたことが挙げられます。 連続空間では、初期の予測誤差がそのまま次のステップへと伝播していくため、長いステップ予測すると精度の劣化が顕著になります。一方で離散空間では、内部表現が有限なカテゴリに丸められるので、各ステップでの誤差が一定範囲に収まり、誤差の影響が抑えられると考えられます。この性質により、安定した長期予測が可能になり、結果として高い予測性能が得られました。 しかし、内部表現の離散化は情報の損失というトレードオフがあります。たとえば、遠くに小さく映る歩行者のような小さい情報は離散化によって捉えにくくなり、こうした情報の欠落が予測精度の低下につながる可能性があります。 この課題に対して近年の画像生成タスクで主流となっている拡散モデル（diffusion models）の適用を考えます。拡散モデルは以下の特性があります。 画像をモデル化可能（画像が元々離散表現） 条件付けが簡単で、モード崩壊を起こすことなく多様な分布を表現できる DIAMONDはこの拡散モデルの特性に注目し、WorldModelを別の角度から離散表現したアプローチとなり、従来の離散化がもつ「情報の欠落」という弱点を拡散モデル生成能力によって補った手法となります。 参考 拡散モデルを知っていた方が理解しやすいと思います。拡散モデルについては以前書いた記事をどうぞ。 ・[拡散モデル入門] ゼロから理解する拡散モデルの最新理論（図解付き） DIAMONDでは強化学習の環境として部分観測マルコフ決定過程（POMDP）を仮定しています。（POMDPについては過去の記事を参照）POMDPではエージェントが環境の完全な状態を直接観測できないため、過去の観測と行動の履歴をもとに次の状態を予測します。 具体的には以下の条件付き確率分布になります。 $$p(x_{t+1}|x_{\leq t}, a_{\leq t})$$ ここで $x_{\leq t}$ および $a_{\leq t}$ はそれぞれ時刻 $t$ までの観測と行動の履歴を表し、この条件の元で次の状態 $x_{t+1}$ を予測します。 イメージ図は以下です。（論文より） 一番上の行が強化学習におけるステップで、状態 $x^0$、ポリシー $\pi_{\phi}$、アクション $a$ となり、横軸が各ステップ $t$ を表しています。縦が拡散モデルの予測部分で、完全なノイズ $x^{\tau}$ から拡散世界モデル $D_{\theta}$ でノイズを除去し、状態 $x^0$ を生成します。