[bridged from https://zenn.dev/ on the web: https://fed.brid.gy/web/zenn.dev ]
RustのWebGPU実装である wgpu は日々進化していますが、v28時点でも ハードウェアアクセラレーションを利用したレイトレーシング(Ray Query / Inline Ray Tracing) に関する日本語情報はほぼ皆無です。
「wgpu レイトレ」で検索しても出てくるのはCompute Shaderで交差判定を自作する「ソフトウェアレイトレ」ばかり……。
しかし、私たちは RTコア を使いたいのです。
この記事では、wgpu v28 の experimental 機能を使い、TLAS/BLAS ...
RustのWebGPU実装である wgpu は日々進化していますが、v28時点でも ハードウェアアクセラレーションを利用したレイトレーシング(Ray Query / Inline Ray Tracing) に関する日本語情報はほぼ皆無です。
「wgpu レイトレ」で検索しても出てくるのはCompute Shaderで交差判定を自作する「ソフトウェアレイトレ」ばかり……。
しかし、私たちは RTコア を使いたいのです。
この記事では、wgpu v28 の experimental 機能を使い、TLAS/BLAS ...
松尾研究所の尾崎です.25卒でデータサイエンティストをやっています.
Attention機構は,"Attention is all you need"論文で一気に脚光を浴びて以来,昨今のAIブームを支えるLLM(transformer)の根幹的技術です.今回はそんなAttention機構が登場以来,どういう方向で進化してきたのかを整理して,皆さんの興味を発掘したり,普段何気なく使っている技術の裏側を学ぶきっかけにしたり,していただきたいと思い,本記事執筆に至っています.
※本記事は社内で行った勉強会からの抜粋となっております....
松尾研究所の尾崎です.25卒でデータサイエンティストをやっています.
Attention機構は,"Attention is all you need"論文で一気に脚光を浴びて以来,昨今のAIブームを支えるLLM(transformer)の根幹的技術です.今回はそんなAttention機構が登場以来,どういう方向で進化してきたのかを整理して,皆さんの興味を発掘したり,普段何気なく使っている技術の裏側を学ぶきっかけにしたり,していただきたいと思い,本記事執筆に至っています.
※本記事は社内で行った勉強会からの抜粋となっております....
松尾研究所の尾崎です.25卒でデータサイエンティストをやっています.
元来,LLMの構築にはデータの準備から学習.評価まで様々な工程がありますが,統一的なパイプラインを作るには複数のメーカーの異なるツールや独自実装との混合を検討する必要があります.
たとえばデータ準備は独自実装,事前学習はMegatronベース,事後学習ではtrlベース,評価はlightevalベース,のようにいくつかのツールを組み合わせていくことが常でした.
今回紹介するNVIDIA NeMo Frameworkは,大規模言語モデル(LLM),マルチモーダルモデル,音声A...
松尾研究所の尾崎です.25卒でデータサイエンティストをやっています.
元来,LLMの構築にはデータの準備から学習.評価まで様々な工程がありますが,統一的なパイプラインを作るには複数のメーカーの異なるツールや独自実装との混合を検討する必要があります.
たとえばデータ準備は独自実装,事前学習はMegatronベース,事後学習ではtrlベース,評価はlightevalベース,のようにいくつかのツールを組み合わせていくことが常でした.
今回紹介するNVIDIA NeMo Frameworkは,大規模言語モデル(LLM),マルチモーダルモデル,音声A...