麻場健司／MocapFor(Streamer|All)開発 @KenjiASABA Twitter profile

Last Seen Profiles

@andystrominger

@mzjuicy_stakks1

@IsmailDilawar

@bradybuchanann

@wisozk77896

@stwmaniax

@team_hura_id

@travestispix

@Shounak_72_

@zerobot

@mccas_du

@JedJudah9

@caligobeauty

@_hris_ohnson

@RyeGarnetsHoops

@roubosequilhos

@NBuckridge90201

@DUNKZILLADavis

@stw_pdg

@jzgugi98661

@NAIST_BS

@ATerkelsen90421

@ShayShiver43376

@Qqqaaddvv

@tyboooley

@sparger20

@FrozenDenim

@RayeganiM

@youngstory

@adslade

@merilagerfeld

@Baphomet6661111

@RodneyWhiteJr

@Stolasthesluty

@Eliasdr0gad1cto

@GaryLittleFSQ

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

2 years

Webカメラ2台をステレオカメラにしてモーションキャプチャするやつ、VRMへのリターゲット処理できた～！まだ関節可動域の制限とかしてないので時々荒ぶるし、表情も横顔とか考慮してないので若干適当だけど。 VRMモデルは、はいぬっか様のパーフェクトシンク対応サンプルを使わせていただいています。

7

470

1K

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

2 years

799円のカメラ2台を適当にPCにのっけて、ステレオカメラとして上半身の3次元トラッキングができるようになった。 AIを使ったARマーカーなしでのカメラ校正など、MocapForAllで課題だった「準備大変すぎ」問題も一応解決したので、VTuber的用途に使ってもらえるんじゃないかな～という感じで開発中。

4

214

624

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

2 years

MERF RTX3070のゲーミングPCだと余裕でリアルタイムで動かせた。すごい。論文をざっと読んだ感じ、えっそれでいいのってくらい考え方はシンプルだし、すごい。

1

105

623

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

5 years

UE4を触り始めて1か月、ようやくそれっぽい絵を作れるようになってきた。

2

71

586

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

2 months

論文ざっと読んだ Stable Video Diffusionをベースに動画に対して深度マップの動画を"描く"ようなことをやってるらしい時間方向のattentionレイヤーがあって最大110フレームの情報をちゃんと使って深度を生成してる。フレームごとに生成してからあれこれする方法とは根本的に違うこういうの待ってた

HU, Wenbo

@wbhu_cuhk

2 months

Excited to share our DepthCrafter, a super consistent video depth model for long open-world videos! Project webpage:

14

193

961

0

139

570

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

1 year

#UE4 Pixel Streamingでリッチな描画はサーバ側に任せて、クライアント側はブラウザのみでキャプチャするテストこれは、いい感じな気がするぞい

2

93

489

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

1 year

#UE5 で 3D Gaussian Splatting とりあえずできた！残課題：・パフォーマンス最適化。現状はRTX3070で40fps ・色や透明度がちょっと正しくないかも？

13

64

439

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

3 years

Multi-camera AI MoCap Plugin, WIP #UE4

5

83

420

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

3 years

多くの人が苦労しているであろうカメラの外部パラメータのキャリブレーションですが、ARマーカを使わないでもできるようになりました。最初からこうできればよかったのだけど、エピポーラ幾何が難しすぎて時間がかかった…。

1

94

368

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

2 years

#UE4 でNeRF(MERF)、できました！基本的な処理はHLSL内で完結しており、爆速で動きます。Unityにも移植したい。

空き家総研VRラボ -Akiya Research Institute,VRlab-

@Akiya_Souken_VR

2 years

NeRFをリアルタイム描画する #UE4 プラグインを開発中🔥 RTX3070で60fps超で、VRAM消費が小さいことにご注目ください。 We are developing #UnrealEngine plugin for #NeRF real-time rendering. Note that FPS is over 60 on RTX3070 and the VRAM consumption is very low.

7

137

564

2

86

367

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

10 months

リアルタイムな影に対応した3D Gaussian Splatting描画プラグインベンチの隙間とか芝生の草とかの影をこの精度で出せるのはマジですごいと思う（自画自賛）

空き家総研VRラボ -Akiya Research Institute,VRlab-

@Akiya_Souken_VR

10 months

弊社が開発に参加させていただいた製品がリリースされました！ 3D Gaussian SplattingデータをUnreal Engineで動的な影に対応した描画可能なプラグイン「Vista Splat Pro」販売開始 @PRTIMES_JP より

1

39

165

0

48

331

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

2 years

VRM4UのCharacterLightRigとUE4のCineCameraでライティングとポストプロセスを調整できるようにしてみた。調子に乗って被写界深度浅くしすぎたけどめっちゃ楽しいなこれ…。

1

49

320

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

16 days

Implementing Lattice Deformer Actor #UE5 Mesh Deformer *かんぜんに* 理解した

3

38

313

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

3 months

FasterLivePortrait Win向けにカスタマイズドなONNXRuntimeやTensorRTプラグインのビルドに成功した ORTはビルドエラーになってから再度ビルドすると通る謎事象が起きたけどまあいいっしょ TRTはCMakeListをちょいいじったけど意外とすんなり通った ↓ RTX3070 TRTでWebcamリアルタイム実行約14fps

2

37

276

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

1 year

UE5で3D Gaussian Splatting 100fpsきた～～！！テクスチャの中身をMorton Orderにソートしておくと全然ちがうことを学んだ

3

41

274

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

11 months

Marigold🌼で、手持ちの写真の奥行を推定してUE5のNanite Tessellationで描画してみた。これまで試した単眼深度推定モデルの中でも群を抜いてきれいな気がする。近景はほとんど破綻がない一方で、遠景メインの風景はあまり学習対象になっていないのかも。

Anton Obukhov

@AntonObukhov1

11 months

Introducing Marigold 🌼 - a universal monocular depth estimator, delivering incredibly sharp predictions in the wild! Based on Stable Diffusion, it is trained with synthetic depth data only and excels in zero-shot adaptation to real-world imagery. Check it out: 🌐 Website:

48

278

1K

0

57

264

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

3 months

WHAM お試し中姿勢推定系の技術を最近触ってなかったけど知らない間に進歩してる～

2

36

263

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

5 months

IC-Light + AnimateDiff で動画に対して法線マップを生成し、UE5でrelightするテストだいぶ一貫性のある法線マップができた AnimateDiffの使い方があっているか自信はない…

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

5 months

IC-Light 動画を背景に使うテスト悪くないものの、ちゃんと光源の方向に合わせて～とか言い出すと、深度マップとか法線マップを作ってHDRIでライティングしないとダメな気もする逆光以外なら光の当たり方はある程度コントロールできるので、ちゃんと作り込めばもう少し良く見せることはできるかも

0

3

49

2

40

234

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

1 year

UEFN で 3D Gaussian Splatting とりあえずPC版は動いた！単にScalability設定の問題みたい。Nintendo Switch上だと一部しか描画されず、Editor上でScalability設定をHigh以下にしたときと同じになる。この設定を上書きする方法ってあるのかな？教えてえらい人…

4

30

222

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

2 years

Lumen Global Illumination + NeRF とりあえず光を受けることはできたシャドウをキャストする機能を未実装なのだけど、すでにかなりいい感じに見える…

1

27

212

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

4 months

UE5でローカルLLMを動かすプラグインできた〜！動画は複数NPCでの会話テストあえてコンテキストを分けた上でantipromptで話者をスイッチさせてるモデルはDataPilot様のArrowPro-7B-RobinHood llama.cppをプラグイン化してCPU実行プロジェクトはGitHubで、プラグインはUEマケプレで公開しま～す

1

54

214

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

8 months

Binary Opacity Grids 論文ざっと読むとZip-NeRFでproposal MLPを訓練してからめちゃ高解像度ボリュームテクスチャとしてMLPを訓練、みたいな話っぽい。ディテールの再現は3DGS等の方が良さげ。メッシュが欲しい場合は使えそう。描画を綺麗にみせるためにTemporalAAが入ってたりしてマジかってなった

3D人-3dnchu- CG情報ブログ

@ymt3d

8 months

NeRFや3DGSに続く次世代シーン構築技術となるか！？ Binary Opacity Grids: Capturing Fine Geometric Detail for Mesh-Based View Synthesis メッシュベースなのは良さそう

0

31

167

2

37

208

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

6 months

UniDepth これめっちゃ一貫性よいのでは右奥の深度が変になっているのは私がノーマライズをミスったせい

0

8

205

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

8 months

WebCam -> Depth-Anything-ONNX -> UE5 でリアルタイム推論＆可視化してみました。 Baseサイズ、378x672ピクセル、CUDA、RTX3070。顔や手の細かい凹凸は拾えないものの、全体として破綻なく「かなりそれっぽい」奥行を推定できており、一貫性も良い印象。

Super PINTO

@PINTO03091

9 months

fabio-simさんが Depth-Anything を ONNX 化してくれた。試す。

0

8

45

8

23

204

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

1 year

論文読んでる。意外なほど時系列に沿っての最適化をしていないことに驚き。連続フレーム間＆隣接点間での位置や回転に対する制約がメインで、軌跡をnフレームに渡って最適化とかはしてないぽい。あと27カメラ、640x360ピクセル、30fpsとか。それでいけるのか、マジか…って感じ。

Jonathon Luiten

@JonathonLuiten

1 year

Dynamic 3D Gaussians: Tracking by Persistent Dynamic View Synthesis We model the world as a set of 3D Gaussians that move & rotate over time. This extends Gaussian Splatting to dynamic scenes, with accurate novel-view synthesis and dense 3D trajectories.

26

387

2K

0

40

194

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

1 year

DWPose、かなりいいのでは。特に足の接地感が手は若干あやしかったりするけどついにMMPose系に手を出すときか…

0

37

194

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

2 years

UEでWhisper、リリースしました。これで令和版シーマンを作れるぜ！！

空き家総研VRラボ -Akiya Research Institute,VRlab-

@Akiya_Souken_VR

2 years

#UE5 向け、OpenAIのWhisperをベースにしたリアルタイム音声認識プラグインが #UnrealEngine マケプレで販売開始！文字起こしや、指定フレーズのどれが話されたかを判定可能。BP呼び出し可で、Pythonや専用サーバ等は必要なし。無料デモはこちら🔥

1

121

383

1

43

193

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

2 years

#UnrealEngine アドカレ2022 23日目の記事公開しました。 Whisper #ONNX 化、リアルタイム化、Hugging Face TokenizerのC++移植、 #UE5 側のマルチスレッド対応などなど音声認識AIのWhisperをUnreal Engineでリアルタイムに動かすためにやったこと｜空き家総合研究所 #zenn

音声認識AIのWhisperをUnreal Engineでリアルタイムに動かすためにやったこと

zenn.dev

2

53

190

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

3 years

新バージョンのMediapipe Handへの更新に合わせて、こまごまと調整中。けっこう良くなってる気がする…！

1

38

154

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

1 year

#UE5 で 3D Gaussian Splatting VR対応できた！ Instanced Stereoだと右目に表示されないのでそこを解決してからリリースしたい

3

26

155

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

2 years

ほぼリアルタイム文字起こし on #UE4 (アドカレ用デモ)

0

30

148

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

2 years

オレオレトラッキングロジックをごりごりと作成し、精度・速度改善＆厳しめの撮影条件でもほとんど破綻しないようになった。これは、かなりいい感じでは…！

1

33

139

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

3 months

FasterLivePortrait 安定化お試し顔の前後位置や首の傾きの大きな変化で描画結果が壊れがちだったので、適当に抑制する仕組みを入れてみた InsightFaceも商用利用可のモジュールに置き換えたので、これで実運用上の大きな課題は解決したかなと思う

4

13

141

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

6 months

Line2NormalmapのGitHubのソースに数行足して、強引に動画を流し込んでみたフレーム間の一貫性を保つテクニックみたいなものがありそうなのだけど、Stable Diffusionぜんぜん触ってこなかったからよくわからない… とりあえずpromptは固定して、seedも（たぶん）固定したのだけど教えてえらいひと

2

21

134

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

1 year

#UE5 で 3D Gaussian Splatting Lighting対応WIP 影は後回し

8

16

134

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

1 year

Luma AI で生成した3D Gaussian SplattingのplyファイルもUE5で読み込めることを確認

1

27

133

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

3 years

VMCプロトコル対応、ほぼできたぞい。連休前にはバージョンアップしたいところ。

1

23

125

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

2 years

RTX3070、メインメモリ16GBのゲーミングPCで、とりあえずFlexGenを動かしてみました。facebook/opt-6.7bモデル。メモリ買いにいくか…

1

21

124

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

1 year

3D Gaussians Plug-in for Unreal Engine released! UEFN対応やパフォーマンス最適化は引き続き継続中ですが、とりあえず動くのでリリースしました！よろしくお願いします！！

空き家総研VRラボ -Akiya Research Institute,VRlab-

@Akiya_Souken_VR

1 year

"3D Gaussians Plugin" is now available on Unreal Engine Marketplace!🔥 It imports and renders 3D Gaussian Splatting data in UE5. 3D Gaussian Splattingのデータをインポートしてリアルタイム描画する「3D Gaussians Plugin」をUEマーケットプレイスで公開しました！動画はRTX3070を使用↓

7

105

413

1

27

119

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

1 year

#UE5 で 3D Gaussian Splatting WIP 描画順のソート機能はまだ実装していないけど、だいぶそれっぽく見えるようになってきたゴールは近いぞ

0

8

118

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

3 years

これ、いいですね！MocapForAllからもVMCプロトコルでデータを出力することで、Blenderに直接モーションを渡せました。

0

39

115

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

2 years

NeRFの描画範囲を指定できるようになったり、複数オブジェクトが正しく交差したりするようになったりなどした

0

18

114

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

11 months

#UnrealEngine アドカレ2023 2日目の記事を公開しました！もしかすると3D Gaussian Splattingの描画に関して日本語で一番詳しい解説かもしれない… UE5 Niagara で 3D Gaussian Splatting を描画する｜空き家総合研究所 #zenn

UE5 Niagara で 3D Gaussian Splatting を描画する

zenn.dev

1

31

108

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

3 months

FasterLivePortrait改 Realtime webcam-to-webcam execution 原くんの表情を乗っ取る俺動きが二人分足し合わされるので大変なことになったりするおもろい

2

13

108

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

1 year

#UE5 .2 MetaHuman Animator iPhoneではなくウェブカメラ2台でも動いた！奥行を正しく取るのに失敗したみたいで精度はちょっと低くなってしまったけど

2

18

97

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

2 years

UE4でNeRF ライトと影を受けられるようになりそう～！なんですが、Pixel Depth Offsetで謎の黒いノイズが乗る…。Floorを挟むと良いという情報を見ましたが、マシにはなったものの解消はせず。どなたか解決策をご存じないですか……？

空き家総研VRラボ -Akiya Research Institute,VRlab-

@Akiya_Souken_VR

2 years

NeRFをリアルタイム描画する #UE4 プラグインを開発中🔥 RTX3070で60fps超で、VRAM消費が小さいことにご注目ください。 We are developing #UnrealEngine plugin for #NeRF real-time rendering. Note that FPS is over 60 on RTX3070 and the VRAM consumption is very low.

7

137

564

0

21

93

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

3 years

会社の製品として出します。絶賛リリース準備中！

空き家総研VRラボ -Akiya Research Institute,VRlab-

@Akiya_Souken_VR

3 years

誰もがお手軽にモーションキャプチャを利用できる、ソフトウェアを開発中です！最低2台のスマホ等のカメラが、PCに接続されていればOK。VRでのフルボディトラッキングにも利用可能です。近日公開予定。 #誰もが気軽に #VR #モーションキャプチャー #フルトラ #UE4 #映像作成

45

2K

4K

2

47

93

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

7 months

Marigold-LCMとGeoWizardを味見している設定は何��考えずに全てデフォルト値ワイルドな動画に対して使おうとすると、特に後者はフレーム間の一貫性が課題か

2

11

90

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

1 year

ウルトラハンドで橋作るやつ来た絶対近くに板落ちてる

0

32

88

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

2 years

Whisperの入出力をちょっといじって、指定のフレーズのどれを喋ったか判別するようにしてみた。とりあえず粗くテスト。けっこういい感じ。

1

24

88

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

6 months

Unreal Engine Meetup in Osaka Vol.02 #UEOsaka での私の発表資料です。今日は時間が足りず紹介できませんでしたが、スライドの最後に空き家関係の新事業の紹介もありますので、会場で参加いただいた皆様にもぜひご覧いただければと思います！

UE5でニューラルネットを使ういくつかの方法 | ドクセル

Unreal Engine Meetup in Osaka Vol.02での発表資料です。 Unreal Engine 5でニューラルネットによる推論を...

www.docswell.com

1

19

82

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

1 year

N個の画像をPyTorchのTensorに読み込むとき、個々の画像tensorをリストにAppendしてからtorch.stackすると、torch.stackの瞬間にメモリ使用量が2Nになるけど、初めに[N,H,W,C]の空のtensorを作ってそこに個々の画像tensorをコピーしていくとメモリ使用量がN+1で済む。毎回手間取るのでメモ…

1

4

82

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

3 years

BVH出力機能、ほぼできつつある。Blenderでの読み込みも問題なさそう。

3

22

80

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

1 year

AMDのGPUで3D Gaussian SplattingのUEプラグインが動作するか確認したく、どなたかリンク先でDLできるEXEファイルが正常起動するかテストしてもらえませんか…？環境・Windows10か11 ・AMD製のGPU AMD以外でも「私のこの環境ではダメだったよ」と教えてもらえると嬉しい…

3

29

80

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

2 years

Whisperリアルタイム音声認識テスト。UE4で声を使った遊びを作れるようになりそう。

1

17

80

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

2 years

撮影環境はこんな感じ。 RTX2060搭載のゲーミングノートPCと799円のカメラ×2。

1

20

79

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

2 years

BVH出力機能ほぼできた。MocapForAllのときはめっちゃ苦労したけど、今回は流用できたから半日もかかってないぞ…！

1

12

76

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

2 years

顔ランドマークの横顔から正面への補正一応できた。なんか眼球が飛び出してるけど…

0

5

74

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

3 years

799円で買ったカメラ2つで、ステレオ深度推定お試し中。。

0

2

75

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

11 months

#UE5 Static Mesh generated from 3D Gaussian Splatting data まあまあ精度よくスタティックメッシュに変換する方法を思いついた。ただのメッシュ+MaskedマテリアルなのでLumenやVirtual Shadow MapやTSRも普通に動作する。ディザマスク特有のノイズがあるけど、SNSの画質ではバレないという説…

1

10

72

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

3 years

#VSeeFace ---> #MocapForAll ---> #EVMC4U のテスト。手に持った携帯の映像からVSeeFaceで表情を取得してVMCプロトコルでMocapForAllに渡して、MocapForAllから表情と体の動きをVMCプロトコルでEVMC4Uに渡している。いい感じでは。

3

22

71

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

2 years

NeRFった部屋を点群として #UE5 LiDAR Point Cloud プラグインでレンダリングお試し。う～ん、やっぱりNeRFはNeRFとしてインポートしたくなるな。

3

6

70

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

3 years

#tratech トラッキング技術勉強会での、私の発表資料はこちらです！ MocapForAllと空き家総研の目指すところ

MocapForAllと空き家総研の目指すところ

2021/6/11 トラッキング技術勉強会 #tratech

speakerdeck.com

0

29

70

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

3 years

書きました。 #UE4 をLinuxで使う人は少ないかもしれないけど、機械学習系の人には有益かも。 Unreal EngineをLinuxで、Visual Studio Codeを使って動かす｜空き家総合研究所 #zenn

Unreal EngineをLinuxで、Visual Studio Codeを使って動かす

zenn.dev

0

19

71

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

1 year

#UE5 でNeRF Lumen対応、Virtula Shadow Map対応、Normal対応全部盛りじゃい

0

9

68

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

3 years

大学卒業後ばらばらになったかつての友人たちが、モーキャプという新しいおもちゃを軸に再び集まって作品を作り始めるという熱い展開をやっている。熱い。まずは、MocapForAll使って映像を作ってみたいという人へのチュートリアルになるような映像を作ってみる予定。

繁澤邦明///kuniaki.hanzawa

@kunipoko

3 years

「モーションキャプチャー演劇」動き始めました。 #MocapForAll

1

13

85

1

17

67

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

1 year

UE5 で 3D Gaussian Splatting、Androidもヨシ！

1

6

65

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

1 year

#UE5 で 3D Gaussian Splatting 質問があった「Wind Force」とか使えるのか検証しました。・位置については問題なく使える・回転については工夫が必要 ↓Niagara emitterに「Wind Force」モジュールと「Drag」モジュールを単に追加するとこんな感じ

2

5

66

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

11 months

この影を見てくれすごくない？

2

64

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

3 years

複数のArUcoマーカによるキャリブレーション、だいぶできあがってきた。カメラ配置の自由度が上がるので、携帯を床に置くとかでもいけるようになりそう。

4

14

63

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

2 years

ステレオカメラのレンズ特性とカメラ間距離がわかっていないときに、直径がわかっている球体を写してキャリブレーションすると何がわかるのか考えてたら半日が終わった。結論は、カメラ間距離は決まるけど、焦点距離は決まらない、はず。

1

5

62

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

2 years

たぶん動くからリリースしました！バグ報告お待ちしております！

空き家総研VRラボ -Akiya Research Institute,VRlab-

@Akiya_Souken_VR

2 years

2つのウェブカメラをステレオカメラとして用いて、上半身のモーションキャプチャを行う新しいアプリ #MocapForStreamer v0.1を公開しました。ぜひ無料試用版をダウンロードしてみてください〜！ MocapForStreamer (Free) | 空き家総研VRラボ #booth_pm

4

524

1K

0

20

63

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

3 years

思いついたのでSteamVRをVRデバイス無しでプレイするテスト。 nullドライバのHMD位置をVMTで上書きしつつ、両手分のVMTをトラッカーではなくコントローラとして使用。現状、ボタン操作にVMTManagerを使っているので操作性に難ありなのと、バインディング設定をちゃんとしてないからか動かない部分あり

3

15

60

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

1 year

#UE5 で 3D Gaussian Splatting 動的な影を受ける実装がとりあえず動く状態になった！パフォーマンス最適化はこれからやります

0

8

61

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

2 years

ほぼリアルタイムSpeech-to-text Alignment on #UE4 もうちょっと遅延を改善したい。

0

7

58

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

8 months

スライド作ってまーす

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

9 months

建築情報学会Meetupというところに登壇することになりました。 3D Gaussian Splattingの突っ込んだ話をします。

0

2

17

0

1

56

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

2 years

#UE4 Pixel Streamingを改造して、複数カメラ(SceneCapture2D)でストリームできるようにしてみた。ある種の用途にはこれが必要になると思うのだけど、標準ではできないっぽいのよね。

2

6

56

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

6 months

Trying MarigoldDepthConsistencyPipeline from Marigold-LCM repository on Huggingface. Comparison with depth_latent_init_strength = 0.1 (default), 0.175, 0.25

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

7 months

Marigold-LCMとGeoWizardを味見している設定は何も考えずに全てデフォルト値ワイルドな動画に対して使おうとすると、特に後者はフレーム間の一貫性が課題か

2

11

90

0

12

56

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

3 years

ということで、UE5で遊んでる。楽しい…。 UEのSequencerとControlRigでモーションからキーを生成して編集もできるし、とてもいい感じ。アセットは、MegascansとMetaHuman、マーケットプレイスで無料のCity Subway Train Modularから。

空き家総研VRラボ -Akiya Research Institute,VRlab-

@Akiya_Souken_VR

3 years

#MocapForAll のUE5向け受信プラグインを公開しました！また、これに合わせてMocapForAll本体をv1.9.1にアップデートしました。 UE5での映像制作等に使っていただければと思います。

2

29

82

1

14

52

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

2 years

🦆 まるい

0

5

55

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

2 years

onnxruntime.transformers.optimizerに闇の改造を施すことで、WhisperのCUDA向けFP16最適化済みonnxの練成に成功した。

1

11

52

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

3 years

face_landmark_with_attention、onnx化して動くところまで来た。が、CUDA推論で50msとか想定の2～3倍くらいかかってるので、なんかおかしい気がする…。

1

4

48

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

2 years

過不足なく綺麗にまとめていただいており、圧倒的感謝… 2台のWebカメラを利用するモーションキャプチャアプリ「MocapForStreamer」が発表 - MoguLive

2台のWebカメラを利用するモーションキャプチャアプリ「MocapForStreamer」が発表

Webカメラ2台を用いるモーションキャプチャアプリ「MocapForStreamer」が発表されました。開発は空き家総研VRラボ。現在BOOTHにて無料試用版がダウンロード可能です。「MocapForStreamer」 […]

www.moguravr.com

0

14

50

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

3 years

UE5のIKまわりとまあまあ仲良くなった。 IK Rigはモーションキャプチャ結果の実行時適用に使うには微妙に痒い所に手が届かない感じ？なので、結局Control Rigに落ち着いた。標準のFoot IKも同上なので、結局自前実装。。

0

5

49

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

5 months

IC-Light 動画を背景に使うテスト悪くないものの、ちゃんと光源の方向に合わせて～とか言い出すと、深度マップとか法線マップを作ってHDRIでライティングしないとダメな気もする逆光以外なら光の当たり方はある程度コントロールできるので、ちゃんと作り込めばもう少し良く見せることはできるかも

0

3

49

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

1 year

#UE5 .3 Nanite Tessellation 味見中…

1

4

47

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

1 year

3D Gaussian Spattingお試し点群の「点」が半透明の楕円体になってるイメージのやつ 7000iterで4301911個の「点」。ディスク上で約1GB。PSNR 26.04。 NeRFよりデータ構造が単純で編集が簡単そうなのがメリットかな～半透明の楕円体を多数重ねて描画するので、リライトして影出したりとかはムズそう

0

5

47

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

2 years

Ubuntu 20.04とVSCodeでUE 5.1動いた。エンジンビルドに一晩かかった…。

0

12

46

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

1 year

3D Gaussian Splattingは現状モデル生成には数十GBのVRAMが必要ですが、描画だけならそこまで必要ではないです。かつ、少し精度を落とすだけでデータ量は大きく減らせます。 float16化やint8量子化込みの学習など工夫の余地は多分にあり、学習・描画とも今後さらにメモリ消費は減っていくと思います

三神しん

@4sZb5zu9yMzlpRt

1 year

えええ？！！3GBでできるの！？！

0

2

1

9

47

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

3 years

ということで、v1.7はカメラ校正が楽になりました。あとこれは、単に楽になるというだけでなく、演劇の舞台とかをとりあえず複数の固定カメラで動画撮影しておいてもらえれば、後から三次元復元できるようになるはずってことなので、個人的には結構大きな前進。

0

11

44

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

2 years

気になってたHITNetをUE4で可視化してみた。服のしわは綺麗にとれてるけど、腕の奥行とかはちょっと怪しい気もする。背景のノイズは人をセグメンテーションで切り出したりすれば問題じゃないかも。しかしなんというか、画面の中から出て来ようとする呪われた存在みたいな絵面になってしまったな…。

0

7

44

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

2 years

とりあえず明らかなバグは全部潰したので1.0です！！ニュースっぽいテロップを作るのにめっちゃBBCとかみた。背景とか前景とか読み込んで撮影セット作るのが楽しくなって無駄にこだわった一品…。

空き家総研VRラボ -Akiya Research Institute,VRlab-

@Akiya_Souken_VR

2 years

＼ #MocapForStreamer v1.0をリリース!! ／ BVHファイルへのデータ保存の新機能や不具合修正など快適に使用できる環境を整えました！ BOOTHとSteamでダウンロードできます！！ ※無料デモ版あり 👇製品ページ、ダウンロードはこちら👇

0

69

131

0

10

42

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

2 years

文言を動的に変更するテスト（各スロットのindexとイベントを紐付けてるだけで、SentenceBERT的なことをしているわけではない）

0

8

42

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

2 years

HLSLはじめました UEエディタで256x256x256ピクセルのボリュームテクスチャを作ろうとするとクラッシュするのだけど、なんか回避方法ないですかね…？

1

7

40

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

2 years

透明度ありでNDI出力するのに想像の10倍くらい苦労したけど、ようやくできた気がする。 NDIIOプラグインが（たぶん）アルファチャンネルなしで画像出力してたりトーンマップ（？）が間違ってたり、Composureをパッケージにすると（たぶん）動かなかったりと、いろいろと罠があった…。

0

6

40

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

3 years

春じゃん

1

3

37

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

8 months

先日の建築情報学会Meetupでの発表資料を公開しました～

3D Gaussian Splattingを遊び倒す | ドクセル

建築情報学会Meetup 関西 Vol.001での発表資料です。 3D Gaussian Splattingのデータ構造の特徴と、それを...

www.docswell.com

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

8 months

スライド作ってまーす

0

1

56

1

11

39

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

2 years

連休は『DirectX12の魔導書』を読んで、闇魔法を使えるようになろうと思います。

0

5

39

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

4 months

本日こちらのイベントで「ローカルLLMをUE5で動かす」という話をさせていただきます。配信もあるのでぜひご覧ください〜！ UE Tokyo .dev #3 (2024.06) #uetokyo

UE Tokyo .dev #3 (2024.06) (2024/06/14 19:00〜)

## 概要東京近辺の Unreal Engine ユーザーコミュニティによる技術勉強会です。 UE が好きなエンジニアが集まり、東京近辺の UE ユーザーコミュニティを活性化させる目的で立ち上げました。継続して開催することを目指しています。今回は第3回、引き続き盛り上がっていきましょう！はじめての Unreal Engine からエンジン内部のコアな話、ゲームからノンゲームまで、ジャン...

ue-community-tokyo.connpass.com

0

9

38

麻場健司／MocapFor(Streamer|All)開発

@KenjiASABA

2 years

12月になりましたね～。音声認識AIのWhisperをUnrealEngineでリアルタイムに動かすためにいろいろやった話を書こうと思います。 Unreal Engine (UE) Advent Calendar 2022に参加しました！ #Qiita

Unreal Engine (UE) - Qiita Advent Calendar 2022 - Qiita

Calendar page for Qiita Advent Calendar 2022 regarding Unreal Engine (UE).

qiita.com

0

12

37