抹茶もなか @GianMattya Twitter profile

Pinned Tweet

抹茶もなか

@GianMattya

1 month

最新版の自動下塗り&レイヤー分けツールを公開しました！ Google Colabから誰でもすぐに使うことができます使い方の詳細はこちらの記事に記載しました！また、githubにてソースもすべて公開しています

3

447

1K

Last Seen Profiles

@Andr_530

@taehyun_one

@reempalestine

@thornehealth

@johnheyerdal

@FHD_BE

@hastearcade

@0xraspberrycat

@KingsmenTTU

@Jdowell5

@thinwhitelics

@bain_pratai

@mochiannninn

@2020_WakeUp

@Chrismonte86

@soumya_pillai

@zeng_mei92277

@coralinesaidso

@FelixCEV

@SulemanSButt

@nanasaku31

@GabboUribe

@leila_bs78

@BWdyh61022

@superbet_br

@ixel_costello

@wakuri_1

@MarcusMunafo

@AbidAchrafprod

@SumitKu64882969

@stw_pdg

@0206_kazuya

@mtrazzak

@W1ldBear_1

@galery_basah10

@Recl_AI

抹茶もなか

@GianMattya

1 year

AIイラスト特有の塗りについて調べてる画像生成時にノイズが除去しきれず、同じような色でも微妙に異なるRGB値で表現された結果があの独特な塗り感を出してるんじゃないかなーとということでRGB空間を100クラスタに分類して可視化してみた

6

2K

7K

抹茶もなか

@GianMattya

2 months

線画を入力したら自動で下塗りとレイヤー分けをしてくれるツールがほぼ完成閉域を検出（少し線が繋がってないくらいは閉域として扱える）して下塗りを作ってるので精度が依然と段違い AI生成した線画だとそもそも線がおかしいので変な部分塗ったりもするけど、手描き線画なら完璧に塗分けられそう

5

2K

7K

抹茶もなか

@GianMattya

1 year

AIによる自動下塗り＆レイヤー分けツールのβ版を公開しました！線画を入力するとその線画に合わせて下塗りを行い、塗った領域ごとにレイヤー分けしてPSDファイルを出力します。以下のGithubリンクから利用可能です！使用方法などはREADMEに記載してあります

11

1K

2K

抹茶もなか

@GianMattya

2 months

生成AIを用いた線画への色付けは、長らく入力した線画がAIによって微妙に変えられてしまうという点で実用性が薄いと言われてきましたが、ようやく1pixelのズレもなく完璧に入力線画に沿って色を塗れるようになりました

5

609

2K

抹茶もなか

@GianMattya

1 year

既存ツールよりも高い精度で背景の切り抜きができるWebuiの拡張ツールを公開しました！ WebUIのExtensionタブからインストールできます画像生成とは独立した拡張となるため、nijijourneyなどで生成した一枚絵も切り抜きが可能となります！ #stablediffusion #AUTOMATIC1111

3

438

2K

抹茶もなか

@GianMattya

1 year

レイヤー分離ツールの進捗

9

459

2K

抹茶もなか

@GianMattya

2 months

入力した線画に忠実に色を塗るシステムを公開しました！以下のGithubリポジトリから利用できます！

3

476

2K

抹茶もなか

@GianMattya

3 months

イラストの情報量を可視化する試みこれができるならイラストの情報量制御ControlNetとかできるんじゃないのか？って思ってる AIイラストでも視線誘導とか情報量制御とかできるとまた色々幅が広がりそうだなって思ってる

4

448

2K

抹茶もなか

@GianMattya

1 year

入力した線画を自動で下塗りして領域ごとにレイヤー分割するツールの進捗線画は入力されたものをそのまま使うため改変や解像度の劣化等は発生しませんまた、プロンプトを用いた塗る色の制御も可能です将来的には参考画像に沿った下塗り等も対応予定ですこちらのツールもOSSとして近日公開します！

7

567

1K

抹茶もなか

@GianMattya

5 months

chatGPTのおかげで冗談抜きで開発速度10倍くらいになってる特に、やり方思いついてるけど実装方法調べるのが面倒くさくて手をつける(やる気になる)までめっちゃ時間かかってたのが、アイディアぶち込めばそれっぽいコード出てくるんで「とりあえず作り始める」がすぐにできるようになったのがでかい

5

312

1K

抹茶もなか

@GianMattya

5 months

nvidiaが強いのは、チップそのものよりも機械学習周りの技術がnvidia(CUDA)を使うこと前提に育った部分なので、そこの互換性がない限り移り変わりは無いと思う PythonよりAI向きの開発言語はあるけど、ライブラリやコミュニティ等のエコシステムが移行できないのでずっとPython使い続けてるみたいな

びりある#全財産DeFi@𝐜𝐫𝐲𝐩𝐭𝐨𝐠𝐫𝐚𝐩𝐡𝐞𝐫

@visvirial

5 months

「AIといえばNVIDIA！」みたいになってるけど、そのうちAI専用のIC (ASIC) が開発されてGPUはお払い箱になるよ。いまNVIDIA買ってるやつは爆死すると思ってる。

9

65

317

9

437

1K

抹茶もなか

@GianMattya

5 months

Soraを構成している技術要素の解説記事を書きました。現時点では一番技術的に踏み込んでる記事だと思います。レベル（資本・計算力）を挙げて物理で殴る大切さがわかります

【AI動画生成】Sora 要素技術解説

zenn.dev

7

343

1K

抹茶もなか

@GianMattya

1 year

Layerdividerをアップデートしました！このバージョンからSAMによる領域情報に基づいたレイヤー分けが可能になります！ WebUIご利用の方は以下のURLから拡張機能として取り込むことが可能です！

3

285

1K

抹茶もなか

@GianMattya

2 months

入力した線画に忠実に色塗りするツール(starline)を誰でも簡単に使えるようにHFのSpace上で公開しました！以下のリンクから使用できます！また、Space専用の先行公開機能として、プロンプトの代わりに参照画像を入力できる機能も追加しました！是非試してみてください！

5

276

1K

抹茶もなか

@GianMattya

1 year

動画からControlNetを通してAI動画を生成する機能を作成したので公開します！ Multi ControlNetにも対応してます！ Extensionから以下のURLを使ってインストールできます！ #AUTOMATIC1111 #ControlNet #AIArt #AI イラスト

4

219

963

抹茶もなか

@GianMattya

1 year

一枚絵を色情報に基づいてレイヤーを分けPSD形式で出力するツール（layerdivider）がSDWebUIで利用でできるようになりました！ ExtensionsからgitのURLを張り付けてインストールしてください！またこのVerから背景と人物を分けて出力できるようになります！ #AUTOMATIC1111

9

338

966

抹茶もなか

@GianMattya

1 year

Controlnet M2M、正式にReference onlyに対応しました！今後は入力に動画だけでなく、画像も利用できます！すでに本家webui controlnetにも反映されているので、以下リンク先のリポジトリから、拡張機能を更新することで利用する事が可能です！ #ControlNet #AUTOMATIC1111

1

200

802

抹茶もなか

@GianMattya

8 months

書きました！多分これが一番早いと思います！

【AI動画生成】Animate Anyone 論文解説

zenn.dev

2

186

777

抹茶もなか

@GianMattya

1 year

ControlNetのボーン動画を入力するとアニメーションを生成できるAutomatic1111の拡張機能を作りました！もう少しテストして今日か明日にgitに公開します！ #ControlNet #AUTOMATIC1111 #AI イラスト #AIArt

7

161

733

抹茶もなか

@GianMattya

3 months

イラストの情報量を可視化するツールをgithubに上げました！今は物体の密集度と深度情報による解析ができます解析方法は組み合わせて使用でき、自分の思う情報量の定義を探れます！今後は解析方法を増やす＆定義した情報量でControlNetを作成できるようになる予定です！

4

250

757

抹茶もなか

@GianMattya

1 year

以前公開した背景除去機能（PBRemTools）に新しい機能を追加しました！背景だけでなく、テキストで指定した要素を切り抜く事ができます。（MetaのSegment AnythingとCLIPを利用）利用にはSAのモデルを手動で配置する必要があるため、READMEにて手順をご確認ください

7

185

740

抹茶もなか

@GianMattya

1 year

クラスタに分けた時点でかなりノイズっぽい塗りになっているのがわかった（2枚目）のと、同じクラスタ内でもRGB値が微妙に異なってるのがわかる（3枚目）このブレを消してあげて、統��したRGB値で塗りなおしてあげればあのノイズっぽい塗りを抑えられるんじゃなかろうか

3

195

726

抹茶もなか

@GianMattya

5 months

というわけで新卒からデータサイエンティスト兼機械学習エンジニアとして5年ほど務めた現職を辞めました！来月からも引き続き機械学習エンジニアとしてキャリアを積む予定ですが、より生成AIに軸足を置いて活動していきます！

17

46

713

抹茶もなか

@GianMattya

2 months

線画を入力すると自動で下塗りとレイヤー分けをしてくれるツールの開発進捗 line2lineの導入とアーキテクチャの総とっかえ（ほぼ一から作り直し）をしたことにより大幅に精度が向上しました前バージョンでは複雑な線画は、色のはみだしと塗り残しが出ていた部分がかなり改善しています

2

196

694

抹茶もなか

@GianMattya

29 days

生成AI周りの難癖、正しい情報の発信に苦心してる人が多いけど、これは正しさを決める論争ではなく純然たる権力闘争なので、どの陣営も自分の有利な情報しか受け取らないし都合の悪い情報は無視すると思っておいて良いと思う開発者は淡々と正確な情報だけ流してあとは気にしないのが一番じゃないかな

8

204

666

抹茶もなか

@GianMattya

1 year

一枚絵を色情報に基づいて分離するツールを作成しました処理の仕組みや使い方などは以下のリンク先に記載していますまた、以下のColabからWeb UIを起動できます

layerdivider_launch.ipynb

Run, share, and edit Python notebooks

colab.research.google.com

7

179

631

抹茶もなか

@GianMattya

1 month

今後人間に求められるのは、1日で新しい技術を覚えて1週間後に覚えた全てを捨ててまた新しい技術を習得するという終わりのないラットレースを走りつづけ、それでも最新技術を駆使して良い物を作り続けるという胆力なのではという気が薄らしているこの苦行に耐えられる人だけが生き残る世界になりそう

2

147

562

抹茶もなか

@GianMattya

1 year

取り上げていただいてる…！ (GPU化による高速化とwebuiへの実装進めてるのでもう少しお待ちを…)

852話(hakoniwa)

@8co28

1 year

塗りごとにレイヤー分けしpsdにする「layerdivider」が凄すぎる(作者は抹茶もなかさん) ミクの完成絵をベース、明、暗で複数レイヤーに分けてくれた。一枚絵なら何でもOK(これはAI絵) 線画抽出機能はないので自分はcannyを使用して線画レイヤーを追加した。 layerdivider

15

1K

6K

3

108

539

抹茶もなか

@GianMattya

1 year

画像生成AIは、ラフ→線画線画→下塗り下塗り→1影 1影→2影 2影→光効果光効果→仕上げくらいの粒度でそれぞれ精度の良いcontrolnetができて、自動化したい工程だけを選択して適用できるようになったら化けると思ってる (ていうかそういうサービスを作りたい)

6

160

537

抹茶もなか

@GianMattya

1 year

こちらのツールですが、有志の方がauto_undercoatをブラウザ上で利用できるサービスを作ってくださいました！私の方でも下塗り及びレイヤー分けの精度向上を目指していろいろ実験中ですので、引き続きよろしくお願いいたします！

抹茶もなか

@GianMattya

1 year

AIによる自動下塗り＆レイヤー分けツールのβ版を公開しました！線画を入力するとその線画に合わせて下塗りを行い、塗った領域ごとにレイヤー分けしてPSDファイルを出力します。以下のGithubリンクから利用可能です！使用方法などはREADMEに記載してあります

11

1K

2K

1

244

523

抹茶もなか

@GianMattya

8 months

前に作った自動下塗り＆レイヤー分けツールこれを育てたいとずっと思ってて、精度がちゃんと出ればレイヤー情報を保持したまま、下塗りから1影を塗るモデル→1影から2影を塗るモデル→光効果入れるモデル、みたいにステップ踏んで生成することで完全にレイヤー分けされた画像を生成できると思う

4

129

488

抹茶もなか

@GianMattya

19 days

多分日本で一番早いと思いまs(ry Paints-UNDOの技術解説記事です

【自動タイムラプス製造!?】Paints-UNDO技術解説

zenn.dev

0

197

486

抹茶もなか

@GianMattya

2 months

先日公開した線画に忠実に着彩を行うシステムの技術解説記事を公開しました！裏側に興味がある方は是非読んでみてください！ AI開発は最新技術と枯れた技術の活用を両輪で回すのが大事だよねというお話

入力線画を全く変えずに画像生成AIに色塗りさせる方法

zenn.dev

2

131

427

抹茶もなか

@GianMattya

6 months

昨日載せた消失点ControlNet（一点透視版）について、試作版のモデルをHFにあげました！学習データ数が少なすぎてかなりじゃじゃ馬なのでお試し程度にお使いください！正式版については、学習データを十分確保した上で改めてモデルを作り、3月中に公開できたらと思います！

6

108

404

抹茶もなか

@GianMattya

1 year

ありがたいことに多くの方からControlnetで動画を作る方法について質問をいただくので、blenderを使った簡易的な入力動画の作成方法から、webUIを使ったアニメーションの生成方法までを以下の記事にまとめました！少しでも参考になればと思います！ #ControlNet #AIart

Blender＋ControlNetを用いたアニメーションの作り方

zenn.dev

0

85

396

抹茶もなか

@GianMattya

5 months

既存の機械学習の知識があって、基本的な画像処理ができて、最新の生成AIへの知識があって、基本的なビジネスの知識があって、なおかつアニメやゲーム等のコンテンツに興味がある人材が需要に対して少なすぎる

11

67

386

抹茶もなか

@GianMattya

4 months

soraのオープンソース版、すでに512×512の解像度で2秒程度なら動画が生成できるようになってる(VRAM24GBあれば動く) 基本的なアーキテクチャはopenAIの技術レポートにあったものと同じみたいなので、やはり計算リソースと訓練時間さえあればあの構成でいけるらしい

1

108

386

抹茶もなか

@GianMattya

8 months

画面取り込み式のLCMリアルタイム変換ツール更新しました！こんな感じで画面取り込んでLCM適用できます！ Gradioかまして無いぶん他より速そう？

1

126

375

抹茶もなか

@GianMattya

8 months

リアルタイムAIお絵描き、実際にやってみたいという方が何人かいたのでgithubにアップロードしました（コア部分しか作っていないので要望多かったら使いやすいものにアプデしていこうと思います）

1

99

359

抹茶もなか

@GianMattya

2 months

「入力された線画をそのまま出力する」ControlNetを作ってみました。何か意味あるの？と言いたくなるモデルですが、LineartやLine2Normalmapなどと併用することで、入力された線に対する忠実度の向上が期待できます（サンプルの青線画元の入力線画）

1

94

337

抹茶もなか

@GianMattya

23 days

透過線画を生成する簡単なWebアプリをHF上で公開しました！透過線画を生成⇒破綻した部分を人手で修正⇒Starline等で線画に忠実な塗りを別途生成という流れで、品質を保ったまま絵作りの工数を下げられるのではと考えています。

1

92

346

抹茶もなか

@GianMattya

1 year

こちら、本家sd-webui-controlnetに取り込んでいただけたので、controlnetをお使いの方は更新だけで利用可能になりました！今後はsd-webui-controlnetの方を利用いただければと思います！ #AUTOMATIC1111 #ControlNet

抹茶もなか

@GianMattya

1 year

動画からControlNetを通してAI動画を生成する機能を作成したので公開します！ Multi ControlNetにも対応してます！ Extensionから以下のURLを使ってインストールできます！ #AUTOMATIC1111 #ControlNet #AIArt #AI イラスト

4

219

963

2

100

322

抹茶もなか

@GianMattya

1 year

output_layer_modeによる一枚絵の分割方法の違い ①通常モード

2

64

311

抹茶もなか

@GianMattya

1 year

僕が一番熱を入れて取り組んでいる一枚絵のレイヤー分けについて記事を書きました！現在はAIを使ってレイヤー分けをしているLayerDividerですが、初版ではAIを一切使わずにレイヤー分けを実現しており、その手法の解説となぜこれを作ろうと思ったかを記載しています！

AIを使わずに一枚絵をレイヤー分けできないか試みた話

zenn.dev

0

99

306

抹茶もなか

@GianMattya

1 year

layerdivider webUI版は背景とキャラクターを別々のレイヤーに分けられるようにする予定です

2

45

305

抹茶もなか

@GianMattya

6 months

LLLiteじゃなくて本家で学習したら消失点ControlNetができたっぽい

7

72

300

抹茶もなか

@GianMattya

1 year

これも来週目安にAUTOMATIC1111の拡張機能として提供しようと思います

抹茶もなか

@GianMattya

1 year

自作中の、一枚絵をレイヤー分けするツールの進捗ある程度形になりました！ ①オリジナル(AI出力) ②ベタ塗り ③光のみ ④影のみ #AIart #AI イラスト #AI

2

44

153

0

87

288

抹茶もなか

@GianMattya

15 days

ToonCrafterのSketch Guidance機能がなかなか公開されないため、論文を参考に再現実装を行いました！なぜかモデルの重みだけは公開されていたので、制御に使っているモデルはToonCrafter公式のものとなります以下のGithubリポジトリから利用できます！

2

67

292

抹茶もなか

@GianMattya

1 month

AI周りは変革が早いから手を出すのは落ち着いてからで良いというのは僕もそう思いつつ、果たして落ち着く時は来るんだろうか？とも思わなくもない 2022年以後、AI含めたIT技術周りの革新速度は異常なほど高まっていて、毎日毎日新しい技術が出てきてるし、この流れは今後も続く気がしてる

3

77

286

抹茶もなか

@GianMattya

3 years

イレイナさん #魔女の旅々 #イレイナ #イラスト

0

79

271

抹茶もなか

@GianMattya

1 year

controlnet m2mとりあえずreference only対応完了もうちょっとテストして問題なさそうならPR投げます BreakDomain使ってみたけどさすがに適当プロンプトでは破綻しちゃう模様機能的には正しく動いていると思うのでいろいろ遊んでみてください

1

63

273

抹茶もなか

@GianMattya

1 year

1枚絵のレイヤー分けツール進捗ここまでできるようになりました仕組みは大体できたので、あとはモデルの精度向上に注力していけばだいぶ実用的になりそうもちろん手描きの絵でも使えます（動画の絵は自分で描いた絵）

1

79

274

抹茶もなか

@GianMattya

2 months

GPT4oの物体検出に結構感動したので試したことを記事にしてみました。機械学習エンジニア（特に画像系）やってた人には刺さるネタなんじゃなかろうか

GPT4oを使って、訓練無しで物体検出(BBox)ができるか試してみる

zenn.dev

0

73

272

抹茶もなか

@GianMattya

1 year

【お知らせ】 layerdividerは次回アップデートより、色情報に基づいたレイヤー分けからMetaのSAMを用いた領域情報に基づいたレイヤー分けへと切り替わります

1

92

267

抹茶もなか

@GianMattya

1 year

なるほど？精度次第だけど生成した絵から良かった要素だけ取り出してi2iの素材とかにできそう

1

28

261

抹茶もなか

@GianMattya

1 year

いまのAIアニメーション、1フレーム毎に一枚一枚新しく絵を作ってるせいで生成にめちゃくちゃ時間がかかる連続するフレーム間で全く異なる絵を1から作る必要はないし、絶対短縮化できると思うので次はここを何とかしたい

3

34

263

抹茶もなか

@GianMattya

4 months

今日のControlNet勉強会で使った記事です！あとでもう少し手直ししてZennに上げる予定ですが、現バージョンみたいよって人はどうぞ！

第一回ControlNet 勉強会資料 | Notion

ControlNet勉強会の概要

fir-year-a16.notion.site

2

57

258

抹茶もなか

@GianMattya

3 months

AI論争はデータセットの収集が最大の論点で、その論点に対して推進側はオプトアウトまで、反対側はオプトインまでしか絶対に譲歩できず、両陣営そこから一歩も譲れないので交渉の余地はほぼないんじゃないかと思ってる後はもう政治レイヤーで殴り合うしかないので、誰もが納得する着地点は多分無い

8

131

254

抹茶もなか

@GianMattya

8 months

Magic Animate簡易論文解説書きました！

Magic animate論文解説

zenn.dev

0

64

255

抹茶もなか

@GianMattya

1 year

AI絵、レタッチしやすいようにレイヤー分けしようというところから今のツール作成始めたんですが、controlnetの進化とか見てるとAI絵の修正は手描きとは全く別の(AIを使ってAI絵を修正する)アプローチがスタンダードになりそうだなって思い始めてる

2

60

242

抹茶もなか

@GianMattya

2 months

※エンジニア向け仕組み的にはanimagineXLとcn lineartで色塗りをし、後処理で入力線画とずれている部分を補正した後、入力線画を上から貼っつけるという仕組みになってます後処理部分はの部分に書いてあるので興味があったら見てみてください後日技術解説記事も書きます

抹茶もなか

@GianMattya

2 months

入力した線画に忠実に色を塗るシステムを公開しました！以下のGithubリポジトリから利用できます！

3

476

2K

2

50

244

抹茶もなか

@GianMattya

3 months

何かと話題なSoraですが、このSoraをOSSで再現しようという活動があるのはご存じですか？今回はそのOSS版SoraことOpen-Soraの解説記事を書いてみました。分かりづらいデータの加工プロセスを中心に解説しています。現時点では多分国内で最も詳しい解説…のはず

【次世代動画生成】Open-Sora徹底解説【OSS版Sora？】

zenn.dev

0

50

242

抹茶もなか

@GianMattya

3 months

昨日公開されたばかりのStable Diffusion 3.0を課金して触ってみました！前モデルとなるStable Image Coreとの比較も行ったので、どれくらい進化したのか興味がある人は是非！

Stable Diffusion 3.0 性能検証

zenn.dev

1

86

242

抹茶もなか

@GianMattya

1 year

実験していた動画生成の安定化実験がうまくいきそうなので共有します動画生成時に、どうにかひとつ前のフレームを生成した特徴量を再利用できないかなとこねくり回した結果、ノイズ除去に用いるUnetの中間層を再利用すると良い結果が得られそうだということがわかりました。

2

57

229

抹茶もなか

@GianMattya

2 months

luma AI、破綻は大きいけど動きの大きさという点では頭ひとつ抜けてるな品質が課題の場合は将来的に解決される可能性が高いので、ポン出しAIアニメ生成も来年か再来年には手が届きそうな予感

1

78

236

抹茶もなか

@GianMattya

1 year

🎉 SAM-HQリリース！早速SAMとSAM-HQの差を比較してみました（同一パラメータ/同一プロンプトで比較）左側がSAM、右側がSAM-HQですが、明らかに領域分けの精度が向上しています！パラメーター調整なしでこの精度はお見事！今週中にはlayerdividerでもSAM-HQを利用できるように改修予定です！

0

52

224

抹茶もなか

@GianMattya

2 months

線画に忠実なAI色塗りツールことstarlineが100スター行きました！スター入れてくれた方感謝です！

GitHub - mattyamonaca/starline: Strict coloring machine for line drawings.

Strict coloring machine for line drawings. Contribute to mattyamonaca/starline development by creating an account on GitHub.

github.com

0

38

224

抹茶もなか

@GianMattya

1 year

聞きに来てくれた方ありがとうございました！今日の資料はここに置いてあります #techdmeetup

画像生成AIを応用して作画補助ツールを作成した話

speakerdeck.com

3

57

214

抹茶もなか

@GianMattya

2 months

AIにしかできない表現は、MR/VR/AR領域でユーザーの挙動に応じてリアルタイムでコンテンツを生成する方向性とかで必ずAIでなきゃ実現不可能な表現が出てくると思っているなので今は表現の方向性とかに捉われず一歩一歩着実に技術ツリーを解放していくのが良いのかなと

1

76

223

抹茶もなか

@GianMattya

19 days

Paints-UNDOは、人間が1000回の作業で一つのイラストを作ると仮定し、その1回ごとの作業結果を予測する画像生成モデルAと、それだけだと大雑把な過程しか作れないため、モデルAで予測した結果をキーフレームとし、キーフレーム間の作業過程を予測する動画生成モデルBの組み合わせという理解をした

1

114

222

抹茶もなか

@GianMattya

2 months

二値化線画以外も対応できるの？という疑問が結構届いてるので回答入力した線画の座標をほぼ完璧に取れるので、上から入力線画を重ね合わせることで色、透明度、グレスケ値なども完全に保持できます問題は透明度がある時に後ろ透けるやんけという点ですが、ここもなんとかする算段は立った(実装中)

抹茶もなか

@GianMattya

2 months

生成AIを用いた線画への色付けは、長らく入力した線画がAIによって微妙に変えられてしまうという点で実用性が薄いと言われてきましたが、ようやく1pixelのズレもなく完璧に入力線画に沿って色を塗れるようになりました

5

609

2K

1

63

220

抹茶もなか

@GianMattya

8 months

巷で噂のLCMによるリアルタイムお絵描き補助を簡易実装してみた手元ではRTX3060で生成してるけど、生成速度はギリ実用に耐えそうかな？

2

75

217

抹茶もなか

@GianMattya

7 months

生成AI激動時代の個人開発者の戦い方（2023年振り返り）｜抹茶もなか #zenn 年末なのでふりかえり記事を書きました。これにて今年の活動は最後となります。皆様良いお年をお迎えください。

生成AI激動時代の個人開発者の戦い方（2023年振り返り）

zenn.dev

2

42

214

抹茶もなか

@GianMattya

3 months

生成AIが人の仕事を奪う可能性について結構ドライな考えを持っているのは、だってIT業界もDXの名の下にここ10年同じことしてきたじゃん？それがAIに変わったところでやってることは同じじゃん？なのに今更技術によって人の仕事が無くなることを問題視するの？っていう気持ちがあるからかもしれない

6

60

212

抹茶もなか

@GianMattya

6 months

AIで生成したイラストから尤もらしい消失点を検出する方法の解説を書きました！消失点制御ControlNetの学習データセットってどうやって作ってるの？みたいなところに興味がある方がいましたら参考にしていただければと思います！

OpenCVを使ってAIで生成した画像からそれっぽい消失点を見つける

zenn.dev

0

69

210

抹茶もなか

@GianMattya

8 months

もちろんクリスタでもできるよ

1

61

202

抹茶もなか

@GianMattya

1 year

人の絵だとどうなるのか？というのが結構来ているので自分の過去絵で同じことをやってみたどっちも仕上げに上からノイズ系のテクスチャをかけていたはずです（解像度や背景の有無、クオリティの差…とかいろいろ条件は違うので単純比較していいのかは微妙ですが参考までに）

1

110

199

抹茶もなか

@GianMattya

2 months

AIイラストの塗りと線画の完全分離ってマジで一年悩んでたのでstarlineはかなり感慨深い AIイラストがなかなか仕事で使いづらいのって後から修正ができないとか、既存ワークフローに組み込みづらいからだと思ってるので、AIイラストの完全レイヤー分け目指してもっと頑張ろう

2

40

197

抹茶もなか

@GianMattya

9 days

AI周りとか特にそうで、みんなLoRAやcontrolnet、なんなら拡散モデルの仕組みとかを完全に理解してるわけではないけど、抽象化された「なんとなくこういうもの」という理解だけでうまいこと取り扱っているわけで、課題を解くのに物事の理解が必須ではない良い例だと思ってる

3

48

196

抹茶もなか

@GianMattya

8 months

LCM×IP Adapter×低ノイズi2iによるAIレンダリングテスト GPUは3060(12GB) 実写→アニメキャラへの変換はまだ重いけど、Vroid→AIによる細部のクオリティアップとかにはそろそろ使えそうな領域に足を踏み入れ始めたと思う

3

39

193

抹茶もなか

@GianMattya

1 year

よく言われる「AI絵っぽさ」は描き込みすぎから来るんじゃないかと思ってる animelike2dなんかは描き込み量が少ないからAIっぽさ全然なかったし

3

45

188

抹茶もなか

@GianMattya

14 days

ToonCrafterのSketchGuidance利用可能版にGuidanceの強度を調整できる機能を追加しました！強度0.4~0.6あたりだと綺麗にガイドしてくれるようです

3

52

193

抹茶もなか

@GianMattya

8 months

AI周りは作品よりも手法に興味を持っている人の方が多い体感があるので、リアイベするなら参考にすべきはコミケより技術書典なんじゃないかなという気はする

1

63

190

抹茶もなか

@GianMattya

6 months

AnimateDiff×消失点ControlNetテストまだまだ荒いけどうまく使えばカメラアングルの制御も見えてきそうな結果

0

38

189

抹茶もなか

@GianMattya

6 months

Diffusersを使ってControlNetを学習する方法の解説が余りなかったので解説記事を書きました

Diffusersを用いたControlNetの学習方法解説

zenn.dev

1

38

188

抹茶もなか

@GianMattya

19 days

とんでもないこと書いてあるんだけど何回「元に戻す」を実行するかを指定するって発想がまず出てこないし、それを実装しているのも意味がわからないんですが

3

91

186

抹茶もなか

@GianMattya

11 days

(わかる人向け) 動画データはB×T×C×H×Wの五次元テンソルで表すことができ、これは(B×T)×C×H×Wの四次元テンソルに変換することでバッチ化した画像データ群として扱えるので、動画生成にも画像生成で培った技術資産を応用できる、ということを理解していると最近の動画生成技術の構造を捉えやすくなる

2

34

187

抹茶もなか

@GianMattya

1 year

今盛り上がっている話題関連で、現存のレイヤー分けツールはそんなに高性能じゃない！っていう流れ弾をまあまあ受けてひっそり泣いてる（開発者もそう思います）

8

63

181

抹茶もなか

@GianMattya

5 months

本当革命すぎる

camenduru

@camenduru

5 months

Thanks to @lvminzhang ❤ and #LayerDiffusion Team ❤ LayerDiffusion weights are now available on 🐶 @TheRealDagsHub 📦model: 🍱webui-forge: 🧩extension: please try it 🐣