A. Okuno @public_aokn Twitter profile

Last Seen Profiles

@neggoartz

@AshishSinghNews

@sososana12

@yuria_sinkawa

@mabela_school

@xiaoayeye

@KasihLudah

@_danial1609

@mbadl_doob20

@greengenetics42

@smrY738

@KasihLudah

@aaheem49

@PasutriAsli2

@studio_alble

@Guideitallinn

@8mrBidoof

@thvjustv

@PrisonYoga

@aabrymy

@ryandavis_21

@reckaseigh82348

@sujing110

@FOX19Joe

@raika_tori

@reckaseigh82348

@WsoccerCa

@anwarrami551533

@kmtotrpg

@xyvsyz

@tsunagu

@carson_sudbury8

@WANIMAL912

@aboyousef1996

@enervalenciaben

@Slimleia_

A. Okuno

@public_aokn

3 years

誰に言われたのか忘れたけど，修士〜博士で記憶に残ってる教えが「お菓子食べて帰るだけでもいいからコミュニティには毎日顔を出した方が良い」と「全く成果出てなくても，毎日やってるなら根拠のない自信を持ち続けることが一番大事」の2つです

21

9K

61K

A. Okuno

@public_aokn

3 years

頑張ればヒューマンエラーを無くせると信じている人々というのが一定数居るようなので，1桁の足し算などを1万問くらい解いてもらう的な体験を人生のどこかでやってみてもらうのは良さそう

94

13K

39K

A. Okuno

@public_aokn

3 years

おぼろげながら浮かんできた0.05という数字を長年使い続けている界隈

9

1K

4K

A. Okuno

@public_aokn

3 years

1000円の不正を防止するため人件費を1万円使って10万円の機会損失をしている，みたいな話は多い．

6

724

2K

A. Okuno

@public_aokn

2 years

博士課程の「学生」という呼び方がやっぱり駄目なのではという気がしていて，実質的に業界の研修中の新入社員みたいなものだということがわかる名称にしたらよさそうと思うものの何か良い呼称はないのかなぁ

39

234

2K

A. Okuno

@public_aokn

3 years

根拠のない自信はかなり大事(でもあんまりやりすぎると後で困るので程々に)

2

169

1K

A. Okuno

@public_aokn

4 months

気持ちが噴き出た怪文書です

0

211

1K

A. Okuno

@public_aokn

4 months

結局こうなりました．(若干controversialな気がするけど一般向け説明なので許してください…)

A. Okuno

@public_aokn

4 months

研究所の人々がやっていることを数式なしで説明する会をやることになり，色々説明に苦心しているのだけれどもそこそこ苦労しているのが①表現能力の高いモデルはなぜ低いモデルより悪くなりうるのか(なぜモデル選択が必要なのか)，と②なぜ一般に離散最適化は連続最適化より解きにくいのか，の2つ．

1

13

105

5

190

878

A. Okuno

@public_aokn

2 years

特異値分解とテイラー展開がだいたいの場合における最強テクで，この2つで展開して解決する問題なら頑張って考える余地があるしこの2つでどうにもならない問題は解くために必要な技術が10段階くらい上がる（みたいな話を結構よくやっている）

1

142

868

A. Okuno

@public_aokn

3 years

超すごい論文が最初から書けたら博士課程とか行く意味ないじゃんみたいな気持ちになるんですが，最近はすでにもう（入学時点で）博士号あげていいんじゃない？みたいな伝説キャラがたくさんいて博士課程とはという気持ちになったりする（最初からもう博論審査にかけて学位あげていいんじゃない・・？）

3

67

745

A. Okuno

@public_aokn

4 years

行列計算に関して英語だと無料で落ちているmatrix cookbookなどありますが，和文だと国内最高峰の行列マニアの一人であるところの永井先生（中京大）がまとめ集を公開されているので，時々参考にさせていただいています

1

124

530

A. Okuno

@public_aokn

2 years

日本国内で電力不足が喫緊の課題であることを考慮し，本研究ではニューラルネットを用いた既存法の実験は行わない[1]．

1

126

523

A. Okuno

@public_aokn

7 months

強い研究者と話すと総じて自己を振り返る能力というかメタ認知能力の高さを感じるのだけれど，最近高校時代の恩師が（ベテランになって学生に有効な学習方式は個人差が大きいことを悟り）いろんな方法/媒体で同じことを何度も教えることの重要性が分かったみたいなことを言っていて，

1

63

503

A. Okuno

@public_aokn

2 years

日本の研究機関はただでさえ英語が苦手な人も多いのだから，採択率が1%でも上がるならGrammarlyとか英文校正とか機関で契約して全員に現物/一定額支給しても良いくらいではと思っている

2

64

420

A. Okuno

@public_aokn

3 years

統数研は所内に食堂の類もなく(平日昼に来る弁当屋以外には)パンの自販機くらいしかない陸の孤島なのですが，向かいの市役所に存在した唯一のコンビニが先日閉店し，市役所の食堂も閉まるという兵糧攻めもうダメだ

11

121

379

A. Okuno

@public_aokn

6 months

我々は手法提案論文Aを書き，その数か月後に応用ドメインでAを"引用して利用した"論文Bを書いたんですが Aは悠長に1年以上かけてじっくりrejectされて，その間にBが高速で採択されて，以降ずっと「Bですでに手法が提案されているから駄目」と落とされている．

1

56

348

A. Okuno

@public_aokn

1 year

公開されました．ニューラルネットなど表現能力の高いモデルは(表現能力の高さゆえに)グニャグニャになりがちで，これが過適合に繋がりますが単純なパラメータ正則化では(マシになるけど)グニャグニャが解消できません．本研究では出力の高次変動を抑えてグニャグニャを消す最適化法を提案しています

Stat.ML Papers

@StatMLPapers

1 year

A stochastic optimization approach to train non-linear neural networks with regularization of higher-order total variation. (arXiv:2308.02293v1 [])

0

10

48

1

63

342

A. Okuno

@public_aokn

3 months

絶対に数式を出さないよう専門の話をして，30分くらい話をしたあと応用の一例に天文系の共同研究を5秒くらい混ぜたら全部の質問が天文に傾くんですよね．説明のうまさとか役に立つとかそういう次元を超越していて，単語一つで全てが塗り替わり，個人的にはやるせなくなるくらい凄まじい威力が…

0

46

322

A. Okuno

@public_aokn

7 months

統計で研究職をやると，ほぼ全ての分野の研究者と共同研究を組めるポテンシャルがありとても良いです

1

38

317

A. Okuno

@public_aokn

1 year

最小二乗法がなぜ二乗かというと、理論的なものもありつつ、つまるところ計算が簡単かつ一番標準的でよく知られている正規分布で解釈できるみたいなところが大きいと思う。この辺は昔の統計のカリキュラムだと自然に共感されると思うけど、最近のなんでも勾配法スタイルだと共感されないのかも

1

34

293

A. Okuno

@public_aokn

1 year

公開しました．ざっくりいうと，悪名高い累乗の積分項があり今まで正規分布や一部の確率モデルでしか最適化ができなかったロバストダイバージェンスを"一般の"確率モデルに対して最適化する方法を提案しています．個人的にはかなり非自明で，言われれば当たり前だけど，思いつくまで10年かかりました．

Stat.ML Papers

@StatMLPapers

1 year

A stochastic optimization approach to minimize robust density power-based divergences for general parametric density models. (arXiv:2307.05251v1 [])

0

3

33

4

41

281

A. Okuno

@public_aokn

7 months

研究所の良いところ: 散歩がてらIKEAでソフトクリーム(50円)が食べられる

1

14

257

A. Okuno

@public_aokn

15 days

自分はよくモンテカルロ法だと言ってるんですが，佐藤さんのスライドで大数の法則と呼ばれているとにかく大量に論文を書いて平均化する戦略，明らかに強いのでビッグラボ所属に勝てないんですよね．自分はそこから逃げたんだけど，一人で大数の法則をやっているのが最強研究者という感じですね…

1

15

262

A. Okuno

@public_aokn

3 years

一昔前に中央値と平均値の話が出回り，平均値の話のたびに脊髄反射的に中央値使えと言ってくる人々が出てきたあたりから辟易していたのだけれど，コロナ禍で相関と因果を混同した陰謀論がたくさん出てきて，なんだかんだ概念を一つずつ流行らせて社会に定着させるのは重要だなと思い直しています

1

50

244

A. Okuno

@public_aokn

3 years

機械学習の数学はめちゃくちゃ雑だけれど，数学側が厳密な定式化ばっかりやる割には定式化によるメリットをほとんど提示できていないのだから，人は寄り付かないし今後も長いこと雑なままではあると思う

0

28

234

A. Okuno

@public_aokn

5 months

自分は論文を書くのがすごく下手で未だに歪なものばっかり書きがちなんですけど，成果を論文という単一のフォーマットで公開する作業がもはや現代的でないと思っていて，読者も得をしない無駄な作業をどうにか消せないかなぁと思ってはいます…

2

24

235

A. Okuno

@public_aokn

3 years

統計や機械学習で考えられてきた問題は2次等式制約2次最適化問題に帰着する（結局固有値分解に持っていきたいから頑張ってこの方向の定式化をしている）以上の話が出てくることはあんまり無いと思う．奇跡的に手法が似てるわけじゃなくて、解けるよう作ったらどれも似てくるっていう

1

39

225

A. Okuno

@public_aokn

3 months

多重共線性などについては既存の文献が詳しいかと思いますが，線形回帰の（リッジやLassoなど）パラメータ正則化は線形回帰モデルy=θxの入力xに関する微分dy/dx=θの正則化に対応するので，回帰モデルが入力に対して鋭敏に反応しすぎない=安定するようになる，というのが私のざっくりした理解です

Kentaro Sakamaki

@kent_sak

3 months

「LASSO回帰で多重共線性を押さえて」というのがいまだに理解できないんだけど、不安定なモデルを作っているだけではないのか。こういう状況での理論的正当性を知りたい。本当に教えてほしい。

0

7

75

3

25

223

A. Okuno

@public_aokn

9 months

情報学の博士号を持っているはずなのに，タカシマヤオンラインポイントを使って決済する方法がわからず2時間近く悪戦苦闘しています．常人には難しいシステムが多すぎる．

2

13

209

A. Okuno

@public_aokn

2 years

個人的見解

0

45

199

A. Okuno

@public_aokn

1 year

arXiv初投稿時に困ったことを思い出してtips書きました．我流なので，これはこうしたほうが良いよとか（載ってないけど）これ困ったから追記してほしいみたいな事項があれば是非教えてください．

6

31

201

A. Okuno

@public_aokn

3 years

大学院生のときテンプレ的にお前は社会を知らんからな，社会を・・みたいなこと言われてたけど就職しても社会編みたいなのは特に始まらず休憩で同僚氏とコンビニにお菓子を買いに行ったりしている・・・

0

21

194

A. Okuno

@public_aokn

3 years

Lassoってデザイン行列に列ごとの摂動を加えたロバスト最適化と等価なんですね．経験的にロバストになる話はよく聞いていたけれど，こんなに単純に示せるのは知りませんでした．

0

25

197

A. Okuno

@public_aokn

5 years

DNN理論では良い事ばかり報告されているので，逆にNegativeな結果として，どれだけ巨大なDNNでも近似の難しい連続関数が存在することを示している（定理９）

Negative results for approximation using single layer and...

We prove a negative result for the approximation of functions defined on compact subsets of $\mathbb{R}^d$ (where $d \geq 2$) using feedforward neural networks with one hidden layer and arbitrary...

arxiv.org

1

56

191

A. Okuno

@public_aokn

1 year

某有名会議の査読で（そこそこ専門にも近いはずなのに）未定義の記号がありすぎて何を書いているか不明な論文が来て，reject寄りの判定を送ったら（どうも物理系の記号の使い方だったらしく）周りが全員accept寄りで記号が未定義で共有されていて絶賛されていた回があった．私には無理な査読だった．

1

19

188

A. Okuno

@public_aokn

4 years

統計数理研究所統計思考院の助教に着任しました．指導教員の下平先生をはじめ，学位取得・就職(転職)にあたりお世話になった方々ありがとうございました．今後とも引き続きやっていこうと思いますので，よろしくお願いします．

10

9

188

A. Okuno

@public_aokn

1 year

最近の研究，分野がちょっと違う人と組んで（その人の分野だとやられてない議論になって）これはいけますよ！って論文を書くんだけど，正気に戻ってサーベイをすると概念としてはまた別のところでとっくにやられているみたいな詰み方をすることが多い

1

15

185

A. Okuno

@public_aokn

7 months

結局どうやれば自分が効率よく何かを学習できるのか，メタ的な視点を持っているかどうかが能力に直接的に影響するのだろうと思った．そういう意味で私は他人のプレゼンを見てその場で何か理解/議論するのがとても苦手で，込み入った話になる場合は紙媒体で非同期の議論ができると助かる．

0

25

180

A. Okuno

@public_aokn

3 years

デルタ株について，ワクチン打てとか言われても回ってこないものは回ってきていないのだから，どのくらいの行動量で感染してしまった事例があるのかなど上手く匿名化して公表して欲しいですね．職場と自宅の往復と言ってもどのくらいの混雑の電車に何分乗ってたとか，昼ごはん何人で食べたのかとか．

1

45

175

A. Okuno

@public_aokn

11 months

人類はテイラー展開と固有値分解くらいしか武器を持っていないので，何か問題が出てきたらとりあえずこれらを試すくらいしかできない(誰か新しい武器を作って欲しい)みたいな話をまたやってしまった

0

33

174

A. Okuno

@public_aokn

3 years

不正はランダムに発生するので期待値は案外小さいのだけれど，不正防止に強く取り組もうとした場合の人件費や機会損失はdeterministicで必ず発生してしまうんですよね

1

70

160

A. Okuno

@public_aokn

10 months

論文執筆の大半の作業は本当に不毛なので，素晴らしい話だと思います．昨日Geminiを試してみたら(著者名は間違ってたけど)内容を入力したら自分のプレプリントを出してきてくれた．そもそも現状の論文という形式がもう時代にあってない気がしていて，

1

23

151

A. Okuno

@public_aokn

1 year

今年採択された論文 (with @kyanostat ) の，日本語での解説を書きました．特異モデルの情報量規準WAICはニューラルネットにも使えるの？という内容で，一般向けの平易で短い解説にしたので，お楽しみいただけると幸いです．

0

37

149

A. Okuno

@public_aokn

22 days

手法研究は勝てる設定を探してすべての実験で勝ちましたみたいな実験ばっかりだけど，本来は勝てる設定と負ける設定の線引きみたいなところが重要なはずで，勝てると主張されている設定の集合からどれがどの領域に強いか線引きを探すみたいな問題はそこそこ重要なんじゃないかという気が

0

27

145

A. Okuno

@public_aokn

3 years

統数研は赤池先生が2~3年かけてAICを導出した経緯から(?)時間かけていいからゆっくり良いものを書け思想がすごく強いようで，とにかく時間があるのはよい・・・のだけれど，短期間で細かくビートを刻むのと時間をかけて重い一撃を繰り出すのに必要なスキルは結構違うなと痛感しています

2

16

141

A. Okuno

@public_aokn

4 months

Xの実名アカウントでp値を説明できる人間こそが真の勇者である…

0

23

135

A. Okuno

@public_aokn

5 months

4年前の論文ですが，Okuno and Shimodaira (NeurIPS2020)ではk-近傍法を複数のkについて計算して，多項式回帰で仮想的に半径0の点に外挿する0-近傍法を作ると高次のバイアスが消えて最適レートを達成するみたいなことをやっていました．

1

20

132

A. Okuno

@public_aokn

3 months

プレプリントを一つ公開しました．統計分野の「ロバスト推定」と最適化分野の「ロバスト最適化」って実は逆のことやってるよねという気持ちを綴っています．

2

18

133

A. Okuno

@public_aokn

3 years

すごいなぁと思いつつ，主成分分析ひとつとっても(2x2より大きい)行列の固有値分解って普通に高校でやるのか謎だし，SVMやNNとかって��分の学部3年くらいのレベルになってしまう気がして，こんなの本当に可能なのか…？というのが…

さま設デジタル版

@setsub1ya

3 years

今の高校生すごい。たぶん99%の社会人より上を行ってる。(この教材は2022年春から導入とのこと) データ分析のはじめの一歩を無料で学べる総務省監修の高校教材『データサイエンス・データ解析入門』がpdfで公開

12

1K

3K

0

23

120

A. Okuno

@public_aokn

4 months

という話をどこかでやります（ひっそり）

0

8

122

A. Okuno

@public_aokn

4 years

統計学は宗教なので観測と無限のギャップを埋めるため信ずる神を選ぶ必要があり，神に疑問を持ち深遠な学問世界を探求することも大事なのだけれど，工学的な要請から来る諸問題への対処法に攻撃的な態度を取るのはあまり好ましくないとは思います．（数理系でよく見るし自分もやりがち）

0

16

117

A. Okuno

@public_aokn

10 months

統計とか機械学習でもすごく数学出来る人と数学バトルをしてはいけないみたいな話と同様に，昨今の生成モデルの延長線上にある超知能と頭の良さ決定戦をやってはいけないみたいな発想に立つと，いかに超知能と争わずいい感じに超知能を利用するかみたいなポジショニングは結構重要な気がしている

1

9

118

A. Okuno

@public_aokn

4 months

日本統計学会から小川研究奨励賞をいただきました．下平先生 @hshimodaira にご指導いただいて学位を取り，駆け出しPI助教としての成果を統計学会から評価いただいてとても嬉しいです．栗栖さん上原さんとの同時受賞…！評価に恥じないよう今後とも頑張ります．

0

10

119

A. Okuno

@public_aokn

2 years

自分を含めた99%の人類は線形なものしかまともに扱うことができてないので，何かしらの基底を取って線形に落とし込むくらいしかできなくていろんな取り方はあるが特異値分解とテイラー展開はその中でも最強格の一つ

1

30

117

A. Okuno

@public_aokn

2 years

10月から総合研究大学院大学（統計科学専攻）の助教兼務になりました．大学教員デビュー．

1

3

114

A. Okuno

@public_aokn

3 years

クラスタリングでk-meansとGaussian mixtureって統一的に書けるのか半日ほど試行錯誤してたのだけど，普通にKolmogorov-Nagumoでリンクできるなと思ったら意外にも3週間前に出版されてました Komori and Eguchi (2021)

A Unified Formulation of k-Means, Fuzzy c-Means and Gaussian Mixture Model by the Kolmogorov–Nagumo...

Clustering is a major unsupervised learning algorithm and is widely applied in data mining and statistical data analyses. Typical examples include k-means, fuzzy c-means, and Gaussian mixture models,...

www.mdpi.com

1

14

113

A. Okuno

@public_aokn

1 month

授賞式+受賞講演でした．ご推薦頂いた先生方，ご審査頂いた先生方，および共同研究でいつもディスカッションにお付き合い頂いている皆様ありがとうございました．

1

5

107

A. Okuno

@public_aokn

3 years

偉大なラボは何かしら頑張れば解けて拡張性のある金脈を持っている，ので今自分がやるべきは単発の問題の解決ではなくて今後継続的に掘れる鉱脈を見つけることだと思っているもののこれは結構難しい．一時的に生産性ゼロになる覚悟が必要で，でも多分鉱脈を整地できる時間は人生にそう何度もないと思う

0

14

106

A. Okuno

@public_aokn

4 months

研究所の人々がやっていることを数式なしで説明する会をやることになり，色々説明に苦心しているのだけれどもそこそこ苦労し��いるのが①表現能力の高いモデルはなぜ低いモデルより悪くなりうるのか(なぜモデル選択が必要なのか)，と②なぜ一般に離散最適化は連続最適化より解きにくいのか，の2つ．

1

13

105

A. Okuno

@public_aokn

11 months

多重共線性，究極的には特異性の話なので共変量間に「そこそこ相関がある」と「完璧な線形関係がある」には深い溝があって，前者ならnを増やすごとに中心極限定理が働いて安定していくだろうけれど，後者ならむしろnが増えるほど解の不安定性が増していく(特異点に近付く)みたいなイメージを持っている

1

14

102

A. Okuno

@public_aokn

2 years

統計、これをやっては駄目だみたいな事は比較的簡単に指摘できるけど、これをやれば良いみたいな話はまるで分からない

0

13

98

A. Okuno

@public_aokn

9 months

こんなの出てたんですね

Handbook of Convergence Theorems for (Stochastic) Gradient Methods

This is a handbook of simple proofs of the convergence of gradient and stochastic gradient descent type methods. We consider functions that are Lipschitz, smooth, convex, strongly convex, and/or...

arxiv.org

1

21

102

A. Okuno

@public_aokn

6 months

あんまり他で紹介されているのを見たことがない，個人的に結構好きな本です．スパース系の和書って案外少なくて，その中で理論にもアルゴリズムにも触れているものはさらに少ない．

0

10

99

A. Okuno

@public_aokn

3 years

複素ニューラルネットの論文解説が回ってきて，新しいテクニックだみたいなこと書かれていたけれど少なくとも数十年前の本には載っているし時代が巡っている(というよりこのレベルのmodificationを誰もやってないわけがない)．もちろん四元数ニューラルネットも八元数ニューラルネットもあったはず．

2

26

97

A. Okuno

@public_aokn

6 months

今日は(複雑なアルゴリズムを介して大変な計算をすることで)何かやってる風になって結構いい雑誌に載っているアルゴリズムを読んでたんですが，普通にグリッドサーチした方がよくないかとやってみたら何百倍も早くて，これが博士(情報学)の力だと一人で悦に浸っていた

1

11

96

A. Okuno

@public_aokn

3 years

最低でもルベーグ積分の基礎の基礎くらいはできないと現代的な解析はほぼ不可能だけど，ルベーグ積分を持ち出さないとできないような細かい話は実応用にはあんまり関係ない気もしていて，余計なツールを学ばずに重要なところだけ攻めるみたいな姿勢もかっこいいと思います（それができる人に限る）

0

14

93

A. Okuno

@public_aokn

3 years

行列分解とテンソル分解周りは完全に魔境で，論文がありすぎるので（部分的に）状況を把握してる人はそれなりに居るだろうけれど本にまとめようというパワフルな人が存在していないのが現状という印象はあります(Cichocki et al. も相当に古い・・・）

1

17

92

A. Okuno

@public_aokn

5 months

線形手法をカーネル化することで論文を無限に書けるのと同様に，今後もMLPをKANにすることで論文が書ける的な話が無限に展開されそう（歴史は永遠に繰り返す）

0

13

91

A. Okuno

@public_aokn

1 year

統計って結局本質的に解けそうな問題が解ける（+抽象化のご利益で人間の脳内メモリに乗り切らない規模を処理できる）以上のこと少ないので，他人の話を聞いてこれはまぁ解ける問題だよねとか，無茶な仮定に逃げてるよねとか，そういう感覚を養うのが一番重要で細かい調整はまぁ…という気がしている

1

18

91

A. Okuno

@public_aokn

15 days

めちゃくちゃ良いことばかり書いてあるので，全研究者必読という感じです．小手先の技術ばかり解説されがちな中，戦略的にきちんと正面からどうにかしようという感じが特に…

佐藤竜馬 / Ryoma Sato

@joisino_

16 days

機械学習若手の会 #YAML2024 での招待講演『研究の進め方ランダムネスとの付き合い方について』のスライドを公開しました

0

413

2K

0

20

91

A. Okuno

@public_aokn

2 months

情報・データサイエンスに強い大学みたいな話が流れてきていろいろ思うところはあったんですけど，統計っぽいことをやりたいのであれば伝統ある関西の大学は阪大・広大・九大ですし，今ではもちろん滋賀大が凄いし，東大京大以外にも色々あるよということだけ

3

10

81

A. Okuno

@public_aokn

3 months

論文を読むスピードみたいな投稿が流れてきて，雑誌とかどれくらい深く読むかで全然違うし何本読んだとか実際何も意味ないんですが（そういうことを悟ったりマウントを取られたとき精神に影響を受けないためだけに）1週間で100本読むみたいな荒行を修士で一度やっておくとワクチン的な効果があります

0

15

80

A. Okuno

@public_aokn

1 year

博士号持ってて並列計算の実装に自信あって統計とか機械学習分野の研究に興味ある共同研究者を永遠に募集してるけど，そんな人はとっくに100億倍の給料を貰って楽しくやっている

0

22

76

A. Okuno

@public_aokn

3 years

多様体学習（の主に実用的な部分）を学ぼうとして多様体を学び始めるのは悪手なので，人生が1000年くらいある人以外にはあまりお勧めしないコース

0

18

76

A. Okuno

@public_aokn

8 months

明日のスライド (学際なので背景説明多め)

slides_okuno.pdf

Shared with Dropbox

www.dropbox.com

0

12

78

A. Okuno

@public_aokn

9 months

昨年書いた論文の実装として，好きな密度関数を入れると自動で冪密度ダイバージェンスを最小化してくれるRパッケージ sgdpd を公開しました．いろいろ試行錯誤中のベータ版ですが，歪正規分布くらいの簡単な密度推定なら1行でモデルを書いて1行で最適化できます．

1

12

76

A. Okuno

@public_aokn

3 years

ML論文はどこまで豪勢な嘘でないタイトルをつけられるかのチキンレースが裏で走っているイメージですが，ルールを知らない人が禁忌を犯している例が散見されて試合ルールの明文化が必要なのではとは思っています（all you need系は容易に反証されうるので最初から禁止すべきではなど）

0

11

75

A. Okuno

@public_aokn

2 months

私費購入させていただいています

1

6

77

A. Okuno

@public_aokn

3 years

昨今のML，幾何系の人が来ると無限に活躍の余地がある気がしています．一方で解析系はあまりにも親和性が高すぎて，やたらと難しくする方向に活路を見出しがち．

3

14

74

A. Okuno

@public_aokn

4 months

最近手法も含めていろんな分野の人と共同研究が立ち上がっているのだけれど，実際のところだいたいの話が最終的にスペクトルの解析（時系列）かクラスタリング（教師なし学習）になる... 時系列も結局最終的にクラスタリングするので最後は全部クラスタリングになってる説はある

1

7

75

A. Okuno

@public_aokn

2 years

先日結婚しました．異動はありません．（FBとの二重投稿）

11

0

76

A. Okuno

@public_aokn

7 months

確率的にロバストダイバージェンスを最小化する論文がAnnals of the Institute of Statistical Mathematicsに採択されました英語論文の採択15本目で，初めての単著です

Minimizing robust density power-based divergences for general...

Density power divergence (DPD) is designed to robustly estimate the underlying distribution of observations, in the presence of outliers. However, DPD involves an integral of the power of the...

arxiv.org

1

8

74

A. Okuno

@public_aokn

2 years

特異値分解がexplicitに計算できるのってかなりすごいことだと思っていてこれが計算機で解けない(implicitな形でしか得られない)ものだったならいろんな技術はここまで発展しなかっただろうなと思うのだけど，実際なかったらなかったで別のテクニックが発展していたのだろうか・・・

0

20

74

A. Okuno

@public_aokn

5 years

一様ランダムに初期化されたNNは訓練なしでも訓練後のオリジナルNNとcompetitiveな性能を出せるsubnetworkを含むこと (stronger lottery ticket hypothesis) を理論的に示した論文．積分表現論?でもありましたが，NNは中間層の重みの分布と出力が対応するので，(続)

Proving the Lottery Ticket Hypothesis: Pruning is All You Need

The lottery ticket hypothesis (Frankle and Carbin, 2018), states that a randomly-initialized network contains a small subnetwork such that, when trained in isolation, can compete with the...

arxiv.org

1

18

73

A. Okuno

@public_aokn

4 months

最近統数研に入ったバリバリの若手研究者が(いくつかの研究について)ゴールポストをずらしていると評していて，非常に納得感があったのだけれども，分野の歴史が長くなるとずらされたゴールポストが標準的になりすぎて，最初にやりたかったのはなんだったのかという1番重要な情報が消失することがある

0

11

74

A. Okuno

@public_aokn

11 months

論文1〜2本書くと飽きて別のテーマをやりたくなってしまい，何でだろうと思っていたけど，私の興味が研究対象そのもの(統計)ではなくて別分野の飛び道具で別分野の問題を解く行為そのものにあるからではというメタ的な理解があった

1

8

73

A. Okuno

@public_aokn

3 years

昨今のML論文無限連投は異常というか，世の中に手法はそんなに要らないでしょみたいな気持ちにはなり，最近はどちらかと言うと既存法をどううまく使い回すかとかどういう挙動をするのかみたいな感じでやっているけど，ウケは悪いし何かしら提案法を作るほうが書きやすいみたいなのはある

1

4

71

A. Okuno

@public_aokn

3 years

Non-convexで気持ち悪いので凸緩和みたいなものが無限に提案されているのだけれど，実際使ってみると緩和した時点で性能ガタ落ちもよいところだし，変に理論的な綺麗さを求めるより1000回ぐらい初期値ガチャを引いて神に祈るほうが好ましい（みたいなことが多い）

1

13

72

A. Okuno

@public_aokn

3 years

はかせの指導で博士になりました

0

10

70

A. Okuno

@public_aokn

1 year

絶対値で損失作って回帰するときの実装とか計算的な面倒臭さが(以前だと)全然違ったけど、今となってはどっちも同じでoptimizerに投げるだけじゃん、とかになるとなんで2乗なんですかみたいな疑問は普通に生じそう

1

16

68

A. Okuno

@public_aokn

2 months

院試のツイートで思い出すシリーズですが，学部生のときに勉強会を立ち上げて過去問の回答集（非公式）を製本までしたんですよね．引っ越しで実物は失くしてしまったけどデータだけいろいろ残ってました．何人かでこういうのやってたときが一番楽しかった．

1

5

67

A. Okuno

@public_aokn

11 months

特に統計はそうだけど，手法研究をするときはxxx法じゃ駄目なんですかという問いへの回答を常に考えておくべきではあり，特に手法拡張がスタート地点だとこのあたりが破綻しがちな気がする

1

4

65

A. Okuno

@public_aokn

3 years

最近初めて(構成までコメントをくれる)最上位プラン使ったけど，査読もどきみたいなのが返ってきて我々の査読は無償奉仕，このレビューは10万円超…みたいなのを考えてしまった(普段の英文校正では何も思わないので不気味の谷現象っぽさがあった)

0

10

63

A. Okuno

@public_aokn

7 months

3月1日付けで改組があり，ここになりました．伝統をやっていきます．

0

2

65

A. Okuno

@public_aokn

10 months

今日もクラスタリングの相談を受けました．クラスタリングとはつまり類似度をどう定義するかが本質的で，どのデータとどのデータが同じで，どのデータとどのデータが違うものだと（ドメイン知識で）判断されるべきなんですか？みたいなことを尋ねるまでがテンプレ化している

1

9

64

A. Okuno

@public_aokn

6 months

最近ちょくちょく論文解説(jxiv)を読みましたと反響をいただいています．やはり日本語だと読みやすいらしい．このくらいの文章であればほぼ負荷なしで書けるので，今後も続けようと思います．

0

8

64

A. Okuno

@public_aokn

3 years

統数研の矢野さんとの共同研究をarXivで公開しました汎関数分散 (a.k.a. 情報量規準WAIC) は主にサイズ固定のモデル (e.g., ランク縮小回帰) で研究が進められていますが，これをNNみたいなoverparameterized modelに適用したらどうなるんだろう…？というお話です．

A generalization gap estimation for overparameterized models via...

This paper discusses the estimation of the generalization gap, the difference between generalization performance and training performance, for overparameterized models including neural networks....

arxiv.org

2

11

63

A. Okuno

@public_aokn

6 months

p値等の説明など鬼の首を取ったように糾弾するのは歴史の繰り返しで不毛すぎるので，誰かが全方向に非常に考慮された説明を短めのURLで公開して，質問を受けると同時にURLを暗唱して知識を共有するみたいなのはダメだろうか．

1

9

64

A. Okuno