べいえりあ @mr_bay_area Twitter profile

Pinned Tweet

べいえりあ

13 days

自分が思い描く最強のアイドルがここにあった…

【PiXMiX】「キミシラユキ」LIVE Video（from PiXMiX 6th Anniversary LIVE 〜START〜）

▼streaming&DLhttps://lnk.to/PiXMiX_Music💐和泉芳怜卒業ライブ「PiXMiX 7th Anniversary Live 〜 KAREN 〜」日程：2024年10月21日（月） OPEN 17:00 / START 18:00会場：Spotify O-EAST◆チケット一般発...

www.youtube.com

0

2

Last Seen Profiles

@nestealemontea

@pierdzimir

@EmilyWebbRHP26

@ZucatelliD

@Indialuci_cd

@Eric46014661525

@TR0709G0816

@luke_bryan41912

@ToP4U_84

@lmaz_ld

@WarriorVixie

@stw_pdg

@clockwork_ramm

@AiTakisawa69746

@PriyaYoutu18231

@mirafan_info

@kaede331a

@kodi_stau

@EstelaV20942634

@Nylonfriend

@NyAParejaNueva

@Brz_Alz97

@JoeJoe74330828

@samirolife75

@ArchieMinaj

@abUSEme666

@zenaaliyah

@mustafasapmaz8

@masonsherrill22

@drunkpainter23

@UWS_PGR

@Whyes

@mana1968730

@BostockSummer

@HeixinVT

@weilzbaw

べいえりあ

@mr_bay_area

4 years

トランプ氏のTwitterアカウントが永久凍結されてしまったようなので、ここで改めて彼の良ツイートを共有しておこうと思う。

47

11K

41K

べいえりあ

@mr_bay_area

4 years

英語、「話せないと死ぬ」みたいな環境に身を置くのが一番上達する気がしていて、自分はアメリカでの博士課程で英語話せないのに授業を持つことになって、当然ながらあまり授業上手くできずアメリカ人にブチ切れられ、めっちゃ泣きながらも頑張った時期が一番英語が上達した気がしている。

20

1K

12K

べいえりあ

@mr_bay_area

2 years

三角関数不要論が話題になる度、高卒から34歳で高校数学をチャート式から始めて、今は40代半ばでアメリカのトップスクールの自然言語処理の博士課程にいるアイツを思い出してしまうので、高校で何を習うかなんて比較的些細な問題で、大切なのは学びを止めないことなんだと思ってしまったりするよね☺️

26

1K

6K

べいえりあ

@mr_bay_area

4 months

10年くらい前にめちゃ性格の悪い友人（注：仲良しです）が口だけの人を避難するのにとても特徴的な言葉を使っていて、その言葉を思い出せずかつ調べてもなかなか見つからなかったのだけれども、最近ようやく見つかった。"Say-Do Ratio"（宣言したことと実際に行ったことの割合）だ。

2

840

6K

べいえりあ

@mr_bay_area

4 years

何かを始めるのに「遅すぎる」ということはそんなに無いというか、自分の周りでNLPで世界的に活躍してる人々は、28歳で数学が分からんと言って多変数関数の微分積分の授業とってたり、35歳でチャート式で数学勉強してたりなので、みんな年齢を言い訳にせずにどんどん挑戦してほしいという思いがある。

6

1K

6K

べいえりあ

@mr_bay_area

5 months

以前、自分が人類で一番頭が良いと思う方に「研究室行っても作業は進まない。研究室は雑談しに行くんですよ」と言われたのが出社 vs リモート論争の本質だと思ってて、「作業」は邪魔されないリモートの方が進むのだけれども、オフィス行って雑談した方が「非連続な何か」は生まれやすい印象がある。

2

1K

6K

べいえりあ

@mr_bay_area

7 months

ワイ、20代後半は大学院でずっと虚無と戦っていてプログラミングなんてやったこと無かったし、何なら世の中には32歳高卒TOEFL14点から前進し続けて今や年収5000万超（推定）の機械学習エンジニアニキもいるので、20代で絶望してんじゃねえ人生は30代からでも始められるんだよという思いがある。

21

634

6K

べいえりあ

@mr_bay_area

4 years

コロナの感染者数、割と「理論通り」の動きをしているにも関わらず、特に政治家の皆さんがある閾値を超えると突然慌て始めるのが全然理解できなくて、今の値ってここ数週間の動きを見れば理論的には大変尤もらしい値だし、人類に微分方程式の解への理解を求めるのは無理なのではという気がしている。

18

2K

5K

べいえりあ

@mr_bay_area

2 years

何をやるにしてもまずは知識を身につけることが重要で、その分野で有名な本はとりあえず「全部」読めと思うし、自分が「強い」と思う人々は大体それをやっているし、みんな全然本を読んでないのでそれをやっただけでも割と抜きん出た存在になれるという印象を持っている。

0

776

4K

べいえりあ

@mr_bay_area

4 months

自分も昔は「超絶頭の良い人が行う完璧な意思決定」みたいなものに憧れていたのだけれども、超絶頭が良かろうがそうで無かろうが人類は結構間違えるものなので、完璧な正解を目指すよりも誤りから最大限のものを得られることを目指した方が良いんじゃないか？と考えを変えたというのはある。

5

502

3K

べいえりあ

@mr_bay_area

3 years

音楽業界、こういう人々を絶対に許しちゃいけないし、ちゃんと業界内で声をあげてほしいという思いがある。 #NAMIMONOGATARI

25

1K

3K

べいえりあ

@mr_bay_area

3 years

地位が高い人ほど自分で意思決定を行わなければならないので知識が必要だと思うのだけれども、多くの人はどこかの段階で知識の更新を止め、サンプル数の少ない「自身の経験」で知識不足を補い始める印象があり、そうならないように気をつけたいと思う今日この頃。

2

495

3K

べいえりあ

@mr_bay_area

1 year

32歳高卒TOEFL14点で渡米し、高校数学から分からんのでチャート式から始めて、8年くらいかけてアメリカのトップスクールのCSの博士課程に入学した例のヤバい人、40代半ばで遂に博士とったらしいのだけれども、感想聞いてみたら「博士とっても何も分からんことだけ分かりました」で、最高にロック☺️

5

312

3K

べいえりあ

@mr_bay_area

3 years

自分が社会に出て驚いたこととして、「自信」というものが異常に重要視されるというのがあって、自信なんて普通に議論の正誤が判断できる人間からすれば何の価値も無いと思うのだけれども、自信を持って喋ると信用されるし、自信無さげな人は気持ち悪がられるし、何なんだこれはと思った記憶がある。

5

729

2K

べいえりあ

@mr_bay_area

3 years

大学院時代、自分がすげえ頭が良いと思ってる複数の人々が「勉強しても使わなければすぐ忘れるので、使わないものは勉強しないことにしている」と言ってたのが割と印象に残っているし、少なくとも自分はそれは割と正しいと思っている。

1

373

2K

べいえりあ

@mr_bay_area

4 years

G○○gle、チームによって機械学習のレベルは全然違うし、何億回説明してもテストデータを学習データにリークさせるようなチームもあって機械学習ちゃんとやってきた新入社員にブチ切れられたりもするので、「G○○gleの機械学習」として一纏めにするのは大変良くないという思いが強い☺️

2

421

2K

べいえりあ

@mr_bay_area

4 years

日本、医療AIなんかやるよりもまずは電子カルテの規格を標準化したり使いやすくする方が遥かに重要かつ有益なのではないかということに最近気づき始めてる☺

18

646

2K

べいえりあ

@mr_bay_area

4 years

自分は機械学習を学びたい全ての人類に（CourseraのAndrew Ngのコースをやった後に）Andrew NgのStanfordのCS229の講義を見ることをオススメしてるんですけど、その講義の2018年度バージョンが公開されてる。自分が今まで見た機械学習の講義の中で最も良いものだと思う。

Stanford CS229: Machine Learning Full Course taught by Andrew Ng | Autumn 2018

Led by Andrew Ng, this course provides a broad introduction to machine learning and statistical pattern recognition. Topics include: supervised learning (gen...

www.youtube.com

2

356

2K

べいえりあ

@mr_bay_area

1 year

Google（本社）についてとても良いと思ったところとして、「どんだけ優秀な人でもハラスメントなどのヤバいことをするとあっさりクビになるし、むしろ地位が高い人ほど正しい行いが求められる」というところで、自分に関わりがある範囲内でも偉い人が二人くらいmisconductでクビになった気がする☺️

3

276

2K

べいえりあ

@mr_bay_area

3 years

ニューヨーク大学データサイエンス学科による「機械学習に必要な数学」の講義が一般公開されている。自分は「機械学習やりたいんですが、数学は何をやればいいですか？」というのをよく聞かれ、かつ回答に困るのだけれども、これからはこれをすすめていきたい☺

2

369

2K

べいえりあ

@mr_bay_area

4 years

基礎を復習するのに遅すぎるというのは無い気がしていて、自分の修士時代の数学科卒のクラスメイトは修士なのに学部レベルの多変数関数の微分積分の授業とってたのだけれども、そいつは今はMITで助教やってるので、恥ずかしがらずに分からなかったら基礎に立ち返るのが大事だと思っている。

0

311

2K

べいえりあ

@mr_bay_area

4 years

「コンサルって人にアドバイスする仕事ですよね？何で大学出たばっかりの人がやってるんですか？」って聞かれて、「マジ何でやろうな☺」と答えたのが今日のハイライト。

6

372

2K

べいえりあ

@mr_bay_area

1 year

プロンプトエンジニアリング、訳の分からん人のポエムよりも公式の話を聞いた方が良いと思うので、公式のベストプラクティス集を貼っておく。ちょっと古いけど未だに有用そうなテクニックが多いのと、community forumのリンクもついてるので、それ見ると捗りそう。

Best practices for prompt engineering with the OpenAI API | OpenAI Help Center

How to give clear and effective instructions to OpenAI models

help.openai.com

1

289

2K

べいえりあ

@mr_bay_area

4 years

「研究チームの皆さんってどんなことやってるんですか？」と日本の企業の人に聞くと「最新の論文読んで勉強してます！」と言われることが多いのだけれども、それは研究じゃねえ新しいものを作れ論文出せ、あと紛らわしいから「研究チーム」じゃなくて「勉強チーム」と呼んでほしいという思いがある。

0

373

2K

べいえりあ

@mr_bay_area

2 years

最近、機械学習を独学できてない人に結構な数遭遇しているので、おすすめの勉強法を紹介（定期）しておくのだけれども、 1. CourseraのMachine Learningの講座 2. StanfordのCS229 の2つはMLエンジニアになりたければ何が何でもやるべきだと思う。

Stanford CS229: Machine Learning Full Course taught by Andrew Ng | Autumn 2018

Led by Andrew Ng, this course provides a broad introduction to machine learning and statistical pattern recognition. Topics include: supervised learning (gen...

www.youtube.com

3

184

2K

べいえりあ

@mr_bay_area

9 months

ChatGPTが出て一年な訳だけれども、世間を見渡してみるとChatGPTを使用したサービスは驚くほど出てないし、法人向けChatGPTみたいな謎のサービスがレッドオーシャンになってて理解に苦しむのだけれども、どんな凄い技術があっても大事なのは変わらず「ユーザーの課題を解決する」ってことなんよな。

2

257

1K

べいえりあ

@mr_bay_area

4 years

理論物理みたいなめっちゃ頭の良さが効いてきそうな分野ですら、実際はちゃんと手を動かして試行錯誤する人がいい結果を出すような傾向があった気がしていて、いわんや他の分野をやという気がするので、「賢い人間」になるな、「手を動かして試行錯誤できる人間」になれという思いがある。

2

347

1K

べいえりあ

@mr_bay_area

5 months

アメリカが何故強いのかを考えた時に、普通の人の個々の能力の強さは感じない（むしろ自分は大学院時代、みんな勉強できないので若干失望してた）のだけれども、たまにすごく優秀な人がいてその人がすごいアイデアを出し、それにみんなで乗っかるので結果として実績が積まれるみたいな気配を感じる。

15

197

1K

べいえりあ

@mr_bay_area

2 years

「ギフテッド」というのが話題になってて、ワイ割と「天才」に囲まれて育ったので書くんですけど、こういう人々は 1. 何かをやると決めた時のものすごい集中力 2. 興味がある分野への圧倒的に深い理解 3. 頭の中で考えるだけで終わらせずちゃんと手を動かすという点で共通してる印象はある。

2

217

1K

べいえりあ

@mr_bay_area

9 months

Gemini Pro APIの価格表、文字数ベースの課金なので日本語だとクソ安いというか、入力が$0.00025/1k charactersなのでgpt-3.5-turbo-1106の1/4の価格（つまり11月以前のgpt-3.5-turboの1/12）で使えて、これはさすがのワイも驚かざるを得ない☺️

Gemini API Pricing | Google AI for Developers

The Gemini API has a large free tier so everyone can build generative AI apps. Flexible pricing as your needs grow.

ai.google.dev

2

270

1K

べいえりあ

@mr_bay_area

1 year

ChatGPTで実サービスを作ろうとしてみての現時点での感想： - 0→80%を作るのは楽 - 80%以上を目指すなら専門性（ML＆ドメイン＆プロダクト）が必要 - モデルを評価する仕事は絶対に無くならない - 3.5と4は結構違う - 過度なプロンプトエンジニアリングはそのうち不要になる - 人はやがて死ぬ

2

195

1K

べいえりあ

@mr_bay_area

3 years

優秀なエンジニア、社内の禁止事項が一つ増えるたびに採用できる確率が半減し、離職する確率が倍になるということを皆さんもうちょっと認識してほしい☺

0

363

1K

べいえりあ

@mr_bay_area

10 months

ワイ、プログラミングに初めて触れたのが20代後半なので、大人になってプログラミングを始めた人々のロールモデルになれるよう頑張りたいと思っているのだけれども、身近に30代後半からプログラミングを始めてアメリカで情報系のPhDとって今Googleにいる異常者がいるので、全然色褪せてる感がある☺

3

129

1K

べいえりあ

@mr_bay_area

2 years

これミスリーディングというか、赤の破線はランダムな予測の精度なので「飽和していた精度が突然上がり始めた」という話ではなく、「データとモデルサイズを増やしたらある時点でランダムでない出力を出すようになった」という話。難しいタスクやる時の学習は大体こんな感じな気がする。

Takuya Kitagawa/北川拓也

@takuyakitagawa

2 years

ところがこの数年で研究者はびっくりする結果を目にする。なんと、計算量やデータ量を増やしたところ、完全に飽和していたと思われた精度が、ある量を境に、急激に改善したのだ。下記の図の横軸が計算量、縦軸が精度だ。まじか、とみんな思った。 4/n

5

2K

5K

3

397

1K

べいえりあ

@mr_bay_area

3 years

人類、興味を持つ分野は変わりうるものなので、いつそれが起こっても対応出来るように数学と英語は勉強しておくべきと思っていたのだけれども、よく考えると30代半ばで数学と英語始めてアメリカの理系博士課程で何とかなってる人もいるので、より大事なのは"心の炎"を絶やさないことな気がしている☺️

0

168

1K

べいえりあ

@mr_bay_area

2 years

RT、これ機械学習業界で誰でも知ってるレベルの強い人々は口を揃えて言ってる気がしていて、自分も大学院時代にクソ優秀な同級生に言われた「アイデアは安い。アイデア出す奴が偉いんじゃなくて、それをちゃんと動く形で実装した奴が偉い」というのはいつも心に留めつつ生きてる☺️

0

221

1K

べいえりあ

@mr_bay_area

4 years

GAFAの思い出を少しだけ語っておくと、本社の研究チームは一度見ておくと良いカルチャーショックを受けられるというか、日本にはほぼいないレベルのクソ強い人々が10人くらいで一つのプロジェクトに取り組んでたりするので、「あ、同じ土俵で戦ったら絶対勝てねえ☺」というのが実感できる気がする。

2

215

1K

べいえりあ

@mr_bay_area

3 years

エンジニア、「日本での生活が好き」という以外で日本で働く理由が無い職業というか、給料安いし、「お前、舐めとんのか？☺」という扱いを受けることも多いので、日本からいつでも脱出出来るように英語力を身につけることがとても大事だと思っている。

3

166

1K

べいえりあ

@mr_bay_area

4 years

俺、金を稼ぐのに最適化しようとすると「GAFAのうちの2社を渡り歩いたAIエンジニアが教える、最強AI講座！」みたいな講座開いて情弱から金を巻き上げるみたいなのが良いと思うのだけれども、俺がやりたいのはそういうんじゃないんだよな。 ───直接貢献してえんだよ、人類の進歩によ☺

3

111

1K

べいえりあ

@mr_bay_area

2 years

Andrew Ngが「人間の経験のほとんどは非言語的で、元来言語だけから学べることはそんなに多くないと思われてきたが、巨大言語モデルは圧倒的な物量で学習することによって、言語だけでは学習しにくい非言語的経験もある程度学習している」的なことを書いてて、面白いですね☺

Tesla's Deceptive Demo, Image Generator Pays Artists for Training Data, and more

The Batch - AI News & Insights: Recent successes with large language models have brought to the surface a long-running debate within the AI community...

www.deeplearning.ai

1

203

1K

べいえりあ

@mr_bay_area

10 months

OpenAIが定期的に凄い飛び道具をぶっ込んでくるこの時代、大事なのは「今までやってきたことを捨てる覚悟」だと思っていて、自分がやってきたことがより強い技術に置き換えられそうだと感じた時にやるべきはXでポエムを吐くことではなく、その技術を活用する最善手を模索することなんだよな。

1

164

1K

べいえりあ

@mr_bay_area

4 years

年をとってから新しいことを始める際の最大の障害は、脳の衰えなんかじゃなくて、もう若くないからというのを言い訳にして挑戦しないお前の弱い心なんだよ☺

1

322

999

べいえりあ

@mr_bay_area

2 years

大学院留学界隈で割と多い考え方で「先人の時間を使うことを躊躇うな、そしてお前が先人となった時に同じ道を目指す人々のために時間を使ってやれ」というのがある気がしており、大学院留学に限らず難易度高いことに挑む時はとても重要な考え方な気がしていて、これ他界隈にも広まって欲しいと思う☺

0

135

1K

べいえりあ

@mr_bay_area

4 years

最近、ノイズが巷に溢れすぎていて有益な情報にたどり着くのが難しくなってる気がするのだけれども、自分が全力で推す機械学習ちゃんとやりたい人のおすすめルートは、 1. Andrew NgのCourseraのMLコース 2. Andrew NgのStanfordのMLコース 3. Kevin MurphyのMLaPP なんだよな。

4

128

1K

べいえりあ

@mr_bay_area

4 years

5年おきくらいに専門分野は変えた方が楽しい（個人の感想です）と思っていて、そして専門分野を変える時は「仕事での必要性に応じて知識を身に着けていけばいい」みたいな感覚だと永遠に素人のままなので、基本的な教科書やら文献を死ぬ気で読み込んで専門家にしか出せない価値を出すのが良いと思う。

2

135

986

べいえりあ

@mr_bay_area

3 years

機械学習エンジニア、基礎が出来てないと死ぬ上にその基礎を学ぶ難易度が結構高いし、最新の知識のアップデートを止めた時点でも死ぬし、にも関わらずプロジェクトの博打性が大変に高く成果が出ない時は出ないので、めちゃ大変な職業じゃないですか？？？

2

169

948

べいえりあ

@mr_bay_area

4 years

緊急事態宣言でみんな病みそうなので、The Science of Well-Beingで学んだ「科学的に効果が示されている幸福度を上げる方法」を挙げておく。・人と話す・適度に運動する・他人にお金を使う・時間的余裕を持つ・十分な睡眠をとる・良い経験を掘り返す・感謝の気持ちを持つ・SNSの時間を減らす

0

380

861

べいえりあ

@mr_bay_area

4 years

GAFAのエンジニア面接、コードが書けるかどうかよりとにかく面接準備をしたかどうかを問われている気がしていて、自分の大学院の同期で言うとTomとChrisが一番コード書けてコミュ力高いにも関わらず軒並み落ちたのに対し、只管にLeetCodeで練習してた人が内定貰っていて、なんだかなあと思った。

3

141

846

べいえりあ

@mr_bay_area

2 years

俺、新卒で入った会社では研究開発とかやりたかったのだけれども、「お前は優秀だからこのプロジェクトを何とかしてほしい」みたいなことを言われ研究要素何もない炎上プロジェクトにぶっこまれてブチ切れて辞めたみたいなところがあり、この記事にはとても共感できる☺

3

215

827

べいえりあ

@mr_bay_area

3 years

タリバンが博士号など無価値と言っているようだけれども、日本だと博士号はマイナスだし、俺の博士号取得後の日本での就活のアレなエピソード、聞きたい？☺️

3

179

812

べいえりあ

@mr_bay_area

4 years

Andrew Ngなど機械学習・AI業界の著名人が挙げる「絶対に読むべき13の機械学習・AI論文」がまとめられている。Andrew Ngが薦めてる、医療画像からの病気の検出で深層学習と人間のパフォーマンスの比較についてレビューしてるやつは俺も読みたい。

AI Paper Recommendations from Experts

We reached out to further members of the AI community for their recommendations of papers which everyone should be reading! All of the cited papers are free to access and cover a range of topics from...

blog.re-work.co

1

165

806

べいえりあ

@mr_bay_area

3 years

日本社会ですげえ嫌だと思ってることとして、会社などで若手だったり特にインターンなどを「子」と呼ぶ人が結構いるということがあって、個人的にはめちゃくちゃ失礼だと思うし、「プロフェッショナルな場ではみんな等しくプロフェッショナルとして扱えよ☺」という思いが大変に強い。

2

114

757

べいえりあ

@mr_bay_area

2 years

Stanfordの機械学習のシステムデザインの講義ノート＆スライドが公開されている。

0

113

759

べいえりあ

@mr_bay_area

4 years

ちなみに一番駄目だったクラスの直後に統計力学の授業があったんですけど、一番後ろの席で泣きながら呪詛を唱えるやべえ奴やってたことを記憶してる☺

0

58

719

べいえりあ

@mr_bay_area

3 years

機械学習、大切なことは全てAndrew Ngが教えてくれるので - AI for Everyone - Machine Learning - Deep Learning Specialization（以上全てCoursera） - StanfordのCS229 をやれば産業界では「MLの専門家」を名乗って良いというか、逆にこの辺をちゃんとおさえてる人は驚くほど少ないと思う。

べいえりあ

@mr_bay_area

3 years

CourseraのAndrew Ngの深層学習コースにML Strategy (2)というセクションがあるんだけど、そこの最初のトピックが・エラー分析をやれ・ラベルが間違ったデータを綺麗にしろ・最初のモデルは素早く作り、そしてイテレーションを重ねろなので、ここだけでも全人類見るべきという思いがある。

0

58

470

0

89

702

べいえりあ

@mr_bay_area

2 months

Microsoft、以前にAI倫理チームをレイオフするという悪のムーブで話題になったけど、今度は多様性のチームをレイオフするという悪ムーブしてて笑顔になってる☺️

IGN

@IGN

2 months

Microsoft is reportedly shuttering a major diversity, equity, and inclusion team, according to an email sent by the team’s leader to a number of staff last week in which they state that companies no longer see DEI programs as "business critical."

2K

634

6K

0

269

694

べいえりあ

@mr_bay_area

10 months

Andrew Ng先生のGenerative AI for Everyone観てるんですけど、一週目終わった段階で「これだけ観とけばその辺に転がってるChatGPT本全部いらなくなるのでは…？」という程度にはいろんなユースケースが分かりやすくカバーされてる☺

1

65

682

べいえりあ

@mr_bay_area

2 months

LLMでソフトウェアエンジニアがいらなくなるだのシンギュラリティだの言われる中、OpenAIのナンバー2が日々プログラミングと格闘してるポストしてるの、趣がある。

1

101

684

べいえりあ

@mr_bay_area

4 years

GAFAのエンジニアの新卒採用で一番辛いのは面接まで辿り着くことで、基本的には内部推薦が無いと面接に呼ばれないので、中に「友達」がいない人種的マイノリティはここでとても苦戦することになる。内部推薦についてはモラル崩壊してる気がしていて、ただの「友達」を推薦する人が結構いる印象。

2

113

637

べいえりあ

@mr_bay_area

2 years

数学を勉強する際に「理解する」と「慣れる」を切り分けた方が良いというか、使う分には慣れて、何となく分かった気になって、��つ計算が出来ればそんなに問題は無くて、難し過ぎる数学については無理に理解せずとも「慣れ」で妥協するのが良い気がしている。（物理出身者っぽい感想）

8

72

631

べいえりあ

@mr_bay_area

1 year

機械学習を教えることに関しては世界一だと思われるAndrew Ng先生が、OpenAIとタッグを組んで開発者向けの無料のプロンプトエンジニアリングのオンラインコースを開講。1.5時間くらいの短いコースだけれども、LLM/ChatGPTを用いたアプリを作る上でのベストプラクティスが学べるとのこと。

Andrew Ng

@AndrewYNg

1 year

1/ Thrilled to announce: Our new course ChatGPT Prompt Engineering for Developers, created together with @OpenAI , is available now for free! Access it here:

543

5K

18K

0

93

646

べいえりあ

@mr_bay_area

1 year

GPT-4のアーキテクチャが流出してるの、この件に限らず多くの人が関わってる重要な情報は一部界隈には流れているものだと思っていて、逆にその界隈に入ってないと情報が入ってこないので戦えないというのは昔研究やってた時に学んだよね☺️

1

88

635

べいえりあ

@mr_bay_area

2 years

俺、総じて「Andrew Ngの講義を一通りやれ」と「INSPIRED読め」しか言ってない気がするのだけれども、それやれば戦えるのにみんなビックリするくらいそれをやらないんよな☺️

2

52

638

べいえりあ

@mr_bay_area

4 months

AIをやる上で最も大事なこと、いろんなLLMに触れることでもコードが書けることでもなく、「Precisionとrecallという概念を理解すること」だと思っており、これらが分からないと応用を考える上で話にならないという思いがある（にも関わらず分からない人が結構いる）

2

66

635

べいえりあ

@mr_bay_area

1 year

LLMの学習にRLHFが何故必要なのかは専門家も割と疑問に思ってる印象で、それに対するYoav Goldbergによる一つの回答。短くまとめると、「LLMが何を知っているかを知らない状態で『LLMに知らないことを知らないと答えるよう学習させる』のが教師あり学習では不可能だから」。

rl-for-llms.md

GitHub Gist: instantly share code, notes, and snippets.

gist.github.com

1

111

628

べいえりあ

@mr_bay_area

3 years

前ツイートでAndrew Ngが「成果目標と同時にプロセス目標を立てると良い」と書いていて、成果目標は様々な要因で達成できないこともあるけど、「自分がやりさえすれば出来る」プロセス目標はモチベ保ちつつ成果に近づくのを助けてくれると思うので、新年の目標立てる際など参考にしてほしい☺

1

103

626

べいえりあ

@mr_bay_area

2 years

機械学習、アルゴリズムの勉強も重要なのだけれども、実務をやる上でそれと同じくらい重要なのがプロジェクトの効果的な進め方を知ることで、特に「最初から完璧は目指さず、初手は問題絞って出来る限り簡単なモデルを最速で作る」というのはMLエンジニアを目指す人は毎日就寝前に唱えてほしい。

1

85

620

べいえりあ

@mr_bay_area

3 years

少し前に友人と話していて「『初手で頭を使うな、まずは先人に学べ』というツイートがぶっ刺さったし、そうしていれば時間を無駄にせずに済んだ」と言われたので繰り返しておくと、複数の経験者の意見は総じて一生懸命考えた未経験のお前の意見より正しいので、まずは先人に学べという思いがある。

1

90

618

べいえりあ

@mr_bay_area

4 years

自分が博士で学んだこと、 - 世の中、凄い奴がたくさんいる - そんな凄い奴でも知らないこと、間違えることはあるので、専門を極めれば自分でも出来ることがある - 知らないことも一年全力で勉強すれば何か出来る - 頭よりもまずは手を動かすのが絶対的正義あたりで、専門知識とは？って感はある。

1

102

591

べいえりあ

@mr_bay_area

3 years

機械学習プロジェクト、「ユーザーにどう使ってもらうか」がめちゃくちゃ重要な気がしていて、機械学習よりもむしろUIやUXの方が重要なんじゃないかと思いつつある。

2

69

554

べいえりあ

@mr_bay_area

10 months

オープンソースLLM界隈がようやくGPT-3.5に追いついて勝利の余韻に浸ってるところに、GPT-4を実用レベルの推論速度まで落としてぶつけてくるOpenAIさんマジOpenAIさんという気がするし、先を走ってる奴は別に止まってるわけじゃなくて、むしろもっと速く走ってるから先にいるんだよな。

1

105

557

べいえりあ

@mr_bay_area

1 year

自分もよく使ってるテクニックなのですが、ChatGPTがなかなか言うことを聞いてくれない時、ChatGPTに「その出力を出した理由」を聞いてみるとプロンプトのデバッグが捗るぞ、という緩めの話を記事にしてみました。よろしゅう☺️

ChatGPT時代の開発テクニック①: ChatGPTにエラーの原因を語らせよう｜べいえりあ

こんにちは、IVRyでAIエンジニアをやっているべいえりあです。今回は自分が最近使っているChatGPTのプロンプトの改善方法について書いてみようと思います。皆さんはChatGPTのプロンプトをいじっていてなかなかChatGPTが言うことを聞いてくれないという事態に遭遇したことはないですか？本記事を読めば、そんな時にChatGPTに言うことを聞いてもらえるプロンプトが素早く見つけられるよう...

note.com

0

88

546

べいえりあ

@mr_bay_area

2 years

日本の会社のエンジニアの給与がまとまってるサイト見つけた。パッと見た感じ、GoogleとIndeedが高い。

企業一覧

日本の企業で働くソフトウェアエンジニアの年収を検索＆比較。

opensalary.jp

0

99

548

べいえりあ

@mr_bay_area

3 years

INSPIREDというプロダクトマネジメントの本にも書いてあるんですけど、エンジニアというのは「コー��を書く人」ではなく「技術で問題を解決する専門家」なので、エンジニアに何かを相談する際は「問題の解決策」を持ってくるのではなく、「問題」そのものを持ってきて欲しいという思いがある。

0

89

542

べいえりあ

@mr_bay_area

3 years

CourseraでAndrew NgによるMLOpsの講座が開講された模様。機械学習は最近のライブラリの進展によってモデルを作るのは超簡単になったと思うのだけれども、ちゃんと本番運用しようと思うとそれが出来る人はまだ少ない印象なので、超重要なトピックだと思う。

1

96

541

べいえりあ

@mr_bay_area

4 years

新しい分野に��び込むの、最初は知識も無くて不安かと思うのだけれども、多少時間はかかっても大抵のことは正しく勉強すれば人並み以上に出来るようにはなる、という自信を持って焦らず淡々と学んでいくことが重要だという思いがある。

1

64

516

べいえりあ

@mr_bay_area

2 years

ChatGPTを様々なタスク、モダリティ、言語で定量的に評価した論文。ChatGPTがzero-shotで何がどの程度できるのか見えて面白いけれども、下のテーブルのように多くのタスクで教師あり学習のSotAには（当然ながら？）遠く及ばないので、使う際はちゃんと定量評価するのが重要。

4

115

516

べいえりあ

@mr_bay_area

1 year

勉強、基礎が出来てればキャッチアップに時間かからないと思っていて、最近のLLMも深層学習とNLP分かってれば最新の話は時間かけずとも分かるし、深層学習は機械学習の基礎が分かってればあとは積み木なので、勉強が追いつかない人は最近の話追うよりまず基礎をやるべきじゃないかという思いがある。

1

71

519

べいえりあ

@mr_bay_area

9 months

Andrew NgのGenerative AI for Everyoneが超面白かったので感想を記事にしてみました。Andrew Ngは言語化能力が非常に高いので、LLMを知らない人は勿論、専門家でもなるほどと思うことが多い講義になってると思います。ChatGPTやLLMに関わる全ての人にオススメ。

Generative AI for Everyoneから、古のNLPエンジニアの心に刺さったこと8選｜べいえりあ

こんにちは、IVRyでAIエンジニアをやっているべいえりあです。今回はタイトルの通り、Andrew NgのGenerative AI for Everyoneを見て自分の心に刺さったこと、そしてそれらについての個人的なコメントを書いていこうと思います。本記事はIVRy Advent Calendar 2023の白組の9日目の記事です。8日目は神山さんの「AIプロダクト爆誕!!PMFに向けた...

note.com

1

70

510

べいえりあ

@mr_bay_area

4 years

医療AIやってて思うのだけれども、皆さんが求めてるのはAIじゃなくて素晴らしいUIなんではないだろうか。

2

39

504

べいえりあ

@mr_bay_area

4 months

GoogleがアメリカのPythonチームレイオフしてミュンヘンでチーム作り直すっぽいという話、アメリカはSWEの給与がインフレし過ぎているのと、実際問題代替できないのはbig techでも極一部の最上位層だけだと思うので、こういう話は増えていくんかなという思い。

2

156

497

べいえりあ

@mr_bay_area

3 years

機械学習に限らないと思うんですけど、英語が読めたり聞けたりすると触れられる良質な情報が爆増するし、その流れは今後も続くと思われるので、日本を出る気無くても英語はちゃんと勉強しといた方が良いよね。

1

59

479

べいえりあ

@mr_bay_area

2 years

大学院にいた頃、結構有名な微分幾何の先生に、「Wittenでもめちゃめちゃ手を動かしてちゃんと計算してるのに、Wittenより雑魚いお前ら全人類（意訳）が計算せずに何かを理解できると思うな」と言われたのがとても印象に残ってる。むしろ学期を通じて、そのコースでそれしか記憶に残ってない☺️

0

104

473

べいえりあ

@mr_bay_area

8 months

プロンプトエンジニアリングで役立つ26原則をまとめた論文。他のベストプラクティス集と被ってはいるものの、他では見たことないものもあるのと定量評価してるのが良さそう。本題とは関係無いけど、Geminiの論文引用するだけで3ページ使ってて思わず笑顔になってる☺️

Principled Instructions Are All You Need for Questioning...

This paper introduces 26 guiding principles designed to streamline the process of querying and prompting large language models. Our goal is to simplify the underlying concepts of formulating...

arxiv.org

1

60

480

べいえりあ

@mr_bay_area

2 years

MLプロダクト、明確に「勝率を最大化する作り方」があり、以下だと思う。 1. End-to-endで動くものを最速で作る 2. 精度評価のための"適切な"パイプラインを作る 3. 目的の精度に到達するまでのイテレーションを出来る限り高速で繰り返す（これを有意義なものにするため"適切な"2を作るのが不可欠）

1

74

476

べいえりあ

@mr_bay_area

2 years

プログラミングとCSの基礎の勉強を終えたくらいのレベルの人が、深層学習／自然言語処理の研究者になるまでに勉強すべきことと教材がまとめられている。それはそうと、Jurafsky-Martinはみんな読め☺️

GitHub - ahmedbahaaeldin/From-0-to-Research-Scientist-resources-guide: Detailed and tailored guide...

Detailed and tailored guide for undergraduate students or anybody want to dig deep into the field of AI with solid foundation. - ahmedbahaaeldin/From-0-to-Research-Scientist-resources-guide

github.com

0

59

476

べいえりあ

@mr_bay_area

2 years

社会人何年かやって思うんですけど、「権力を持つ無能」と「上司へのアピールが上手くて仕事しない人」が自分の中での二大一緒に働きたくない人種で、一緒に仕事するとやる気がゴリゴリ削られていくので大変ではあるものの、こういう人々は世渡り上手いのでどうにも排除できないみたいな感があった。

2

116

463

べいえりあ

@mr_bay_area

1 year

日本は優秀な人がやらかしても皆さん全力で擁護する気がしていて、自分は結構「あれ、パワハラですよ？」とか「お前のやってること、研究不正やぞ？」とか割と率直にお伝えするのだけれども、これまでの経験だと総じてもみ消される気がしている☺️

1

69

464

べいえりあ

@mr_bay_area

3 years

最近、大抵の問題についての最適解は機械学習ではないという思いが大変に強くなっていて、更に強くなろうと思うと一旦機械学習という武器は捨てた方がいいんじゃないかという気がしている。

3

76

469

べいえりあ

@mr_bay_area

2 years

良いね。こちらの方はLeetCodeを700問解いたみたいだけど、お前は？☺️

Googleに入社します｜ばやしこ

こんにちは。ばやしこと申します。 2022年7月より、Googleでソフトウェアエンジニアとして働くことになりました。アメリカのTexas A&M大学のMaster of Computer Scienceを今年の5月に無事卒業し、卒業後の職としてGoogleからフルタイムのオファーを頂くことができました。今後Googleを目指す方の��けになればと思い、Googleからオファーをもらうまで...

note.com

0

56

464

べいえりあ

@mr_bay_area

3 years

社会には自信を持ったバ◯はウンザリするくらいたくさんいるし、自信無さげだけど良いこと言う人も同様にめちゃめちゃ多いので、自信みたいな驚くほど本質的でないものに流されるのは人生損してるんじゃないかと思いますね☺

0

134

461

べいえりあ

@mr_bay_area

3 years

CourseraのAndrew Ngの深層学習コースにML Strategy (2)というセクションがあるんだけど、そこの最初のトピックが・エラー分析をやれ・ラベルが間違ったデータを綺麗にしろ・最初のモデルは素早く作り、そしてイテレーションを重ねろなので、ここだけでも全人類見るべきという思いがある。

0

58

470

べいえりあ

@mr_bay_area

4 years

そういえば、本日からMICINという医療系スタートアップでデータサイエンティストとして働き始めました。「データサイエンティストに俺はなる！」というブログを作ってから約七年、遂にデータサイエンティストの仲間入りです。どうぞ宜しくお願いします☺

4

24

461

べいえりあ

@mr_bay_area

11 months

人類が皆事前学習済みモデルを使うようになった結果、「ニューラルネットワークの学習にはデータがたくさん必要」というのが失われた古代の知識みたいになりつつある気配を感じる。

1

82

460

べいえりあ

@mr_bay_area

3 years

日本のデータサイエンス業界、いつまでたっても「誰々がこんな講座を始めた」とか「誰々がこんな教科書書いた」的なものが話題になりがちな気がしていて、そんなんよりも「データサイエンスで世界がこんなに良く変わった」みたいな成果がバンバン出てきてほしいみたいな思いはある。

0

60

464

べいえりあ

@mr_bay_area

1 year

このスレッド、全体的に間違ってる気がしていて、その原因はベースモデルとinstruction finetuningされたモデルをごっちゃにしてる点。ベースモデルは「続きを予測するモデル」なのだけれども、instruction finetuningされたものは「続きを予測するモデル」ではないんよな。

深津貴之 / THE GUILD

@fladdict

1 year

今日、説明につかった図。

32

6K

46K

3

90

458

べいえりあ

@mr_bay_area

2 years

巨大言語モデルの凄さを一番実感してるのはNLPerの皆さんだと思うのだけれども、訳の分からん「ウェ〜〜〜イ☺️☺️☺️」みたいな人たちが世の中の期待値を上げるめちゃくちゃな発信ばかりするせいで、バランスをとるために保守的な発信以外しづらくなるみたいな不条理に直面してない？俺は直面してる。

2

127

452

べいえりあ

@mr_bay_area

2 years

以前に「うちの学科でTomとChrisが一番優秀だったのに、新卒時点ではGAFAは箸にも棒にも引っかからず、LeetCodeだけやってたよう分からん人が内定ゲットした。GAFAの採用基準はアホ」と呟いたんですけど、そのTomたちの論文がICMLでoutstanding paperに選ばれてて、その思いを強くするなどしてる☺️

0

52

444

べいえりあ

@mr_bay_area

1 year

ワイ、「大規模言語モデルは次の単語を予測するモデルです」撲滅委員会会長をやらせていただいてるんですけど、岡野原本は過度な単純化をせずに「言語モデルは文の意味を理解し、かつ文も生成できる」ということを分かりやすく説明していてとても良いと思いますね☺️

4

55

446

べいえりあ

@mr_bay_area

4 years

教科書や論文を使って勉強している際に間違ったことが書いてあっても気づけないというのは、根本的に新しいことを学ぶ姿勢が間違ってると思っていて、自分が理解できないことをそのまま受け入れちゃダメだと思うし、自分は教科書や論文を読む時常に「何言ってんだこのボケ☺」という姿勢で読んでる。

1

62

431