シェイン・グウ Profile Banner
シェイン・グウ Profile
シェイン・グウ

@shanegJP

55,333
Followers
476
Following
107
Media
808
Statuses

Gemini 1.5 Pro / Flash 非英語事後学習Co-lead @GoogleDeepMind 東京・SF。👼投資10+社。元 @OpenAI 。 英語: @shaneguML 。全て個人意見です。

サンフランシスコ・東京
Joined February 2023
Don't wanna be here? Send us removal request.
Pinned Tweet
@shanegJP
シェイン・グウ
2 months
Geminiの最新モデルが出ました!こちらからアクセスできます:…このモデルは、 の総合評価 (Overall)
Tweet media one
Tweet media two
Tweet media three
Tweet media four
7
196
778
@shanegJP
シェイン・グウ
2 years
今日の午後4時にWBSの特番でOpenAIが紹介されます。CEOのサムさんにはGPT-4の発表数日前の貴重な時間をもらいインタビューに出てもらえました。日本へのメッセージも。 ちなみにサムさん超いい人です。「シェイン、返事遅れてごめん」と忙しい中も毎回書いてくれて申し訳ないくらいです。
Tweet media one
Tweet media two
Tweet media three
Tweet media four
@wbs_tvtokyo
WBS@テレビ東京 夜10時から放送中(金曜のみ夜11時)
2 years
ChatGPTを生み出したOpenAIサム・アルトマンCEO単独インタビューの一部を無料公開します! そして、あす26日(日)午後4時からは「WBS35周年特別番組 AI 驚異の進化で一変する世界」を放送します! ぜひお楽しみに! #WBSのAI特番
3
303
923
10
725
4K
@shanegJP
シェイン・グウ
2 years
「ChatGPT・プラグイン」が出ました!ChatGPTに他のアプリ・ツールを簡単に組み込めます。しかも、ツールの解説をちゃんと書けば、学習なしでも結構使えます😇 苦手だったリアルタイム性(検索)、数学(Wolfram Alpha)などなども改善。
Tweet media one
Tweet media two
Tweet media three
Tweet media four
@gdb
Greg Brockman
2 years
We’ve added initial support for ChatGPT plugins — a protocol for developers to build tools for ChatGPT, with safety as a core design principle. Deploying iteratively (starting with a small number of users & developers) to learn from contact with reality:
234
2K
8K
5
677
3K
@shanegJP
シェイン・グウ
2 years
ChatGPT・GPT-4・ChatGPTプラグインの全てで使われてる「呪文」、そして2022年一番記憶に残った言語モデルの論文は @Matsuo_Lab 松尾研の小島君と岩沢さん @yusuke_iwasawa_ さんが見つけました。私も論文を手伝いましたが素晴らしい発見でした。 なぜこれを日本人が見つけられたか?...(次)
@jaguring1
小猫遊りょう(たかにゃし・りょう)
2 years
ChatGPTを賢くする呪文 「Let's think step by step(一歩ずつ考えよう)」の話が書かれている この呪文の発見者でもある小島武さん 「大規模言語モデルの中には直感的に答える思考法と、論理的な思考法の双方が獲得されているのではないか」
8
2K
7K
3
635
3K
@shanegJP
シェイン・グウ
1 year
OpenAIに入って3ヶ月: 1. ChatGPT組で長期研究チームの立ち上げと研究(3人集めた) 2. GPT-4へ4つ貢献(安全面、AutoGPT関連の「モデル自己評価」など) 3. 2ヶ月で「ゼロから岸田首相まで」、大きく日本とOpenAIの距離を縮めた ただOpenAIも世界も加速的に進化してる。次の3ヶ月何するか悩みます。
25
247
3K
@shanegJP
シェイン・グウ
2 years
「ChatGPT・プラグイン」ではコードを直に走らせることもできるので動画編集はもちろん、プログラミングも全てChatGPT内で完了できます。 UXの革命が起こるでしょう。マウスはもういらん。
@gdb
Greg Brockman
2 years
Plugins for processing a video clip, no ffmpeg wizardry required. Actual use-case from today's launch.
353
2K
12K
17
649
2K
@shanegJP
シェイン・グウ
1 year
変な日本語があったらDMお願いします。ChatGuPTの微調整に使います。私の前学習データは小6までの国語としゃべくり007なので🫠
@shoty_k2
しょーてぃー
1 year
OpenAI、唯一無二の「会社」 昨日OpenAIのCEOが日本政府に向けて行なったプレゼン資料が公開されてるでぇ〜 👇
Tweet media one
0
317
1K
19
341
2K
@shanegJP
シェイン・グウ
2 years
少し自己紹介。 現在: OpenAIではChatGPT開発チームで強化学習周りのアルゴリズムやインフラを書くサブチームを率いています。3ヶ月前に入社し、下に現在二人見ており、もう二人にオファーを出した所です。皆結構有名人。一応開発マネージャーですが、私も基本的にコードを書くだけです。続く…
10
262
2K
@shanegJP
シェイン・グウ
3 months
(色々人に聞かれたので) 私が起業するとしたら日本で起業します。世界の第一線で主流に活躍している日本に縁が深い「本物」の技術者と、日本の優秀だが英語などが出来ず世界で活躍できない人材を、日本の社会問題や業界改革や世界進出の為に私が繋げます。現在Google DeepMind
11
309
2K
@shanegJP
シェイン・グウ
2 years
Google「そろそろ、狩るか…♠️ 」 Googleは基本ヒソカなので、相手が熟すのを待って狩ります。ただ、Stadiaや自動運転と違って今回、検索においてはGoogleは「失うものの最小化」、Microsoftは「得るものの最大化」なので、かなり本気です。ちなみにOpenAIは「400人のゴンさん」でできています。
@Yamkaz
やまかず
2 years
【速報】Googleが、ChatGPTのライバル「Bard」を「数週間のうちに」一般公開! 公式発表を要約すると、 ・LaMDA搭載チャットAI ・目標:世界の知識,LLM,知性,創造性を組み合わせる ・Webの情報を利用し、新鮮で質の高い回答 ・一般公開前にテスターが利用 ・リプ欄に続く
Tweet media one
19
2K
6K
16
459
2K
@shanegJP
シェイン・グウ
2 years
#GPT4 出た 1. 言語と画像のマルチモーダル大規模言語モデル:「写真で一言」説明できます。論文も写真でOK。
Tweet media one
Tweet media two
Tweet media three
Tweet media four
5
600
2K
@shanegJP
シェイン・グウ
2 years
10年前、日本のロボットラボを見学時、記憶に残った言葉:「日本はルンバを作れなかった。」 ただ、それは「ドラえもんを作りたかったから。」 深層学習も同じだと思う。ImageNet、BERTも、所詮は機械学習。日本は40年前から汎用性人工知能しか見てない。故にChatGPTが強く刺さったと思う。
7
353
2K
@shanegJP
シェイン・グウ
1 year
サム来日 パート2 日本はChatGPTの使用者数では世界3位(人口で上回るアメリカやインドの次)。英語が浸透していない国でこれほどとはと、ようやく海外でも注目されはじめました。この二ヶ月間でOpenAI CEO が二度も訪問した唯一の国です。
Tweet media one
15
297
2K
@shanegJP
シェイン・グウ
2 years
4週間前、ChatGPT開発チーム2名追加(自分含む)。 2週間前、1名(神)追加。 来週、4名追加。 全員OpenAI新入社員、全員ガチ勢。アベンジャー感がすごい。臨戦モード。
6
163
1K
@shanegJP
シェイン・グウ
8 months
今日は生成AIの歴史に残る日となりました。 - Google DeepMindの100万トークン対応(GPT-4-Turboの100倍)モデル「Gemini Pro 1.5」。10,000ページ分のテキスト(音声・動画も混ぜてOK)を「同時に」処理可能。 -
9
210
1K
@shanegJP
シェイン・グウ
5 months
1/ GW是非 で"Gemini 1.5 Pro"をお試しください。このスレに色々使用例を載せます。に3日前評価がのり、 GPT-4やClaude 3と同等の世界一の性能、と同時に日本語生成も超速いです。
9
210
1K
@shanegJP
シェイン・グウ
1 year
イリアさんは最強の研究者であり、超素直で面白い人です。7年半前、私がGoogleでの最初の上司、研究のいろはを教えてくた恩師です。その時GoogleをやめOpenAIを創業したので私が彼の最後のGoogleでの弟子になります。7年の時間を経てまた彼と働けるのは最高です。いつか彼の話をしたいですね。
@jaguring1
小猫遊りょう(たかにゃし・りょう)
1 year
AI分野で特に注目されている研究者には、OpenAIのIlya Sutskever先生がいて、この約5年間の総引用���が30万件を超えている。次の研究に関わっている:AlexNet、Seq2seq、OpenAI Five 、Dactyl、GPT、GPT-2、GPT-3、Jukebox、GPT-f、iGPT、DALL-E、CLIP、Codex、GLIDE、DALL-E2、Whisper、GPT-4など)
2
80
482
5
147
1K
@shanegJP
シェイン・グウ
1 year
2022「一歩一歩考えて」を日本人の大学生が発見 2023「BabyAGI」を日本人のVCが開発 大規模言語モデルの扱いに必要なのはインプットのセンスとアウトプットへの感度。そして言語の壁、プログラミングの壁は失くなった。 日本はリープフロッグ出来ます。そして誰でもどんな学歴経歴でも参加できます。
@snakajima
Satoshi Nakajima @GraphAI
1 year
息子自慢ですが、Fastcompanyで紹介されているBabyAGI(世界初のGPTを活用したエージェント)を作ったのは私の長男です。VCなのに人工知能アプリを開発するという不思議な行動をしています。
6
130
1K
7
191
1K
@shanegJP
シェイン・グウ
2 years
「一連のシステム全体の最適化により、ChatGPTのコストを12月以来90%削減しました。これにより、私たちはAPIユーザーにその節約分を提供するようになりました。」 私がOpenAIに入ろうと決めた時ChatGPTを知りませんでしたが、この様な開発力があるオールスターチームなので入りました。
Tweet media one
3
119
1K
@shanegJP
シェイン・グウ
2 years
あざっす
@ochyai
落合陽一 Yoichi OCHIAI
2 years
まじGPT-4やべえ
0
182
2K
3
96
1K
@shanegJP
シェイン・グウ
4 months
でGoogleのGemini 1.5 Pro(5/14モデル)が日本語で世界一になりました。2ヶ月前のモデル (4/9モデル)よりかなり改善されました。4ヶ月前より私がGemini 1.5 Proの非英語事後学習の担当になり、チームの皆と一緒に改善しました (
Tweet media one
10
239
1K
@shanegJP
シェイン・グウ
8 months
日本Twitterで全然話されてないですが、元OpenAI創業メンバー、元Tesla AIディレクターのカパシーさんが今週OpenAIを退職しました。OpenAI時代は彼とは同じチームで同じ上司だったので結構衝撃です。
7
197
982
@shanegJP
シェイン・グウ
2 years
テレ東 #WBS のAI特番 での私のインタビューが30分丸々YouTubeに出ました!かなり幅広く話せました。「GPT-4発表の1日前」収録です。収録前はコーディング(OpenAI Evalsコードフリーズ前🫠)と採用面接(オファー出しました😇)などと忙しい一日でした🫠。
11
147
924
@shanegJP
シェイン・グウ
1 year
「しっかり政策をまとめ、実装していく」 日本は思慮深く・とにかく細かい慎重さを持ちながら、新しい技術や生活の便利さに柔軟で積極的。この両点で世界からの信頼はでかいです。このような唯一無二のバランサーな国なので、OpenAI CEOのサムさんがChatGPT以来最初の訪問国に選びました。
@TAIRAMASAAKI
平将明(たいらまさあき/Taira Masaaki)
1 year
#AI の進化と実装に関するプロジェクトチーム
Tweet media one
14
98
564
10
156
903
@shanegJP
シェイン・グウ
2 months
Greg, John, Peter... これでOpenAI技術リーダー達は皆居なくなった… 驚きました。 OpenAIの現社長・元CTOであり、11人の共同創業者の1人であるGreg Brockman氏が長期休暇を取ることが分かりました。 また、共同創業者でありChatGPT事後学習の主要リーダーのJohn
6
330
908
@shanegJP
シェイン・グウ
2 years
OpenAIの7年の歴史を知ってればわかりますが、近道は無かったと思う。客観的に試し尽くして積み上げた結果だと。 私は5年前にもオファーを貰ったがありますが、当時はまだまだGoogle/DeepMindなどと同じようだった。
2
103
876
@shanegJP
シェイン・グウ
1 year
AutoGPTみたいなのは一年ぐらい前から当時Google Brainの同僚だった(そして1ヶ月差でOpenAIへ入社した現同僚)デイビッド・ドーハンさんとよく話しました(彼の学会向け論文 )。 ChatGPTとプロンプトとLanguage Model Cascadeの延長線上ですが、安全面の検証を急ぎます。
Tweet media one
@bukuta_3
きたがわ
1 year
完全自動化に対応したAutoGPTが凄すぎたので共有。ChatGPTとの違いをまとめます。対話形式の中で回答を探し出すChatGPTに対して、AutoGPTは目標(ゴール)を設定したら改善案と修正をAIが自動的に行います。プロンプトを毎回入力する必要がないため、ChatGPTよりも正確に問題を解決することが出来ます
Tweet media one
Tweet media two
Tweet media three
Tweet media four
8
391
2K
4
144
827
@shanegJP
シェイン・グウ
1 year
明日の「東大×生成AIシンポジウム ・生成AIが切り拓く未来と日本の展望」で登壇します。 経歴的に場違いすぎるのですが、緊張しても皆さんの時間を無駄にするだけなので、具体的に・建設的に・現実的に生成AIと日本がどう関わっていけるかを議論したいです。
Tweet media one
9
113
831
@shanegJP
シェイン・グウ
2 years
この写真の方は私の博士号の指導教授(師匠・恩師)で、ベイズ機械学習の第一人者です。グーグルに入るのは私が早いですが、3年前に突如上司の上司になり、現在はGoogle Brainの実質上のリードをしてます。どうしましょう。
@A_I_News
人工知能・機械学習ニュース [公式]
2 years
グーグル、対話型AIを一般公開へ チャットGPTに対抗:朝日新聞デジタル - 朝日新聞デジタル
0
44
153
5
121
817
@shanegJP
シェイン・グウ
2 years
楽しい職場です。
Tweet media one
@shanegJP
シェイン・グウ
2 years
Post-trainingはある意味全ての物が通過する過程ですのでかなり面白いチームです。3ヶ月でチームは倍になりBERT、Flan、MoEなどの筆頭著者や元テスラのAI研究長も居ます。OpenAI中の多彩なチーム達「安全」「プラグイン」「コード」「数学」と密に仕事をしてます。率いるは創業者の一人のジョンさん。
1
42
387
3
129
810
@shanegJP
シェイン・グウ
2 years
この3週間、日本語でTwitterを始め、様々な人に声をかけて頂き、日本がどれくらい本気か理解しました。故に今日で「アボカド椅子」は辞めます。 日本の件はOpenAI CEOのサムさん直属で動いていて、彼は日本に深い関心を持っています。ワクワクすることをやっていきましょう。
11
45
777
@shanegJP
シェイン・グウ
2 years
私の持論は「日本人が一番AIに感動する才能を持ってるから」だと思います。「物」に「人の(ような)感動や尊敬」を感じられる才能(神道、八百万の神から?)は、ChatGPT時代に最高です。楽しみにしています。
1
229
785
@shanegJP
シェイン・グウ
1 year
公式のChatGPT iOSアプリがでました。様々なUXを試せそうで楽しみ。
@miramurati
Mira Murati
1 year
Just launched the ChatGPT iOS app! Now in the US, world soon. Android next.
491
1K
8K
16
179
767
@shanegJP
シェイン・グウ
7 months
GPU温泉求む
@afpbbcom
AFPBB News
7 months
データセンター廃熱でプールを加温🏊 環境に優しくコストも節減 英国 敷地内に設置された装置がコンピューター群が放出する熱を取り込み、25mプールを設定温度まで温める。約65%をカバーしており、ガスボイラーの使用は抑えられている。映像は2023年6月に撮影。 #SDGs
26
2K
4K
3
124
755
@shanegJP
シェイン・グウ
2 months
日本が通常運転で安心した
@micorun
ながりょー🎻🎹🎨
2 months
阿鼻叫喚の日経平均株価に猫の姿が…!
Tweet media one
416
14K
65K
3
98
744
@shanegJP
シェイン・グウ
2 years
「検索プラグイン」ではどんな資料も一瞬でChatGPTの「知識」となります。あとはChatGPTで出来る全ての事をその知識と一緒にできます。 あと、かなり過小評価されてるtext-embedding-ada-002のベクターサーチも使っているので早いしコストも安い。
5
130
707
@shanegJP
シェイン・グウ
2 years
喜怒哀楽の原理は進化論で直に説明つくんですけど、カワイイはちょっと違うと思うんですよね。知性や集団行動があるレベルにはいかないとないような感情だと思う(特に自分以外の種族や物に感じるカワイイ)。 何を言いたいかと言うと「日本のカワイイは最高」です。
@robo8080
robo8080
2 years
シェイン・グウさんが欲しいと言っていたのはこれです😁 #AI スタックチャン #M5Stack #スタックチャン
1
63
326
7
116
699
@shanegJP
シェイン・グウ
1 year
もう記事になりました。早いですね。 あまり説明できなかった「人材のインフラ」について🧵 競争力の根源は人材です。データや計算資源も重要ですが、成功させる要は人です。OpenAIの例を使って少し話したいです。
@shanegJP
シェイン・グウ
1 year
明日の「東大×生成AIシンポジウム ・生成AIが切り拓く未来と日本の展望」で登壇します。 経歴的に場違いすぎるのですが、緊張しても皆さんの時間を無駄にするだけなので、具体的に・建設的に・現実的に生成AIと日本がどう関わっていけるかを議論したいです。
Tweet media one
9
113
831
6
145
705
@shanegJP
シェイン・グウ
5 months
OpenAI最初のCOOのChris Clarkさんと今まで人事を率いてたDiane Yoonさんが離職したよう。二人とも6年以上在籍しており、無名からChatGPTを作りだした会社にしたのは尊敬しています。これでまた組織が変わりそう、良くも悪くも。
3
140
688
@shanegJP
シェイン・グウ
16 days
やはり…寿司か…
Tweet media one
@shanegJP
シェイン・グウ
1 month
シリコンバレーは寿司で生成AI技術者を釣る
5
60
319
5
150
669
@shanegJP
シェイン・グウ
6 months
AmazonやMicrosoftに負けずとGoogleも水面下で動いています(文字通り)
@itmedia_news
ITmedia NEWS
6 months
Google、日本とハワイを直結する海底ケーブル他の構築に1500億円投資
24
1K
3K
3
89
642
@shanegJP
シェイン・グウ
2 years
ある日本記者さんの言葉「日本はシリコンバレー話しすぎですか?」 私「いや、もっと”知る”べきです」 世界の情報の99%は「人の中」にあり、「能動的な会話」でしか引き出せません。日本はまず「人と繋がり」「本当に知る」から始めるべき。日本から海外を「本当に知ろう」とする人を支援したい。
@masa_zeals
Masa Shimizu / ZEALS
2 years
OpenAI、 @shanegJP さんとSFでディナー!!ホントにワクワクが半端ない!!!「昨日世界は変わった」サラッと言われた一言。OpenAIに集まるAIエンジニアの凄まじさ。僕らのポテンシャル。ホントに最高の時間でした!!やっていきます!!!
Tweet media one
0
8
252
1
93
624
@shanegJP
シェイン・グウ
2 years
ChatGPT APIとWhisper APIが公開されました。どの様なアプリを皆さんが作ってくれるか楽しみです。 ChatGPT APIの使用例やリクエストも #チャトる でお願いします。
@gdb
Greg Brockman
2 years
ChatGPT API now available, 10% the price of our flagship language model & matching/better at any pretty much any task (not just chat). Also released Whisper API & greatly improved our developer policies in response to feedback. We ❤️ developers:
68
398
2K
5
153
578
@shanegJP
シェイン・グウ
2 years
故に日本担当は残業です。ただかなり熱意と時間をかけてる残業です。過去の話はまた次回。
6
36
571
@shanegJP
シェイン・グウ
6 months
来週から久々に日本へ行きます。しばらく滞在しますので、興味がある方はDMで。ようやく話せる事が増えて来たので講演やコミュニティイベントも少しづつ参加したいです。 仕事では主にGemini 1.5の事後学習をやっています。1Mトークンとマルチモーダルはまだ世界で唯一です。
10
62
568
@shanegJP
シェイン・グウ
1 year
Code Interpreter は試行錯誤できます。コードを生成後、実行し結果を見て、再生成できるので。 能動的で自己強化学習できる汎用知能。弱音を言わず。
@fireship_dev
Fireship
1 year
ChatGPT can now run and test its own code It struggles with Regex just like biological life Only difference is that it doesn't cry and give up
Tweet media one
35
97
2K
3
89
536
@shanegJP
シェイン・グウ
1 month
Google AI StudioとGemini APIで、PDFのアップロード可能な最大ページ数を1,000ページまたは2GB(以前は300ページ)に増やしました。🗒️ 処理にはテキスト理解と画像理解の両方を使用しています(1ページにつき1画像)。
@OfficialLoganK
Logan Kilpatrick
1 month
There's a huge amount of value to be created for the world with document AI, learn more in our new document processing developer documentation:
7
8
119
0
120
532
@shanegJP
シェイン・グウ
2 years
日本で「海外」「世界」と言う言葉がチープに感じられるのは日本のエリート層が長年日本以外を本当に理解するのをやめ、自国の成功で満足してしまったからだと思います。世界の一流と繋がり、世界を理解し、世界と日本を客観的に見れたら日本はまだまだ伸びていけます。日本の強みはいっぱいあります。
1
71
489
@shanegJP
シェイン・グウ
2 years
#GPT4 出た(三度目の正直)
@OpenAI
OpenAI
2 years
Announcing GPT-4, a large multimodal model, with our best-ever results on capabilities and alignment:
2K
17K
63K
1
157
485
@shanegJP
シェイン・グウ
2 years
2022年までは「2006年から(今見れば)ショボイものの積み上げでした」(クーダ、アルゴリズム、スケーリング)。 ただドラえもんの元はもうできてしまった(GPT-3/4やChatGPTで)。ドラえもんに仕上げる、社会実装の無限の可能性を開いていく、は日本にリープフロッグのチャンスがあります。
Tweet media one
@jack_frost_will
knowri
2 years
@shanegJP めちゃ遠くしか見てない、間をすっ飛ばしてますね 何も実現できない、若しくはショボイもので終わりそうですね ITプロジェクトあるあるみたい 実はドラえもんもショボイものの積み上げだとは想像出来ないんですかね
2
3
41
2
73
476
@shanegJP
シェイン・グウ
6 months
Transformer解説ビデオで一番かっこいい。こういうのをGemini x 人で生成したいですね。
@3blue1brown
Grant Sanderson
6 months
As a preview, here's a sped-up version of one of the core scenes, though admittedly it may not make full sense without narration.
8
179
1K
1
63
473
@shanegJP
シェイン・グウ
1 year
ドラえもんはブルーオーシャン
23
32
460
@shanegJP
シェイン・グウ
2 years
ChatGPT APIの使用例。SnapChat、InstaCart、Shopifyなどが試してます。もちろん直で日本語・多言語対応です。 そしてOpenAIの最大モデルの使用料金の10分の1で使えます。会話だけでなく、「すべて」に特化したモデルで色々なアプリをお試しください。 #チャトる
Tweet media one
Tweet media two
Tweet media three
Tweet media four
6
84
459
@shanegJP
シェイン・グウ
4 months
Google検索のドンが日本でトークします。 時間と場所:6月19日、夜7時、東大 申し込み:
Tweet media one
1
89
458
@shanegJP
シェイン・グウ
2 months
日本語ではまだワイらが一位や
Tweet media one
@jaguring1
小猫遊りょう(たかにゃし・りょう)
2 months
今日、OpenAIの最新モデル「GPT-4o-latest」が業界標準のリーダーボードで1位を獲得(LMSysのチャットボット アリーナで再び1位) 公式によれば、まだ新しいフロンティアクラスのモデルではないとのことだが、地道な改善を100回繰り返すだけでも非常に大きな差になるだろう
0
37
110
2
59
458
@shanegJP
シェイン・グウ
3 months
論文が通らなくてもオープンソースする系都知事候補 "Code will be released regardless of the acceptance decision"
@annotakahiro24
安野たかひろ事務所【公式】@都知事選応援ありがとうございました
3 months
東京都知事選は、小池百合子さんに当確が出ました。 安野たかひろに投票してくださった方々、これまで応援してくださった方々、皆さまからのご期待に応えられず、チーム安野としても残念に思っております。
290
1K
21K
7
47
446
@shanegJP
シェイン・グウ
2 years
「ChatGPT開発」とは何かと言うとPost-training (後学習)の事です。ChatGPTの学習は2段階あり、最初はPre-training(前学習)と言い主にはインターネット規模の言語、コード、画像データを前から後へ「予測」し続けます。超コストと時間が掛かるステージ。学習されたモデルはBase modelと言います。
1
87
440
@shanegJP
シェイン・グウ
2 years
(ふー) 4. End-to-End OCR-QA: GPT4でかなり驚いたのは高精度OCR(光学式文字認識技術)を「自然と」習っていた事です。しかも密集している文字も高画質画像で超高精度。論文を写真で入れれば、もう内容についてQ&Aできます。までデジタル化してない資料、ビジュアルと一緒のプレゼン、全て対応。
Tweet media one
Tweet media two
1
166
431
@shanegJP
シェイン・グウ
1 year
【真の意思決定とは】ChatGPTを使い、プロンプトで過去現代全ての偉人を召還し、AlphaGoみたいに自分等でソクラテス式問答法させ、シミュレーション上一億年分オンライン強化学習で偉人達を強化し続けた先にあるものです。異論は認めない。 (冗談です。素晴らしい言葉です。)
@takuyakitagawa
Takuya Kitagawa/北川拓也
1 year
【真の意思決定とは】私の恩師である鈴木寛先生から教えてもらったこと。 AかBか、という選択肢があったとする 情報を集め、論理的に考え抜いた結果、80%の確率でAの方がよいと分かり、意思決定をする。実はこれはリーダーの仕事でなくてよい なぜなら頭がよければ誰だってできるからだ
14
253
2K
5
41
416
@shanegJP
シェイン・グウ
6 months
言わないんじゃなくて言えない。私がギリギリ言えるのはそこまでです。
@shanegJP
シェイン・グウ
6 months
AmazonやMicrosoftに負けずとGoogleも水面下で動いています(文字通り)
3
89
642
6
56
413
@shanegJP
シェイン・グウ
2 years
ChatGPT Plus、月額2,400円、「未来」を「先に」試せます。 まだ使用制限があり、全ての機能(画像など)が出てないですが、「お楽しみはこれから」です。
@Yamkaz
やまかず
2 years
ChatGPT Plusの人はGPT-4使えるよ! (4時間ごとに100メッセージ限定)
Tweet media one
Tweet media two
6
120
461
6
112
399
@shanegJP
シェイン・グウ
2 years
OpenAI日本担当になった経緯1: 自分「サムさん、日本のアーティストパネーですよ。”オチアイ”と言う人は頻繁にテキスト画像モデルを使ったライブをやっていて、一回2時間のライブで80000回D ALLE・Midjourney・Stable DiffusionをQueryするみたいですよ。」 サムさん(CEO)「。。。Wow。」 @ochyai
3
43
403
@shanegJP
シェイン・グウ
2 years
プラグインに必要なInstruction Following(指示実行)とChain -of-thought(推論)は両方とも1−2年前に実証(De -risking)を終えてます。あとはOpenAIの最先端の基盤モデル、Post -training微調整技術、開発環境の整え、そして一番重要な安全面の検証などなど。やっと公開になりワクワクします。
1
72
403
@shanegJP
シェイン・グウ
1 year
アメリカ: ターミネーター、ルンバ 日本: ドラえもん
@goke34
楠剛毅@LOVERSE開発者
1 year
各国の子どもたちが慣れ親しんでいるロボットを #ChatGPT に教えてもらった💡 シェイン @shanegJP さんが昨日のインタビューでドラえもんに触れていたけど、この中だと確かにドラえもんはお友達っぽさが強い👍
Tweet media one
1
17
74
21
65
391
@shanegJP
シェイン・グウ
3 months
サカナAI以外にも (又はよりも) AIで投資すべき人材や会社は日本にあります。日本の投資家で意見交流に興味がある方は是非DMを。私は世界と日本とAI研究史、3つ全てに比較的に高い解像度を持ってますので気軽にOffice Hour的に考えて下さい。
0
50
400
@shanegJP
シェイン・グウ
5 months
1/ GWのオススメ2: Google SGE (検索・生成・エクスピリエンス)、別名「グーグル・スゲェ」を試してください。 から2クリックでOnにできます。ウェブでもモバイルでも対応してます。速度、リアルタイム性、位置情報検索などが便利。このスレに使用例を書きます。
Tweet media one
Tweet media two
Tweet media three
Tweet media four
1
51
392
@shanegJP
シェイン・グウ
3 months
OpenAIのサムが去年世界ツアーした時に圧倒的に印象に残ったのはシンガポールの リー・シェンロン首相だと語りました。リー氏はケンブリッジ大学トリニティーカレッジの数学科を首席・シニアワングラーで卒業したので
5
72
392
@shanegJP
シェイン・グウ
2 years
Post-trainingは��る意味全ての物が通過する過程ですのでかなり面白いチームです。3ヶ月でチームは倍になりBERT、Flan、MoEなどの筆頭著者や元テスラのAI研究長も居ます。OpenAI中の多彩なチーム達「安全」「プラグイン」「コード」「数学」と密に仕事をしてます。率いるは創業者の一人のジョンさん。
1
42
387
@shanegJP
シェイン・グウ
2 years
最高に可愛いです。OpenAI本部に400台ぐらい欲しいです。 #チャトる
@robo8080
robo8080
2 years
音声で会話できる「ChatGPT API搭載AIスタックチャン」できた!😍 #スタックチャン #M5Stack
28
1K
4K
2
46
369
@shanegJP
シェイン・グウ
2 years
4年半前に毎週テニスしていた日本人の友達の作った会社がForbesに紹介されました。 私もエンジェル投資したりOpenAIのイベントに呼んだりと支持してますが、全て彼のアイディアでやってます。勉強をWebとAIで考え直そうなどと、信念がある稀な起業家です。 彼をサム(CEO)に紹介した時の写真。
Tweet media one
@_kazuki_
Kazuki / 中屋敷 量貴
2 years
大変ありがたいことに、GlaspがForbesに取り上げられました🙇‍♂️
2
11
153
1
19
354
@shanegJP
シェイン・グウ
8 months
GoogleのLumiereも忘れないでね。Gemini Pro 1.5にしても、Lumiereにしても、Googleはもう少し研究者に拡散を許した方がいい。
@GoogleAI
Google AI
8 months
Lumiere is a space-time diffusion research model that generates video from various inputs, including image-to-video. The model generates videos that start with the desired first frame & exhibit intricate coherent motion across the entire video duration →
49
160
613
2
48
367
@shanegJP
シェイン・グウ
7 months
面白い事に、私のAI研究は「進化型アルゴリズム」と「モデル統合」から始まりました。 10年前、学部生として卒業論文を書いていた時、Geoffrey HintonからJeff
Tweet media one
Tweet media two
@SakanaAILabs
Sakana AI
7 months
Sakana AIの最初の研究成果である、進化的計算による基盤モデル構築に関する論文を公開しました。多様な既存モデルを自動的に融合し優れた基盤モデルを構築するための方法を提案すると共に、それにより試作したモデルを公開しました。 ブログ 論文
15
565
2K
2
61
357
@shanegJP
シェイン・グウ
2 years
Base modelはかなりの知識があるが人の指示を聞くようには出来ていない。それを使いやすく「微調整」するのをPost-training(後学習)。OpenAI独自で数年間集めた大量の人の理想の解答例や好みデータを使い、「推論」「ツール使用」「対話」「安全性」などを「直で」(例文なしに)に理解させる過程。
3
66
358
@shanegJP
シェイン・グウ
5 months
GPT-4o, Google IO, ICRA(世界最大ロボット学会), CHI(世界最大HCI学会)が同じ週にあるのは運命ですね。 もう二つしかプロダクトを作る必要がない:「人と会話できる」(1)「人のように現実世界で理解し・行動するフィジカルアシスタント」と
@shanegJP
シェイン・グウ
2 years
今回 @NewsPicks weekly @ochyai で伝えたかった事の一つです。
Tweet media one
1
31
179
0
81
358
@shanegJP
シェイン・グウ
5 months
Soraから2ヶ月、少しつづ出てきましたね。 予測:動画生成はかなり速い段階でコモディティ化し、一社独占はあり得ない。 理由の一つを簡単に言うと、「人が必要なさすぎる」: 1)データ作成:カメラ、Google Pixel、Unity
@shoty_k2
しょーてぃー
5 months
中国初の長時間・高一貫性・高ダイナミクス動画生成AIモデル「Vidu」だって。最長16秒、最高1080pの高画質動画をワンクリックで生成できる。 🔗
4
40
196
1
98
356
@shanegJP
シェイン・グウ
8 months
一番スケールするのはいつもシンプルな手法。 何故ならデータの質や計算のスループットに時間をかけられるから。
@ImAI_Eruel
今井翔太 / Shota Imai@えるエル
8 months
OpenAIのSoraは、拡散トランスフォーマー(そのまんま、画像生成AIの拡散モデルと言語モデルのTransformerの組み合わせ)をベースにしているのは明らかだが、以前この論文を投稿した時は「新規性が足りない」と不採択だった模様 それがSoraとなって花開き最強の動画生成AIとして世界的に注目された皮肉
1
133
581
0
60
353
@shanegJP
シェイン・グウ
4 months
イーロンがTwitterをXにしたのがJAPANへ進出の布石だと、何故気付けないのか… #xai #xjapan #1 兆円調達
Tweet media one
12
47
347
@shanegJP
シェイン・グウ
6 months
Gemini 1.5 Proに180カ国サポート、「統一モデル」音声・動画認識、ファイルAPI、System Instructionカスタマイズ機能、 JSONモードなどが加わりました。から試せます。 (じゃないよ!) 素晴らしいチームで働けて日々楽しいです。以下はJeff
Tweet media one
Tweet media two
0
89
337
@shanegJP
シェイン・グウ
6 months
日本もこれをやって欲しいです
@gigazine
GIGAZINE(ギガジン)
6 months
生成AIの学習に用いた資料の公開を義務付ける「生成AI著作権開示法」案が提出される
4
286
551
2
111
334
@shanegJP
シェイン・グウ
4 months
「Geminiとの共同作業中に、少なくとも一度は涙が出ました。」Geminiの記憶の長さは他の10-100倍なので、長く話すだけであなたをよく知るカスタム言語モデルになります。あなたの数週間しか知らない知り合いか、あなたの10年を完璧記憶(needle in haystack)で知る友人の差です。 「Gemini 1.5 Pro
Tweet media one
Tweet media two
2
66
333
@shanegJP
シェイン・グウ
1 year
「AI界の孫正義」は孫正義さんだったみたいですね。会えて光栄でした。
Tweet media one
3
29
322
@shanegJP
シェイン・グウ
1 month
事前学習の開発者は絶対事後学習を体験した方が良い。むしろ事後学習の評価を見ない事前学習開発者は現実(ユーザー体験)を見ず夢の世界(Academic
@odashi_t
Odashi
1 month
松尾研のこのあたりの検討ノートを見ていると、事前学習・事後学習・チューニングと段階を分けるのではなく、学習の進捗と最終的に解くべきタスク(ここではQA・対話)に従って、事前学習段階からデータの分布を積極的に弄りに行く必要があるんでしょうね。
1
34
329
1
50
325
@shanegJP
シェイン・グウ
4 months
新しいGemini 1.5 Pro (5/14) は中国語でGPT-4oを超え世界一です。他もほぼ全て僅差です。日本語は少ないのでlmsysに出てないが、かなりいいので試して下さい。 そしてこれからは性能だけでなく、プロダクト全てのUXに力を入れます。ちなみにGemini 1.5 Proの非英語事後学習は私のチーム担当です。
@lmsysorg
lmsys.org
4 months
More excitingly, in Chinese, Gemini 1.5 Pro & Advanced are now the best #1 model in the world. Flash becomes even stronger!
Tweet media one
3
17
174
3
57
325
@shanegJP
シェイン・グウ
5 months
ようやくで出てたGemini 1.5 ProとFlashなど高性能モデルが"グーグルの全て"に入って行きます。かなり皆さんの役に立てると思います。日本語もかなり向上されました。
@Google
Google
5 months
The Gemini era is here, bringing the magic of AI to the tools you use every day. Learn more about all the announcements from #GoogleIO
2K
1K
10K
5
64
324
@shanegJP
シェイン・グウ
2 years
「Microsoftの製品開発 x OpenAIの基礎AI技術」 2021年:MicrosoftのGithub Copilot (OpenAI Codex使用)はプログラマーを10倍効率化させた。 それから2年:Microsoft 365 Copilot (OpenAIの多数技術使用, Word, Excel, PowerPoint, Teams等)で全てのオフィス作業・学業が効率化するでしょう。
@Microsoft365
Microsoft 365
2 years
Discover a new way of working with Microsoft 365 Copilot—next-generation AI capabilities embedded in the Microsoft 365 apps you use every day. Learn more:
298
2K
5K
0
44
317
@shanegJP
シェイン・グウ
8 months
Gemini 1.5 Pro先生はSora さんのビデオに不満なようです。 "このビデオは、日本の雪の降る通りで、桜が咲いている様子を捉えています。しかし、ビデオがAIによって生成されたものであることを示唆するいくつかの矛盾点があります。
@gabor
Gabor Cselle
8 months
@Google 's Gemini 1.5 Pro watches and critiques a video made by @OpenAI SORA.
13
32
186
3
88
322
@shanegJP
シェイン・グウ
1 month
シリコンバレーは寿司で生成AI技術者を釣る
@sushi_hackathon
Sushi Hackathon
1 month
Generative AI Sushi Hackathon 2024! 🍣 🏆 Grand Prize: $30,000 + Sushi Dinner with Japan's Top Chef 📅 Date: Sunday, November 3rd, 2024 📍 Location: Japan Innovation Campus, Palo Alto, CA 👉 Register now at #AI #Hackathon #Sushi
0
20
71
5
60
319
@shanegJP
シェイン・グウ
4 months
xAIが$6B (1兆円)の調達に成功。Google Brain, DeepMind, OpenAIで各世代の大規模モデルをやった12人がイーロンと設立。引用数最高のジミーさんは仲良しで去年7月の発表の前の週は東京を観光しており日本の友達を紹介しました。 @KatsuyaUenoyama @ochyai (牛角は2022年のNeuRIPSで)
Tweet media one
Tweet media two
Tweet media three
Tweet media four
1
64
315