概要 SB Intuitionsの清野舜，李凌寒，高瀬翔です。 弊社では高品質な日本語大規模言語モデルの構築に取り組んでいます。 大規模言語モデルの構築は理論的にも経験的にもまだまだ発展途上の領域であり，学術界・産業界の日本語大規模言語モデルの研究開発促進のために，7B，13B，65BパラメータのモデルからなるSara…

SB Intuitionsの李凌寒、高瀬翔です。 日本語に強い大規模言語モデル（LLM）Sarashina2-70Bを公開しました。 国内でフルスクラッチで学習をしたLLMの中では、大規模な70Bパラメータを持ち、日本語性能もトップクラス、かつオープンな MIT ライセンスで公開されています。 以下のHugging F…

TL;DR JMTEB とは 評価結果 はじめてのJMTEB ベンチマークを用いた分析例: 正規化に関する考察 おわりに 付録 TL;DR 日本語テキスト埋め込みベンチマークJMTEBを構築・公開しました。2024年5月現在，6タスク・16データセットで構成されています。 データセットをHuggingFaceで公開して…

SB IntuitionsでLLMの研究開発に関わる岡照晃氏と品川政太朗氏は、アカデミア（大学研究機関）での経験を積んでから民間企業のキャリアをスタートした経歴を持つ。アカデミアと民間企業の研究生活の違いや、今後のキャリアの目標などを取材した。

以下の論文がINTERSPEECH 2024に採択されました。 Investigation of look-ahead techniques to improve response time in spoken dialogue system Masaya Ohagi, Tomoya Mizumoto, Katsuma…

開発が熾烈化する国産の大規模言語モデル（LLM）は、各社それぞれに個性がある。中でも23年に設立されたSB Intuitions株式会社は「日本語に特化したLLM」を掲げ、国内最大級となる１兆パラメーター構築を目指しており、その開発規模の大きさは目を引く。現在主流となっている英語ベースのモデルとの違いを解説してもらうとともに、事前学習チームの皆さんに開発の舞台裏を伺った。

SB IntuitionsとAiHUBが共同研究を開始

開催日程 2024年6月28日(金)-29日(土) IPSJカレンダー: https://www.ipsj.or.jp/kenkyukai/event/nl260.html

タイムライン 11:00-13:00 デモ・ポスターセッション for どなたでも 13:00-15:00 NII活動報告・基調講演 for 企業・大学・一般 オンライン中継あり 15:00-18:00 デモ・ポスターセッション for どなたでも 17:00-18:00 産官学連携セミナー for 企業・大学関係者 オンライン中継あり 18:00-19:00 大学院説明会 for 企業・大学...

2024.3/11-15 @ 神戸国際会議場

こんにちは、SB Intuitions株式会社の大萩雅也、水本智也、高山隼矢です。6月29日、30日に金沢にて開かれた第260回自然言語処理研究発表会 (NL研)にて発表を行いました。 本記事では発表の内容、また発表会の様子について紹介していきます。 目次 目次 発表論文 大規模言語モデルの音声タスクへの応用と分析 感…

The 30th Symposium on Sensing via Image Information,Home page

# コンセプト 生成AI Confは生成AIのビジネスへの応用、及びそれを通した社会貢献を目的としたコミュニティです。 「生成AIのビジネスへの活用」をテーマに、実践ベースの体験や知見、ノウハウを幅広く扱います。 現在、急激に生成AIの市場が伸びており、特に日本においては政府も積極的に生成AIの導入を進めようとしています。 *参考 内閣府 AI戦略 - 科学技術・イノベーション しかし、現状...

ビジネスシーンにおける生成AIの実装が進む中、国産の大規模言語モデル（LLM）開発が注目を集めている。ソフトバンクグループの一員であるSB Intuitions株式会社は2023年、「日本語に特化したLLM」を掲げ、国内最大級の１兆パラメーター構築を目標とした研究開発に着手した。なぜ日本語に特化したLLMが必要なのか、今後どのようなビジネスモデルを見据えているのか。同社の代表取締役社長 兼...

NLP若手の会 (YANS) は、自然言語処理および関連分野の若手研究者・若手技術者の交流を促進し、若手のアクティビティを高めることを目指したコミュニティです。なお YANS は Young Researcher Association for NLP Studies の頭文字をとったものです。

9/4(水): シンポジウム1日目 @梅田スカイビル Tower WEST 36F 「スペース36L」 [10:30-11:00] 受付 (留学交流会) [11:00-12:00] 留学交流会 [12:30-13:00] 受付 (ハッカソン) [13:00-20:00] YANS分野交流ハッカソン with 言語処理学…

Qiita Conference 2024は、2024年4月17日（水）、4月18日（木）、4月19日（金）の3日間にかけて開催されるエンジニア向けカンファレンスです。複数の協賛企業様によるエンジニアリングにまつわるトークセッションや基調講演を行います。

AIのある、「あんな未来」ここから。「AI」のある未来は、ここから。2024年3月23、24日に東京渋谷で開催される最先端の「東京AI祭」！日本の国際競争力を上げるために、当イベントでは、50以上の生成AIスタートアップに集まっていただき、生成AIワークショップ、AI画像祭、AIハッカソン、そしてさまざまのトークセッションを展開します。技術者、クリエイター、AI愛好家が一堂に会するこの祭典で...

2024年5月23日と24日に ITに携わるすべての開発者とエンジニアにお届けするテクニカルイベント

Website for IEEE Cluster 2024.The latest news is also shown in Twitter/ieeecluster