みなさん、こんにちは!!こちらは「ABEJAアドベントカレンダー2020」の10日目の記事です。2日目に続き２回目の登場ですが、また仕事関係ない話です。11月中旬：遠方に引っ越すことが決まったここから、このプロジェクトは始まりました…

こんにちは！株式会社 ABEJA で ABEJA Platform 開発を行っている坂井（@Yagami360）です。世間では ChatGPT などの大規模言語モデル（LLM）による対話型 AI が盛り上がってますね。クオリティーも凄いし AI 業界以外でも盛り上がってると嬉しいですよね。この数年で一段と AI の社会…

KDD2019のPaper一覧で気になるものがあったので紹介します。 ※記載時点でまだ論文公開、発表されておらず、こちら鮮度重視の記事です。 内容に誤りがある可能性は十分あるのでご了承ください。 DeepGBMとは データマイニングのトップカンファレンスKDD2019で発表される予定の手法です。 Guolin Ke, …

ABEJAでデータサイエンティストをしている小林です。 今回は、もしかしたらいつか業務や機械学習コンペに役立つかもしれない情報、LightGBMで弱教師あり学習を行う方法についてお話します。 コードはこちらで公開しております。 目次 はじめに 弱教師あり学習の例（マルチインスタンス学習） LightGBMで弱教師あり学…

1. はじめに 2. そもそもGPTとは?? 3. ABEJAで作ったGPTモデルについて 3.1 モデルサイズ 3.2 データセット Wikipedia CC100 OSCAR mC4 3.3 参考にしたコード 3.4 モデルの学習 せっかくここまで育てたモデル��・・・ 4. 技術的な工夫点 4.1 データセットの前…

初めての転職をしました。 2020年4月末を持って新卒から7年間勤めた会社を退職し、今年の5月から新しい会社で働いています。 自分に境遇が近い人などの参考になればと思い、書きました。 長くなると思うので、お題毎に気になるところだけでも読んでもらえると嬉しいです。 ※前職及び転職先の会社名は書いていませんのでご了承くださ…

皆さん、こんにちは！ABEJAでデータサイエンティストをしている服部といいます。先月末で2年半務めたデータサイエンス組織のマネージャーからプレイヤーに戻ることになりました。そんなこれまでの振り返りとそこで感じたことを共有するために、記事にしてみました。キャリアを考える参考になれば嬉しいなと思います。 これまで 2021年12月から2年半、データサイエンティストが所属しているデータサイエンスグ...

2021/3/2の分析コンペ勉強会で話した内容です。 https://sansan.connpass.com/event/202716/

はじめに ABEJAでデータサイエンティストをしている服部です。 今回はLLMで外部データを使うケースについてのお話をしたいと思います。 はじめに LLMと外部データの利用 RetrievalとLLM 0. (事前準備)参照したいテキストデータをDBに格納 1. ユーザの入力文とのテキスト類似度を計算して、関連テキスト…

ABEJAでデータサイエンティストをしている服部です。 「EDAって結局何したらいいの？」っていう声をよく聞く気がするので、無謀にも今回はEDAについて記事を書いてみました。 本記事はABEJAアドベントカレンダー2023 25日目の記事です。 EDAとは EDAは「Exploratory Data Analysis」…

はじめに はじめに ホモグラフィ推定とは 特徴量ベースの手法 特徴点の抽出・特徴量の計算 LIFT: Learned Invariant Feature Transform [1] SuperPoint: Self-Supervised Interest Point Detection and Description …

v1.26.1 で問題が解消されました

ABEJAでデータサイエンティストをしている服部です。 ABEJAは国立研究開発法人新エネルギー・産業技術総合開発機構（以下「NEDO」）が公募した「ポスト5G情報通信システム基盤強化研究開発事業／ポスト5G情報通信システムの開発」に当社提案の「LLMの社会実装に向けた特化型モデルの元となる汎化的LLM」に採択されたこ…

こんにちは！ABEJAでデータサイエンティストをしている藤原です。今年の4月に新卒で入社しました！ 個人的な趣味で、少し前から「Neural Differential Equations」という分野の勉強を少しずつしているのですが、その中で「Neural Controlled Differential Equation…

atma株式会社が主催するデータサイエンスコンペティション「atmaCup」の第9回において優勝したので、そのソリューションの紹介です。 ソリューションそのものというよりは、考え方について説明したスライドです。 ※コンペティションの内容を知らないとよく分からないかもしれません。 https://a…

TL; DR LangChainのメリデメを整理する過程で、今となってはopenai-pythonのうちChatGPTのAPIをを簡単に取り回せる程度のシンプルなライブラリがあるだけでも十分便利なんじゃないかと思ったので、ライブラリを個人で作ってみました。（バージョン0.0.1なのでちょっとお粗末な所もありますが） g…

こんにちは、ラボで研究開発をしたりプロトタイプを作っている藤本(X(Twitter))です。ABEJAアドベントカレンダー2023の21日目の記事です。ここ近年、生成AIの勢いが凄いです。最近は一夜明けたら世界が変わっているみたいなことがしょっちゅう起きています。そんな状況なので、なかなか世の中についていくのが難しいの…

ABEJAから商用利用可能な大規模日本語コーパスを公開。

ABEJAでデータサイエンティストをしている服部です。 2022年10月28, 29日にバルセロナにてKaggle Days World Championship Finalというデータサイエンスに関するイベント兼コンペティションが開催され、そこに参加しました。そして幸いなことに私の所属するチームが優勝することができま…

1. はじめに 2. 先行研究からの学び 3. 前提 4. アーキテクチャ変更候補 活性化関数の変更 (SwishGLU) Transformer layerの並列化 biasパラメータ除去 Input-Output Embeddingの共有 (Weight tying) 5. 小規模モデルでの実験 実験設定 Tran…

ABEJAでデータサイエンティストをしている大谷です。ちょうど1年ほど前にGPTを事前学習し、HuggingfaceにGPT NeoX Japaneseとして登録していたりしていた者です。 さて、ChatGPTの登場から、Copilot Chat、GPT4のAPIの解禁、code interpreterのリリースと続き…

はじめに こんにちは、ティアキンで寄り道し過ぎて永遠にストーリークリア出来ない坂元です。データサイエンスチームに所属しています。LLMの一大ブームの中でLLMの記事を書かないのは若干憚られますが、高速に実験を回す用途で気軽に使える機械学習パイプラインライブラリって実はあまりない…？と思ったので、今回は機械学習パイプライ…

こんにちは！ABEJAでデータサイエンティストをしている大谷です。 ABEJAは国立研究開発法人新エネルギー・産業技術総合開発機構（以下「NEDO」）が公募した「ポスト5G情報通信システム基盤強化研究開発事業／ポスト5G情報通信システムの開発」に当社提案の「LLMの社会実装に向けた特化型モデルの元となる汎化的LLM」が…

Can you measure the magnetic interactions between a pair of atoms?

#はじめにABEJAのアドベントカレンダーの第・・・何番目だろ・・・？？ABEJAでは、法務担当者をやっています。弁護士を10年ほどやっていますが、ふとしたことで機械学習の世界をやってみたくな…

Artificial Intelligence (AI) has achieved great success in many domains, and game AI is widely regarded as its beachhead since the dawn of AI. In recent years, studies on game AI have gradually...

みなさん、こんにちは！こちらは「ABEJA AdventCalendar　2021」 の15日目の記事です。データサイエンティストとは？いきなりですが、データサイエンティストとは何でしょうか？私自身、データサイエンティストとして働いていますが、最近よく「データサイエンティストになるにはxxxxのスキルが必要だ」とか「データサイエンティストとはxxxxだ」みたい…

この記事は、ABEJAアドベントカレンダー2022 の 19 日目の記事です。 こんにちは！株式会社 ABEJA で ABEJA Platform 開発を行っている坂井です。 世間では Diffusion Model 使った AI による画像生成が流行っているみたいですね。 自分は元々 Computer Vision …

Uncover the factors to help measure how young children learn

はじめにABEJA Advent Calendar 2021の8日目の記事です。この記事では素晴らしい技術のはずなのになかなか日の目を浴びないFlowと呼ばれる技術を使った超解像について書こうと…

kaggleばっかりやっていてブログを更新していませんでした。 kaggleやってる最中に内容ブログに書くとルール違反になっちゃうのでなかなか難しいですね。。 先日までkaggleのmalwareコンペに参加していて、かなり頑張ったコンペだったので、振り返りがてら記事にしました。 kaggleのこと知ってる前提なのと、…

ABEJAのデータサイエンティスト、「Kaggle Grand Master」に昇格

先週末11/23に大阪で行われたatmaCupで優勝できたので、簡単に振り返りたいと思います。 なお、データの内容はNGでカラムや問題設定までは公開OKであるため、公開可能な範囲でのポエム記事になります。 atmaCupとは atma株式会社が運営をするデータ分析コンペティションです。 今回は#0、#1に続き第3回目の…

みなさん、こんにちは！！こちらは「ABEJAアドベントカレンダー2020」の２日目の記事です。ABEJAではデータサイエンティストをしているので、最近話題になっていたtwitterのデータを扱っ…

2019.7.13 Kaggle 裏meetup #1 での資料です。

久々に麻雀AI関連のネタです。 続編を（脳内では）用意してるのでpart1としています。 ちょっとした背景 将棋や囲碁ほどではないですが、麻雀界で麻雀AIが最近少しずつ知名度が上がっています。 有名どころでは「爆打」や「NAGA」、「Suphx」あたりでしょうか。 特にMicrosoft製である「Suphx」はネット麻…

皆さんこんにちは！ ABEJAでデータサイエンティストをしている服部といいます。 本記事はABEJA Advent Calendar2022の10日目の記事になります。 背景 引っ越しから2年.... データサイエンティストとしてのリベンジ 前回の反省を踏まえて.... 1. お得そうに見える土地には絶対に理由がある …

みなさん、こんにちは ABEJAでデータサイエンティストをしている服部です。 今回は2023年10月20日に行われた、関西Kaggler会のイベントにスポンサーとして参加し登壇・聴講したため、その参加報告を記載いたします。 関西Kaggler会について 最初は関西にいる数名のKagglerで集まろうというところから始ま…

## モデル - gemma2-9b (unsloth/gemma-2-9b-it-bnb-4bit) - Gemma2ForSequenceClassificationにて学習 - パラメータはほぼこれ: https://www.kaggle.com/code/emiz6413/training-gemma-2-9b-4-bit-qlora-fine-tuning ## 学習 -...

1. はじめに 2. 並列学習環境を調べる 並列学習方法を調べる ネットワーク、コンピューティング周りを調べる 3. インフラ環境を構築する コンパクトプレースメントポリシーの作成 Compute Engine を起動する (Fast Socket と gVNIC を利用する) 4. まずはシングルノードで動かす 5.…