1. はじめに OpenAIから久しぶりに新しいモデルが出ました。 OpenAI o1: 強力な推論能力と幅広い世界知識 OpenAI o1-mini: コーディングタスクに特化 モデルについての細かい説明はここではしませんが、OpenAIの公式報告によれば 競技プログラミング問題 (Codeforces) で 89 パーセンタイルにランクインし、米国数学オリンピック (AIME)...

はじめに 昨夜からBitNetという1bit量子化LLMが話題になっていました。 簡単な概要としては、 既存のLLMが１パラメータをFP16やBF16などのfloat型で扱っているものを、１パラメータで{-1, 0, 1}しか扱わない様にした。 計算に使う情報量を削ることで、処理速度の向上、メモリの節約が叶う。 3B params以上ではベンチマークスコアの平均で同サイズのLlamaを上回る...

Implementation of "BitNet: Scaling 1-bit Transformers for Large Language Models" in pytorch - kyegomez/BitNet

はじめに 前回、BitLinear b158の実装を行いました。前回までの内容は以下をご参照ください。 4. BitNet b158の検証 BitNetの検証と同様、 BitLlamaでBitLinear158bを利用できる様に修正 事前学習ができるか（Lossが下がるか）確認 を行います。 4-1. BitLlamaの修正 modeling_bit_llama.pyにおいて、BitLine...

はじめに Sakana AIさんのThe AI Scientistを筆頭に、LLM-Based Agentの社会活用は今後拡大してくと考えています。また、Agentで推論→結果を合成データとしてTuningに利用みたいな流れで、LLM自体の発展にもAgentは活用されていくと考えます。 これらをモチベーションに最近LLM-Based Agentの勉強をしており、試しに作ったものを一部Note...

1. はじめに 今回は時系列基盤モデルを使って、多変量の時系列データのEmbeddingを作成し、そこから時系列データ同士の類似度を算出するというのを試していきたいと思います。 元々、時系列データの類似度を算出する方法としては以下の２つがあったと思います。（時系列を専門にやってきたわけではないので間違っていたらご指摘お願いします。） 動的時間伸縮法（DTW: Dynamic Time...

Anthropic is an AI safety and research company that's working to build reliable, interpretable, and steerable AI systems.

はじめに 先週発表された論文『The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits』は多くの人に衝撃を与えたと思います。 それまで量子化とは、有り体に言えば性能を犠牲にメモリ等のコストを抑える手法でした。しかし、BitNet b158(*)では量子化手法としては初めてオリジナルを超える性能を出す可能性を魅せてくれま...

はじめに Transformerアーキテクチャにテキストデータを大量に読み込ませたらある程度あらゆる場面で使えるモデルができたというのがGPTやBERTなどの言語のFoundation Model(基盤モデル)です。 それと同じ発想で、あらゆる時系列データを読み込ませたら、あらゆる場面で使える時系列モデルが作れるのではないかという発想で作ったのが時系列の基盤モデルになります。 Hugging...

私は最近、LLMによるSynthetic data(合成データ)生成を試しています。手法について色々調べたり試したことをまとめておこうと思います。 個別の論文の詳細については他の方の記事や私の過去記事でまとめたりしてあるので、どちらかというと合成データ生成における方向性にどんなものがあるのかという観点で紹介したいと思います。 概要 LLMによる合成データ生成には、その使い道から以下の2つの種...

最近は、以下の点からLLMの進化が遅くなってきているように感じます。 GPT-4oがClaude 3.5 SonnetやGeminiにChatbot Arenaで負け始めている GPT-4oをはじめとしたClosedモデルに、Llama 3.1のようなOpenモデルのベンチマークスコアが追いついてきている 一方で、Sakana AIさんのThe AI ScientistのようなLLM-Based...

はじめにChat Vector: A Simple Approach to Equip LLMs with Instruction Following and Model Alignment in…

はじめに 前々回のGoogle Timesfm、前回のMomentに引き続き、HuggingFaceにある商用可能なライセンスの時系列基盤モデルを4つ試し、比較していきたいと思います。 利用するデータはETTh1という電力変圧器温度に関する多変量時系列データセットです。事前学習にこのデータが含まれる可能性があるため、モデルの絶対的な評価に繋がらないことに注意してください。 google/ti...

私は最近、LLMによるSynthetic data(合成データ)生成を試しています。手法について色々調べているので論文等忘れないようにこの場にメモを残していきたいと思います。 基本的に、『Synthetic dataをどう作るか』によったメモとなるので、その論文中の結果等は書かなかったりすると思います。 また、内容には私、GPT、Claudeの見解を含みます。 1. 今回の論文 今回は以下の...

はじめに Google Timesfm、Moment、IBM Graniteに引き続き、HuggingFaceにある商用可能なライセンスの時系列基盤モデルを4つ試し、比較していきたいと思います。 利用するデータはETTh1という電力変圧器温度に関する多変量時系列データセットです。事前学習にこのデータが含まれる可能性があるため、モデルの絶対的な評価に繋がらないことに注意してください。...

はじめに OpenAI o1の登場で、OpenAIの掲げるAGIへの5ステップのうちの2ステップ目まで到達したということが話題になりました。 OpenAIのAGIまでの5ステップというのは、以下のように定義されているようです。CEOのサム・アルトマン氏は、10 年以内にレベル 5 に到達すると予測しています。 conversational AI：ChatGPT reasoning...

Reflection is a prompting strategy used to improve the quality and success rate of agents and similar AI systems. This post outlines how to build 3 reflection techniques using LangGraph, including...

はじめに 少し間が空いてしまいましたが、BitNetおよびBitNet b158の実装を続けていこうと思います。 ボリュームが大きくなってきたため、ページを分けることとしました。前回までの内容は以下をご参照ください。 2. BitNetの検証 今回は、前回作ったBitNetの検証を進めていこうと思います。 検証内容としては、 BitLlamaの構築 事前学習ができるか（Lossが下がるか）確認...

mergekit-evolve for elyza task 100. Contribute to Hajime-Y/mergekit-evolve-elyzatask100 development by creating an account on GitHub.

私は最近、LLMによるSynthetic data(合成データ)生成を試しています。手法について色々調べているので論文等忘れないようにこの場にメモを残していきたいと思います。 基本的に、『Synthetic dataをどう作るか』によったメモとなるので、その論文中の結果等は書かなかったりすると思います。 また、内容には私、GPT、Claudeの見解を含みます。 1. 今回の論文 今回は以下の...

The dominant framework for alignment of large language models (LLM), whether through reinforcement learning from human feedback or direct preference optimisation, is to learn from preference data....

各ページに都度参照を書いていくと冗長なためここに参考にした資料を置いていきます。 参照 BitNet: Scaling 1-bit Transformers for Large Language Models The increasing size of large language models has posed challe arxiv.org The Era of 1-bit LLMs:...

はじめに 昨年(2023年)末にMambaアーキテクチャが公開されました。 MambaはS4などと同様の状態空間モデルというもので、Transformerと比べて、 高速な推論 シーケンス長が伸びた際のメモリ効率の良さ 単純なモデル性能の良さ で優れている様です。 日本語モデルがないので、日本語Mambaの事前学習のコードを作成しました。Google colabで動くことは確認したもののA1...

はじめに これまで何度かChatVectorやそれに類することを施行してきましたが、元のモデル+ChatVectorの加算はいつも1:1で実施してきました。それでもある程度上手くいっていましたが、この加算比率をSakanaAIのEvoLLMのように最適化するということができるらしいです。 ただ、調べた限りコードが落ちていなかったので自分なりに調べて試してみたというのが本記事の内容になります。...

はじめに この記事は以下記事の続きになります。 Chat Vectorと呼ばれる、重みの足し引きでFine TuningなしにChat能力を事前学習モデルに付与できるという技術あります。 この発想から、Chat能力以外にも能力の切り貼りはできるのかという検証が本記事の趣旨となります。 今回は以下の能力について試したいと思います。 数学的推論能力 結論だけ書くとある程度うまくいきました。検証記...

1. はじめに 前回、OpenAI o1をどう作るかについて概要レベルで議論しました。 OpenAI o1が新しい強化学習手法を用いて強化されたモデルであることは確実であり、具体的にどういうロジックで学習されているか考えていきたいと思います。 強化学習について間違った理解があればご指摘ください。（一応学習はしたものの普段使いしているわけではないので忘れているところもあると思います。） 2....

はじめに 2024年4月に高い性能を叩き出し、オープンライセンスで公開されたにも関わらずすぐにHugging Faceから消されたWizardLM-2というモデルがあります。（現在、HuggingFace上には非公式のモデルのみ公開されています。短期間公開されていたタイミングにダウンロードされていたのでしょうか。） 以下のように高い性能を叩き出したことでWizardLM-2は注目を集めました...

はじめに Chat Vectorと呼ばれる、重みの足し引きでFine TuningなしにChat能力を事前学習モデルに付与できるという技術あります。 事前に訓練されたベースモデル（例えばLLaMA2）の重みから、対応するチャットモデル（例えばLLaMA2-chat）の重みを引くことで得られる。継続的に事前訓練されたモデルの重みにChat Vectorを追加するだけで、さらなる訓練を必要とせず...

はじめに 先週発表された論文『The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits』は多くの人に衝撃を与えたと思います。 それまで量子化とは、有り体に言えば性能を犠牲にメモリ等のコストを抑える手法でした。しかし、BitNet b158(*)では量子化手法としては初めてオリジナルを超える性能を出す可能性を魅せてくれま...

0. はじめに Mistral AIによるMixtral -8x7bモデルの成功により、最近MoE（Mixture of Experts）モデルが流行ってきている気がします。 他にもPhi-2のMoEであるPhixtual-2x2bとかありましたね。 それに倣って、日本語モデルのMoEも作ってみたくなって試してみました。 以下が作ってみたモデルです。 HachiML/youri-2x7b_dev...

Large-scale Self-supervised Pre-training Across Tasks, Languages, and Modalities - microsoft/unilm

はじめに 現在、私は以下のような試みをしています。 その中で、自作アーキテクチャ（Transformersに実装されていない）モデルをHuggingFaceにpushすると、当たり前ではありますがそのアーキテクチャでは重みをloadできないことに気づきました。 なので、 自作アーキテクチャ（Transformersに実装されていない）モデルをHuggingFaceにpush できる限り簡単に...

EvolKit is an innovative framework designed to automatically enhance the complexity of instructions used for fine-tuning Large Language Models (LLMs). - GitHub - arcee-ai/EvolKit: EvolKit is an in...

はじめに 現在、私は以下のような試みをしています。 BitNetとは BitNetとはweightとactivationを量子化する手法の1つで、特にweightを{-1, 0, 1}の3値に量子化するBitNet b158はベースとしているLlama2の性能を上回ることを示し、注目を浴びました。 その実装の中で、量子化（つまりFloat16や32ではなくより離散的な値を扱う様にする処理）を...

LLMの日本語性能を確認するためのベンチマークとして、 ・現状使われているもの ・使えそうなもの について調べてみました。 1. 課題感 近年、ChatGPTを筆頭としたLLMの成功・活躍から、多くのLLMが発表されています。英語のモデルに遅れてではありますが、そうした流れを受けて日本語に強いモデルも出てきてはいます。 英語モデルは多様な観点でその能力を測るベンチマークが多く整備されています...