MLOpsに関してちゃんと勉強中でして、色々事例とか調べてました。 とは言うものの、現在ではMLOpsを様々な観点から語られて、MLOpsという言葉にいろんな意味が含まれています。 という事情から色々探していたら、こちらをお見かけしました。 medium.com 書籍へのリンクはこちらです。 n月刊ラムダノート Vol…

本ブログはこんな人におすすめ RAG (Retrieval Augmented Generation)を使ったアプリケーションを開発しているけど評価に関心のある人 LLM (Large Language Model)やRAGのハルシネーションをどう評価するのかに関心のある人 Ragas (RAGの評価ライブラリ：Ret…

こんにちは。数理最適化ギルドでエンジニアをしている加藤です。 ある自社プロダクトの開発を通じて因果推論について勉強する機会がありました。因果推論は統計の分野ですが、その中で数理最適化の技術が使えることを知り、とても面白かったのでその内容をシェアしようと思います。具体的には組合せ最適化問題のひとつである最小カット問題が、…

本記事はFireDucksユーザー記事シリーズの第1弾です．本記事はBell様に執筆して頂きました． データ処理と分析をする際に、多くの方がPythonを使ていると思います。中でも、PandasライブラリはPythonを用いたデータ処理においてなくてはならないものになっています。Pandasには便利な関数が多数あり、複雑なデータセットを効率的に処理・分析することができます。 しかし、Pand...

はじめにこんにちは、KDDIアジャイル開発センターのはしもと（仮名）です。LLMで何かしたい勢のみなさま、検索拡張生成こと RAG (Retrieval Augmented Generation)、やってますか…

結構前にMLFlowをいろいろ触ってみていたんですが、最近全然触っていなかったので色々見てみました。 www.nogawanogawa.com 前に自分が触っていたときよりだいぶ使いやすくなってたので、今回は最近の自分の用途に合わせて改めてMLFlowを使ってみます。

はじめに レバレジーズのデータ戦略室で室長をしている阪上です。専門性向上を目的として、データサイエンスに関する論文輪読会を行っています。5ヶ月続けてみて色々と学びがあったので、簡単にこれまで読んだ論文の中で興味深いものを紹介しようと思います。 論文輪読会とは 週に1回30分の持ち回りで仕事で役に立ちそうなデータサイエン…

UB Researchチームで2週間の短期インターンをしている梶川です。 現在、UB ResearchではRAGシステム構築に向けた研究を行っており、社内のさまざまなデータを正確に拾い上げるための検索エンジンの開発と評価を行っています。 今回、その検索エンジンに代わるモデルを用いて、実際の検索テキストで検索を実施した結…

なぜこの記事を書くのか皆さん、データ解析を行う際にどのようなライブラリを用いているでしょうか。おそらく大半の人はpandasを使っているのではないでしょうか。私もpandas使ってます。簡単だ…

機械学習系の話題が多い昨今ですが、実際触ってみると期待した精度・結果が出ないなんてことはよくあることではないでしょうか。 機械学習特有の性質として、データ自体がモデルを変化させ、結果として業務に影響を与えたりします。 仮に、機械学習屋さんが精度が出るモデルを構築したと言っても、それを導入するときに、システム全体での品質…

Push notifications are a powerful tool for a news app. Unlike in-app features, notifications show up on a user’s phone unprompted, directly asking them to open the application. Optimizing them has…

RAG（Retrieval Augmented Generation）は大規模言語モデル（LLM）の性能を改善するための手法の1つであり、質問に対する回答を生成する際に、外部知識源から情報を取り込みます。 これにより、LLM 自体で学習できる情報量に制限されることなく、より正確で詳細な回答を生成することができます。 よ…

はじめに学習スクリプトを実行しているときにGPUにメモリが乗り切らなくてCUDA out of memoryで処理が落ちてしまい、学習スクリプトを最初から実行し直すハメになることが���くあります。…

推薦システムの勉強をちょっとずつ再開している関連で、トピックモデルを勉強してみようと思い、こちらを購入しました。 トピックモデル (機械学習プロフェッショナルシリーズ)作者:岩田 具治出版社/メーカー: 講談社発売日: 2015/04/08メディア: 単行本（ソフトカバー） 今回はこちらを読んで勉強したことのメモです。

最近RAGをいじっています。 www.nogawanogawa.com www.nogawanogawa.com www.nogawanogawa.com 大体評価周りに関して何したら良いかはわかってきた気がするので、今度は精度に関するトラッキングをしていきたいと思います。 というわけで前回までのRagasやLlama…

UB ResearchとNewsPicksの両方を担当している高山です。 去る7月10日に株式会社プレイドさんとNewsPicksの合同で、次のようなイベントを開催しました。 uzabase-tech.connpass.com 実はこのテーマは、僕から是非ともとお願いしてやってもらったのでした。 というのも、NewsP…

はじめに こんにちは、ティアキンで寄り道し過ぎて永遠にストーリークリア出来ない坂元です。データサイエンスチームに所属しています。LLMの一大ブームの中でLLMの記事を書かないのは若干憚られますが、高速に実験を回す用途で気軽に使える機械学習パイプラインライブラリって実はあまりない…？と思ったので、今回は機械学習パイプライ…

最近では、RAG（Retrieval Augmented Generation）を使って、検索して得られた文書を生成時に活用することがありますが、その性能を改善するための手法の1つとしてハイブリッド検索が知られています。ハイブリッド検索は、2つ以上の異なる検索技術を組み合わせた検索方法です。最近は、全文検索とベクトル検…

先日、Twitterの推薦アルゴリズムがGitHubで公開されました。 Twitter recommendation source code now available to all on GitHub https://t.co/9ozsyZANwa— Elon Musk (@elonmusk) 2023年3月31日 …

Why Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。 prev. #191 What 話したいことがある人はここにコメントしましょう！ 面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！

最近こちらのサイトを参考にfeature storeに関して勉強してみたので、今回はそのメモです。 www.featurestore.org

こんにちは！ 構造化データグループのグループリーダー小林広明です。 今回は表題について、いくつか資料の紹介と私なりに思うところを少し書いていきます。 免責事項 応募書類/履歴書 面接 終わりに 免責事項 弊社の選考基準について書いたものではありません。エクサウィザーズの他の面接官は異なる意見を持っていると思います。 た…

Why Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。 prev.#210 What 話したいことがある人はここにコメントしましょう！ 面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！

A/Bテストにおける検定多重性を分析した事例を紹介します。ログを使ったシミュレーションでp値の偏りを定量化しました。

Why Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。 prev. #195 What 話したいことがある人はここにコメントしましょう！ 面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！

この記事は every Tech Blog Advent Calendar 2024(夏) 10 日目の記事です。 はじめに こんにちは。DELISH KITCHEN 開発部の村上です。 エブリーでは4月に第4回挑戦weekを実施しました。挑戦week5日間の中で私たちのチームはナレッジ活用のために社内ChatAppに…

この記事はWantedly Advent Calendar 2023 兼 情報検索・検索技術 Advent Calendar 2023の3日目の記事です。ウォンテッドリーでデータサイエンティスト...

OpenAIからChatGPT-4oが発表されましたが、皆さんガンガンつかっていますでしょうか？ さて、このChatGPT-4oですが、テキスト以外のデータも使用できるようになっているという特徴があります。 普通にテキストでのやり取りをしつつも画像データを扱えるということで、「実はこれいい感じのOCRとして使えるんじゃ…

こんにちは。クリスマスイブですね。気づけばもうすぐ年の瀬ということで、今年一年頑張った研究活動の棚卸しの一環として、試行回数を増やすための具体的な方法論についてまとめていこうと思います。この記事…

前にこんなことやってました。 www.nogawanogawa.work コサイン類似度の計算を高速化したくなることがちょくちょくあるのですが、「ぶっちゃけどれくらいのスループットが出せるもんなの？」というのが気になったので完全に興味本位でやってみます。

本記事はThe Illustrated Transformerを和訳した内容になります。引用元はJay Alammarさ

Why 推薦・機械学習勉強会は、推薦や機械学習、その周辺技術を通じてサービスを改善することにモチベーションのある人達の集まりです。ニュースやブログから論文まで、気になったものについてお互い共有しましょう！ 発信のため、ここは public にしてあります。外部からの参加をご希望の方は松村(https://twitter.com/yu__ya4) まで DM を送るか、Wantedly Vis...

Why Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。 prev. #197 What 話したいことがある人はここにコメントしましょう！ 面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！

結論 次のコードを実行するだけです． from google.colab import runtime runtime.unassign() 背景／動機 Google Colaboratory は手軽に Deep Learning 用のクラ

こんにちは。NewsPicks App Reader Experience Unit でエンジニアしている青木です。 NewsPicks では日々のサービス改善において AB テストを数多く実施しています。 施策毎に AB テストを柔軟に実施できるのは過去紹介した AB テスト基盤があってこそです。 https://t…

Why Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。 prev. #174 What 話したいことがある人はここにコメントしましょう！ 面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！

最近RAGについて勉強しています。 www.nogawanogawa.com www.nogawanogawa.com www.nogawanogawa.com www.nogawanogawa.com 今回はRAGアプリケーションの開発フローについて勉強してみようと思います。

WantedlyのMatching領域でデータサイエンティストをしている角川です。9/27-10/1にRecSys2021が開催されており、こちらに参加させていただきました。この記事ではRecS...

AI事業部本部の[極予測TD]というプロダクトで2023年2月から2ヶ月間、機械学習エンジニアとして「CA Tech JOB」というインターンシップに参加。携わったMLOps基盤の開発について紹介します。

Why Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。 prev. #236 What 話したいことがある人はここにコメントしましょう！ 面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！

AI事業本部 協業リテールメディア Div. の青見 (@nersonu) です。2023年11月に ...

こんにちは、タイミーのデータ統括部データサイエンス（以下DS）グループ所属の小栗です。 今回は、DSグループのメンバーにおすすめの本を聞いてみたのでご紹介します！*1 おすすめ本を通して、DSグループの雰囲気や、業務で活用するスキル・知識について、みなさんに伝わればいいなと考えています。 *1:先日、データ統括部メンバ…

Why Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。 prev. #180 What 話したいことがある人はここにコメントしましょう！ 面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！

Why Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。 prev. #248 What 話したいことがある人はここにコメントしましょう！ 面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！

Why Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。 prev. #186 What 話したいことがある人はここにコメントしましょう！ 面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！

Why Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。 prev. #240 What 話したいことがある人はここにコメントしましょう！ 面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！

”Attention is All You Need”というタイトルでTransformerの論文が発表されてから随分経ちます。 ただ、最近は”大事なのはSelf Attentionじゃない”といった趣旨の論文をちらほら見かけるようになってきていると感じていて、これについて自分用のメモがてらまとめてみようと思います。

こんにちは、MNTSQでエンジニアをやっている平田です。 MNTSQでは自然言語処理を使って契約書を解析したり検索したりする機能を開発しています。 契約書解析には、次のようなタスクがあります。 秘密保持契約等の契約類型に分類 契約締結日や契約当事者等の基本情報を抽出 条項（第1条, 第2条, ...）単位で分解 本稿で…

Why Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。 prev.#208 What 話したいことがある人はここにコメントしましょう！ 面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！

Why Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。 prev. #194 What 話したいことがある人はここにコメントしましょう！ 面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！

はじめに 背景: A/Bテスト作業者の増加による品質差が出てきた 課題: 情報過多がさまざまな課題を引き起こしている 原因: 膨大な情報をハンドリングするスキルが個人の経験値・地頭に依存してしまう では膨大な情報をどう扱えばよいのか？ 改善1. 情報を削る 改善点2. 情報の抽象度を上げる (仮説ありきで考える) 対処…

はじめに 検索性能を評価するための適切なデータセットが手元にない場合、自前でオフライン評価セッ���を構築することが選択肢としてあります。 ユーザー行動ログに基づく評価も有効ですが、人手で集められた高品質なデータセットを用いることで、様々な検索手法を手軽に検証することが可能になります。 本記事では、検索性能評価のためのアノ…

Why Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。 prev. #242 What 話したいことがある人はここにコメントしましょう！ 面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！

こんにちは。メルカリAnalyticsチームの@suwachanです。 この記事では、2022年5月31日に開催したイベント “メルカリの成長を支えるデータ分析チームの「今」と「これから」” の動画と内容の一部をご紹介します。 早速ですが、動画はこちらからご覧ください。 イベントのポイントを知りたい方、2時間の動画は見きれない！という方に向けて、内容の一部を抜粋してお伝えいたします。...

この記事はBASE Advent Calendar 2022の19日目の記事です。 はじめに こんにちは、DataStrategyチームの竹内です。 今回はBASEで作成されたショップが扱っている商品のカテゴリを機械学習モデルを使って推論するための取り組みについてご紹介いたします。 はじめに TL;DR 商品カテゴリ …

【まえがき】※一部抜粋 いまや、機械学習は、あらゆるシステムに組み込まれてきている。著者らは2018年頃から機械学習工学研究会の活動や科学技術振興機構（JST）のプロジェクトを通して、ソフトウェア技術者と対話し、機械学習のソフトウェア開発現場への普及とその活用の難しさを感じてきた。 また、この4年で、機械学習をシステムに組み込む際の課題の整理やベストプラクティスの共有がかなり進んできた。本書...

Why Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。 prev. #182 What 話したいことがある人はここにコメントしましょう！ 面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！

Why Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。 prev. #200 What 話したいことがある人はここにコメントしましょう！ 面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！

Risk-Reward Trade-offs in Rank Fusionを読んでいて、検索システムの結果を統合するために使える教師なしのランク融合アルゴリズムについて書きたくなったのでまとめました。最近では、RAGの性能を改善するためにハイブリッド検索が使われることがありますが、その内部で各検索システムの結果を統合す…

Elasticsearchの機械学習機能 今回はElasticsearchの教師あり機械学習（ML）機能とそれを使った類似ドメイン検知についてご紹介します。 E...

本記事では、2022 年春頃に auサービスToday のニュース記事プッシュ通知に導入したパーソナライズシステムについてご紹介いたします。

Why Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。 prev.#206 What 話したいことがある人はここにコメントしましょう！ 面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！

この度、日本のキーボード業界にビッグニュースが舞い込んで来ましたね！ ポインティングスティック、ジェスチャーパッドを搭載した「HHKB Studio」新登場https://t.co/YctZnlCxJS pic.twitter.com/JUf4St7SVy— HHKB OFFICIAL (@PFU_HHKB) 2023…

Why Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。 prev. #178 What 話したいことがある人はここにコメントしましょう！ 面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！

データエンジニアリングとは、組織内外で日々生成されるデータを蓄積し分析するためのデータシステムを構築し維持管理することであり、急速に注目を集めている分野です。近年ではデータエンジニアリングを支えるツールやクラウドサービスが成熟し、組織へのデータ利活用の導入は容易になりましたが、明確な指針のないままデータシステムの構築を進めると費用と時間を無駄に費やすことになります。本書は「データエンジニアリ...

ウォンテッドリーでデータサイエンティストをしている角川です。ウォンテッドリーのデータサイエンスチームは、9/18-9/23にシアトルにて開催されたRecSys 2022にオンラインで聴講参加しま...

Why Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。 prev. #234 What 話したいことがある人はここにコメントしましょう！ 面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！

Why Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。 prev. #202 What 話したいことがある人はここにコメントしましょう！ 面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！

雑記です。 2023/10/12 09:00 JSTまで行われてたCommonLitコンペにひっそりと参加していました。 久しぶりにkaggleコンペを最後まで完走してちょっとだけ気分が良いので、振り返りを書いていこうと思います。

はじめに きっかけ 何を開発しているか 機械学習の門外漢 機械学習とは ニューラルネットワークとは パーセプトロン 活性化関数 ニューラルネットワークの推論 配列の内積 numpy 推論 ニューラルネットワークの訓練 ロス関数 微分 誤差逆伝播法 全体的な処理イメージ まとめ はじめに みなさん、こんにちは！SaaS事…

Why Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。 prev. #238 What 話したいことがある人はここにコメントしましょう！ 面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！

はじめに こんにちはGunosy Tech Labの森本です。現在MLOps基盤を再整備しています。そこで調査した海外Tech企業の事例やMLOpsのフレームワークを紹介します。 Gunosy Tech LabのMedia MLチームではニュースアプリ（グノシー、ニュースパス、ルクラ）やクーポンアプリ（オトクル）の推薦…

BQを使っているときに、かんたんな検定であればBQ内で完結したくなります。 これが実現できないものかと調べてみたところ、こちらの記事を拝見しました。 lab.mo-t.com ちょっとこれを実際に試してみたくなったので、実際にやってみたいと思います。

この記事はMLOps Advent Calendar 2023の23日目の記事です。 以前、Feature Storeに関する記事を書いていました。 www.nogawanogawa.com この記事を書いた当時は「Feature Storeってこんな感じかー」って思って終わってしまい、どんな感じに使うのかは触っていな…

Why Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。 prev. #246 What 話したいことがある人はここにコメントしましょう！ 面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！

Why Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。 prev.#204 What 話したいことがある人はここにコメントしましょう！ 面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！ 注意 8/2会は通常の論文読み会ではなく、「atmCup#15の振り返り」をテーマ...

Why Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。 prev. #184 What 話したいことがある人はここにコメントしましょう！ 面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！

# 🔍イベントについて Wantedlyの開発に携わるエンジニアが登壇し、開発の裏側をお話するイベントです。 Wantedlyで実際利用されている技術をFrontend / Backend / Infra / Mobile / Data Scientistの開発者が説明します。ウォンテッドリーに興味があり、エンジニア経験 3年以上の方を想定したイベントです。また、発表後は弊社エンジニアと直...

こんにちは、ウォンテッドリーでデータサイエンティストをしている林(@python_walker)です。ウォンテッドリーでは、テクノロジーの力で人と仕事の適材適所を実現するために推薦システムの開発...

A critical piece of the modern information retrieval puzzle is approximate nearest neighbor search. Its objective is to return a set of $k$ data points that are closest to a query point, with its...