こんにちは、Finatextグループのナウキャストでデータエンジニアをしているけびん（X: @Kevinrobot34 ) です。

こんにちは、ナウキャストでデータエンジニアをしているけびんです。先日「データビジネス×Snowflake 一歩進んだSnowflakeの活用事例を学ぼう!」というイベントに登壇し、ナウキャストで開発しているSnowflakeベースのデータ基盤について発表させていただきました。

2024/7/10 に実施された DataOps Night #4 の登壇資料です。 Snowflake と dbt そして Terraform でマルチデータプロダクトを取り扱うための基盤を作った際の工夫や課題についてまとめました。 https://finatext.connpass.com/…

こんにちは、Finatextグループのナウキャストでデータエンジニアをしているけびん( Twitter: @Kevinrobot34, AtCoder: Kevinrobot34 )です。先日、PyCon JP 2020で、「Pythonで競プロをしよう！…

こんにちは、ナウキャストでデータエンジニア・データプラットフォームエンジニアをしているけびん（@Kevinrobot34）です。 僕は Data Service Platform Unit （以下 DSPU ）というチームのリーダーとして様々な開発をしています。このチームではいわゆる Platform Engineering をデータにフォーカスして推進しています。本記事はこの DSPU...

「みんなの考えた最強のデータ基盤アーキテクチャ2024前半おまとめ拡大版SP！」の発表スライドです。 https://datatech-jp.connpass.com/event/319827/

## この勉強会について ナウキャストではデータエンジニアリングやDataOpsなどに取り組むエンジニアが知見を共有するための勉強会を定期的に開催しています。 今回はデータビジネスにおけるSnowflakeの一歩進んだ活用をテーマとして、マインディア、truestar、ナウキャストの3社が事例紹介を行います。SnowflakeよりKTさんもお招きして、LTの最後には座談会も予定しております。...

昨年末からガバナンスが効くような形で Azure の環境を整備しました。 様々な設定をしたのですが、ここでは特に重要だった６つのポイントにフォーカスし、それぞれどのようなことをしたのか紹介していこうと思います。

はじめに

7/18 に開催された Snowflake 第1回 金融ユーザー会における 「LT: Snowflake Data Cloud Summit 2024 現地レポート」で使用した資料です。 https://www.snowflake.com/events/snowflake-recap-fsi/

## この勉強会について ナウキャストではデータエンジニアリングやDataOpsなどに取り組むエンジニアが知見を共有するための勉強会を定期的に開催しています。 今回はデータビジネスにおけるSnowflakeの一歩進んだ活用をテーマとして、マインディア、truestar、ナウキャストの3社が事例紹介を行います。SnowflakeよりKTさんもお招きして、LTの最後には座談会も予定しております。...

インターンから新卒入社した新人が データサイエンティストだけでなく クラウドエンジニアとしても活躍するようになるまで

Query Profile は Snowflake の重要な機能の一つで、クエリの実行計画をグラフィカルに表示してくれる便利なものです。使いこなすとデバッグや最適化が捗るので Query Profile の概要から、見方までをサクッと紹介します。

はじめに

こんにちは、Finatextグループのナウキャスト（最近HPリニューアルしたのでみてね）でデータエンジニアをしているけびんです。

Traditional data architecture patterns are severely limited. To use these patterns, you have to ETL data into each tool—a cost-prohibitive process for making warehouse features available to all of...

SnowVillage で開催している Apache Iceberg: The Definitive Guide 輪読会の資料です。 ４章 "Optimizing the Performance of Iceberg Tables" の後半を担当しました。 主に Compaction の話をしています。

2023年にナウキャストで構築した Snowflake と dbt そして Terraform を使ったモダンなデータ基盤について話しました。 https://finatext.connpass.com/event/281447/

# みんなの考えた最強のデータ基盤アーキテクチャ2024前半おまとめSP！ 「みんなの考えた最強のデータ基盤アーキテクチャ」はdatatech- jpで集ったデータエンジニアが、みなさんが考える最強のデータ基盤アーキテクチャを紹介し合うという夢のような企画です。 今回は2024前期版を実施します！ 前回、前々回はデータアーキテクチャをテーマとしては異例の参加登録1,000名超えの大盛況なイベ...

はじめまして！ナウキャストでデータエンジニア / データサイエンティストをしている大森 (X: @yukimooori)です。普段はオルタナティブデータを活用した民間統計の作成や、データパイプラインの構築などを行なっています。

## この勉強会について DataOps Night は、運用も含めてデータを用いて価値を出すために奮闘するエンジニアを集めて知見を共有する勉強会です。 "garbage in garbage out"という言葉があるように、データ品質が低くては、データ利活用は不可能です。KPIを管理するにしても、KPIの定義が部署ごとにズレていては意思決定には使えません。機械学習においても、「アルゴリズム...

# みんなの考えた最強のデータ基盤アーキテクチャ2024前半おまとめSP！ 「みんなの考えた最強のデータ基盤アーキテクチャ」はdatatech- jpで集ったデータエンジニアが、みなさんが考える最強のデータ基盤アーキテクチャを紹介し合うという夢のような企画です。 今回は2024前期版を実施します！ 前回、前々回はデータアーキテクチャをテーマとしては異例の参加登録1,000名超えの大盛況なイベ...

PyCon JPは、Pythonユーザが集まり、PythonやPythonを使ったソフトウェアについて情報交換、交流をするためのカンファレンスです。

「自社開発したデータ分析基盤のアセスメントと高度化（三菱地所株式会社）」に関する記事ページです。弊社は、POSデータやクレジットカードの決済データといった「オルタナティブデータ」を解析し、リアルタイムな経済統計の開発、生活者の消費行動や企業活動をより早く正確にとらえるデータソリューションの提供に取り組んでいます。

この記事はFinatextグループ10周年記念アドベントカレンダー5日目の記事です。  昨日は齊藤さんが「愛される会社であり続けるために。人気漫画から見えるヒント」という記事を公開しています。

SnowVillage で開催している Apache Iceberg: The Definitive Guide 輪読会の資料です。 １章 "Introduction to Apache Iceberg" の後半を担当しました。

Traditional data architecture patterns are severely limited. To use these patterns, you have to ETL data into each tool—a cost-prohibitive process for making warehouse features available to all of...

「データサイエンスとデータエンジニアリング両方に興味ある方、雑談しましょう」- 大野巧作さん