データ管理に役立つメタデータに関する勉強会を社内外で開催しました

こんにちは、データ基盤グループの吉田(id:syou6162)です。先日、モノタロウ社内で「データ管理に役立つメタデータ」に関する勉強会を開催しました。BigQueryのINFORMATION_SCHEMAを中心とした実例を豊富に盛り込んだ内容について話したのですが、社内に限らず有用な内容であると思うので、広く公開します。

開催に至った背景

モノタロウ社内では広くデータ活用が進んでおり、GCPのプロジェクトは数百以上運用され、その中の多くのプロジェクトでBigQueryも使われています。社内に広く提供するDWHやセキュリティなど全社的なデータ基盤に関することはデータ基盤グループが運用/管理を行なっていますが、社内のGCPプロジェクト全てのデータ管理にデータ基盤グループが深く関わっていくのは工数的に困難です*1

INFORMATION_SCHEMAなどデータ管理に役に立つメタデータのノウハウを知っている人はすでに社内に点在していましたが「まとまった資料にして広く共有すると社内の効率的なデータ管理をサポートできるのではないか」と思い、社内での勉強会を開催することにしました。勉強会当日はエンジニア以外にも商品企画、カスタマーサポート、サプライチェーンマネジメント、管理部門など様々な部門からの参加がありました。

また、モノタロウ用に作り込んでいる部分は一部あるものの、全般的に社外でも役に立つ内容が多かったため、データエンジニアリングやデータ活用の知見を共有する社外のコミュニティであるdatatech-jpのCasual Talksでも発表しました(イベントの主催者、コミュニティの運営の一人でもあります)。冒頭のスライドはそこで発表した内容になっています。

最後に

データ基盤グループでは、このようにデータ管理のノウハウを社内(外)で共有するなど、社内のデータ活用を一段階上げる取り組みを日々行なっています。こういったデータ管理の仕事に一緒に取り組んでいただけるメンバーを募集しています。本記事にグッと来た方は是非ご応募お願いします。

hrmos.co

また、カジュアル面談も受け付けておりますので、データ管理やモノタロウについて質問や議論したいというかたはこちらのフォームからご応募お願いします。

*1:CAIを使ったセキュリティガードレールを提供し、モノタロウ独自に決めたセキュリティポリシーから逸脱しないように工夫しています