Clue Technologies – テクノロジーでデータに価値を創造する

Profile

プロフィール

須賀秀和 (Hidekazu Suga)
フリーランスエンジニア

分散処理システムの開発やデータ分析基盤の導入を技術面から支援しています
Java・Pythonでのシステム開発・PM/PMO支援・SaaSの導入、クラウドインフラ構築の実績あります

2023/1～2023/6
SalesforceやHRMOS、NetSuiteなど社内で利用しているクラウドSaaSサービスや自社内のデータを分析するため、FivetranとSnowflake、dbtのモダンデータスタックによるデータ分析基盤を導入した。dbtでのモデル作成における開発標準を作成し、社内のBI環境からデータを利活用するためのデータワークロードの整備を支援した
（Snowflake/Fivetran/dbt/Terraform）
2023/1～2023/3
データハブ基盤を構築するため、DataMeshアーキテクチャを参考にしてSnowflakeを検証。業務別のドメインにデータベースを分割し、他ドメインで利用可能なアクセス制御設定を行い、業務担当がS3へのファイルアップロードをトリガーとして、ECS上のdbtジョブを実行し他ドメインに公開可能なプロダクトデータを作成。実行環境はAWSのVPCやセキュリティ設定、LambdaやECSなどのサーバーレスサービスの登録、Snowflake環境も含めTerraformで構築し自動化
（Snowflake/AWS Labmda/ECS/dbt/Terraform）
2022/09～2022/12
Salesforceとデータ分析基盤を同期するため、Fivetran・Hightouchサービスを検証し、運用や保守にかかるコストの低減や拡張性といった導入効果を提示。Salesforceの数式項目を同期するためdbtによる変換処理の実装も行った
（Databricks/Fivetran/Hightouch/dbt）
2022/01～2022/08
顧客側担当と並走して全社データ分析基盤としてDatabricksを導入。実テーマでPoCから導入効果を提示し本番稼働。
SaaSサービス運用設計としてSSOやデータアクセス制御、システム連携のためのAPI開発、トレーニング等を実施
（Databricks/Snowflake/APIGateway/Lambda）

2019/05～2021/12
グループ全社のデータを収集し、データカタログ化、データ分析業務を行うためのDX基盤をアーキテクトの立場で支援。AWSサービスを活用し、データレイク・データマート・機械学習実行環境を導入。ワークローエンジンの導入と設計、データレイク処理の開発標準化・CI/CD整備などを実施
（Digdag/EMR/ECS/Glue/Athena/CodeCommit/CodePipeline/Infomatica/Databricks/Snowflake/Tableau）
2018/11～2019/04
大規模データによる次世代データベースの検証。現状業務分析結果をもとにデータフロー設計を行いPoC対象を抽出し、実データを用いて数十台のHadoopクラスタとSparkによるベンチマークを取得。
（Hadoop/PostgreSQL/SparkSQL）
2018/08～2018/10
SQLバッチ処理の高速化支援。SQLServerのストアドプロシージャを解析し、Hadoopバッチ処理にコンバージョン。2時間50分のバッチ処理を4分に短縮。
（SQLServer/Hadoop/AWS EMR）
2011/10～2016/03
Oracle PL/SQLで構築された原価計算バッチ処理システムをHadoop・AWSクラウド上に再構築。計算結果を活用して生産管理・品質管理・在庫システムデータと組み合わせて実績値をBIソリューションで見える化。プロジェクトマネージャとして顧客側担当と並走して対応した。
（Hadoop/AWS EMR/RDS/Javascript ExtJS）
2010/02～2011/06
アパレル通販ECサイトリニューアル。中長期目標の運営・システムのあるべき姿を反映した新業務プロセス、ECサイト要件、投資対効果分析、ベンダーへのRFP提示・ベンダー選定、製品評価を実施。ベンダー選定後もECサイト構築要件定義を顧客側で支援
2009/07～2009/11
流通BMS対応基盤ミドルウェアの中核となるEDI機能の基本設計から開発、テスト、導入を担当。業務APに通信プロトコルを意識させずに内部ではJX、ebMS、FTPプロトコルをサポートし、追加が容易な設計を行った
（Java/Ant/Trac/SVN/Oracle/IIS）
2008/12～2009/06
流通BMS対応の自社プロダクトとなるWebEDIシステムの開発。システム要件定義、設計、開発、テスト、導入、マニュアル作成。Web業務画面、受注・請求・Web帳票・FAX送信機能を担当
（Java/Apache/tomcat/Sybase/Solaris）
2007/03～2008/11
大手不動産仲介ポータルサイトを構築。PJメンバー10名程度のプロジェクトマネジメントを担当。要件定義、見積り、設計、リスク・進捗管理、アーキテクチャ設計、環境、運用保守、UMLによるオブジェクト設計による開発を実施
（JSP/Spring/Hibernate/Tomcat/Apache）
2005/05～2006/01
自社プロダクトとなるデジタルコンテンツ配信プラットフォームサービスを開発。動画配信・決済機能のアーキテクチャ設計、初期開発からサービス開始、運用までを経験
（Windows2003 Server/C#/ASP.NET/Oracle/IIS）

CaseStudy

事例紹介

総合商社向けグループデータ分析基盤構築支援

グループ各社より連携したデータをレイクに蓄積してデータをカタログ化、データサイエンティストがアドホックに分析できるデータと環境を準備
需要予測処理を定型処理として実行するため、ワークフローを構築。EMRによる並列分散処理やコンテナ上で並列に予測することで将来のデータ・処理計算量の増加にも対応可能な分析基盤を構築

Databricks導入支援

顧客側担当と並走して全社ビジネスアナリティクス基盤としてDatabricksを導入。多要素認証とSSOに対応するため、社内のAzureActiveDirectoryと連携
ユーザーや部署によってデータアクセス制限を行うため、利用申請に基づいてAPIでデータ管理用の個別リソース（S3バケット、DeltaLakeスキーマ、クラスタ）を作成するしくみを導入

Modern Data Stack導入支援

Modern Data Stackはクラウドネイティブなデータプラットフォームを構成するテクノロジーの集合体を指し、従来のデータプラットフォームの運用における複雑さを軽減することを目的として昨今、注目されてきています
Salesforceからデータ分析基盤へのデータ連携とIoTデータをSalesforceへ連携するため、SaaSサービスを活用
- FivetranはSalesforceの数式フィールドを含むデータをDatabricksのUnityCatalogへ同期してdbtによる変換処理を実装
- HightouchはIoTデータを利用してリバースETL処理を行い、Salesforceへ書き戻します