※本記事は、Bardによる意訳+翻訳を活用し、レイアウト調整したものです。
※感想は、オリジナルです。
原文
Data Engineering Roadmap 2023 - DEV Community
意訳+要約
2023年のデータエンジニアリングのロードマップ
概要
本ブログは、2023年のデータエンジニアリングのロードマップについて、以下の内容をまとめています。
- データエンジニアリングとは何か
- 2023年のデータエンジニアリングのトレンド
- データエンジニアになるための学習方法
データエンジニアリングとは
データエンジニアリングとは、データの収集、処理、分析、可視化を行うための技術やプロセスの設計、開発、運用を行う職種です。データエンジニアは、企業や組織がデータから価値を引き出すために不可欠な存在です。
2023年のデータエンジニアリングのトレンド
2023年のデータエンジニアリングのトレンドとしては、以下のようなものが挙げられます。
データエンジニアになるための学習方法
データエンジニアになるためには、以下のスキルを身につける必要があります。
これらのスキルを身につけるためには、以下の学習方法が有効です。
まとめ
データエンジニアリングは、データサイエンスや機械学習の基盤となる重要な技術です。2023年のデータエンジニアリングのロードマップを参考に、データエンジニアとしてのキャリアをスタートしましょう。
特に重要な部分
- データエンジニアリングは、データの収集、処理、分析、可視化を行うための技術やプロセスの設計、開発、運用を行う職種です。
- 2023年のデータエンジニアリングのトレンドとしては、クラウドデータプラットフォームの普及、データサイエンスとの融合、データの民主化が挙げられます。
- データエンジニアになるためには、プログラミング言語、データベース、データウェアハウス/データレイク、機械学習/人工知能、クラウドコンピューティングのスキルを身につける必要があります。
感想
トレンドを見てると、おそらくAI自動生成関連のワードと思われるものがある気がする。
データの民主化とか、もろ画像生成AIから来てると思う。
データエエンジニアリングに何が足りてないか考えると、データレイクと機械学習の知識が圧倒的に足りてない気がする。特に後者。
クラウドコンピューティングは、やったことは少ないけど、ある程度なんとかなるのではないかという自身はある。
理由としては、ある程度設計の概念について習熟しているのと、実装実績・実装パターンの習熟ができているから。
問題は、足りてないところをどう補うかだな。。。
特に、機械学習本は、いくつか手を出しているけど、まだコレだっていう納得できる本に出会ってない。
何がわからないのか分からない状態なので、暗中模索してる。
良書と言われているのを読んだけど、おそらく前提知識が足りてない気がするんだよね。。。
コミュニティに参加しろってのは、個人的にハードル高い。
ただでさえ、人前に出てしゃべりたくないというのに、人と関わるのは厳しい。
コツコツデータ集めて、自分の研究ラボみたいなのを作ってみようかなとは思ってる。
