コンピュータ工学および情報技術ジャーナル

リアルタイムビッグデータ分析の応用

ヨッヘン・ブロム

世代の発展により、データがあふれ、より洗練されたデータ保存システムが必要になりました。印刷機の発明から宇宙探査によるデータの自動取得までの技術的進歩が、データ爆発を引き起こしました。複製困難なデータと磁気テープの両方を含むデータ倉庫の数がますます増えていることから、何らかの方法でデータ量を圧縮しながらその内容を維持する必要があることがわかりました。データ爆発を超えてデータの増加を抑える必要性が重要になり、このデータの増加を説明するために、視覚化に関する会議の会議で初めてビッグデータという用語が使用されました。このセッションでは、視覚化したい単一のデータ セットがメイン メモリの容量を超える場合はアウトオブミドル視覚化、単一のデータ セットがローカル メモリとディスクの容量を超える場合はリモート アウトオブミドル視覚化というソリューションを提案しました。データ量の増加には、いくつかの要因が寄与しています。データは有形のリソースになりつつあり、廃棄されることはありません。その結果、時間の経過とともに保存されるトランザクションベースのデータ、ソーシャルメディアから流入する非構造化データ、センサーやデバイス間のデータが蓄積され、オンラインストレージのショッピングを通じて処理されるデータ量の増加に貢献しています。階層型ストレージシステムの実施、データ管理のアウトソーシング、データソースのプロファイリングなどのさまざまな戦略が採用されています。これまではデータの保存が主な課題でしたが、ストレージコストの削減に伴い、大量のデータから関連性を判断する方法や、分析を使用して関連データから価値を生み出す方法など、他の課題も浮上しています。