SE の雑記

SQL Server の情報をメインに Microsoft 製品の勉強内容を日々投稿

SQL Server 2019 CTP 2.2 の Big Data Cluster を支えるソフトウェア

leave a comment

SQL Server 2019 の新機能である Big Data Cluster は Kubernetes 上に展開された SQL Server on Linux をインタフェースとして、Hadoop のエコシステムを活用することができるデータ分析基盤になります。
いままで触ってこなかったソフトウェアが大量に含まれていたので、軽くまとめた一覧を。
コンポーネントが多いので、HDInsight のように、まとまった情報が欲しいですね。

役割

ソフト

バージョン

URL

実行基盤

Kubernetes

1.10 以降

https://kubernetes.io/

リバースプ
プロキシ

nginx

nginx version: nginx/1.10.3 (Ubuntu)

https://nginx.org/en/

https://nginx.org/en/docs/

データ
分析基盤

Apache Hadoop

Hadoop 2.9.1
(HDP :
2.6.4.0-91)

https://hadoop.apache.org/

http://hadoop.apache.org/docs/current/

 

Apache Hive

1.2.1

https://hive.apache.org/

https://cwiki.apache.org/confluence/display/Hive/LanguageManual

 

Apache Livy

0.5.0

https://livy.incubator.apache.org/

 

Apache Spark

2.3.1

https://spark.apache.org/
https://spark.apache.org/docs/latest/

認証
セキュリティ

Apache Knox

1.1.0

https://knox.apache.org/

https://knox.apache.org/books/knox-1-1-0/user-guide.html

 

Apache Ranger

0.7.0.2.6.4.0-9

https://ranger.apache.org/

ログ収集
分析基盤

Fluent Bit

Fluent-Bit v0.13.5

https://fluentbit.io/

https://docs.fluentbit.io/manual/

 

Kibana

6.3.1

https://www.elastic.co/jp/products/kibana

https://www.elastic.co/guide/en/kibana/current/index.html

 

Elastic Search

6.3.2

https://www.elastic.co/jp/products/elasticsearch

https://www.elastic.co/guide/en/elasticsearch/reference/current/index.html

 

Grafana

Version 5.2.2
(commit: aeaf7b2)

https://grafana.com/

http://docs.grafana.org/

 

InfluxDB

1.5.3

https://www.influxdata.com/

https://docs.influxdata.com/influxdb/

 

Telegraf

1.6.0

https://www.influxdata.com/
https://docs.influxdata.com/telegraf/

 

Collectd

5.5.1

https://collectd.org/

https://collectd.org/documentation.shtml

プロセス
コントロール

Supervisor

3.2.0

http://supervisord.org/

Share

Written by Masayuki.Ozawa

1月 24th, 2019 at 9:40 am

Posted in SQL Server

Tagged with ,

Leave a Reply