[備忘録] Centos 7 に Maven 3.8 をインストールする

ちょっと Apache Maven が必要な事があり、久しぶりにインストールしたので備忘録として残します。

環境は Alibaba Cloud の ECS で OS は CentOS 7.9 を使いました。

Maven の取得

公式 またはミラーからファイルを取得します

# wget https://downloads.apache.org/maven/maven-3/3.8.1/binaries/apache-maven-3.8.1-bin.tar.gz
--2021-04-21 18:12:44--  https://downloads.apache.org/maven/maven-3/3.8.1/binaries/apache-maven-3.8.1-bin.tar.gz
downloads.apache.org (downloads.apache.org) をDNSに問いあわせています... 88.99.95.219, 2a01:4f8:10a:201a::2
downloads.apache.org (downloads.apache.org)|88.99.95.219|:443 に接続しています... 接続しました。
HTTP による接続要求を送信しました、応答を待っています... 200 OK
長さ: 9536838 (9.1M) [application/x-gzip]
`apache-maven-3.8.1-bin.tar.gz' に保存中

100%[===========================================================================================================================================>] 9,536,838   3.11MB/s 時間 2.9s   

2021-04-21 18:12:48 (3.11 MB/s) - `apache-maven-3.8.1-bin.tar.gz' へ保存完了 [9536838/9536838]

Maven の配置

取得したファイルを展開します。
今回は /opt に配置します。

# sudo tar -zxvf apache-maven-3.8.1-bin.tar.gz -C /opt/
apache-maven-3.8.1/README.txt
apache-maven-3.8.1/LICENSE
apache-maven-3.8.1/NOTICE
apache-maven-3.8.1/lib/
apache-maven-3.8.1/lib/cdi-api.license
apache-maven-3.8.1/lib/commons-cli.license
apache-maven-3.8.1/lib/commons-io.license
apache-maven-3.8.1/lib/commons-lang3.license
apache-maven-3.8.1/lib/guava.license
apache-maven-3.8.1/lib/guice.license
apache-maven-3.8.1/lib/jansi.license
apache-maven-3.8.1/lib/javax.inject.license
apache-maven-3.8.1/lib/jcl-over-slf4j.license
apache-maven-3.8.1/lib/jsoup.license
apache-maven-3.8.1/lib/jsr250-api.license
apache-maven-3.8.1/lib/org.eclipse.sisu.inject.license
apache-maven-3.8.1/lib/org.eclipse.sisu.plexus.license
apache-maven-3.8.1/lib/plexus-cipher.license
apache-maven-3.8.1/lib/plexus-component-annotations.license
apache-maven-3.8.1/lib/plexus-interpolation.license
apache-maven-3.8.1/lib/plexus-sec-dispatcher.license
apache-maven-3.8.1/lib/plexus-utils.license
apache-maven-3.8.1/lib/slf4j-api.license
apache-maven-3.8.1/boot/
<以下略>

シンボリックリンクの作成

展開したディレクトリにはバージョン表記などが含まれているので /opt/maven にシンボリックリンクを貼ります。

# sudo ln -s /opt/apache-maven-3.8.1 /opt/maven

# ls -la /opt/
合計 16
drwxr-xr-x.  4 root   root   4096  4月 21 18:16 .
dr-xr-xr-x. 18 root   root   4096  4月 19 10:33 ..
drwxr-xr-x   6 root   root   4096  4月 21 18:14 apache-maven-3.8.1
drwxr-xr-x   9 tomcat tomcat 4096  4月 21 15:52 apache-tomcat-9.0.45
lrwxrwxrwx   1 root   root     23  4月 21 18:16 maven -> /opt/apache-maven-3.8.1
lrwxrwxrwx   1 tomcat tomcat   20  4月 20 10:23 tomcat -> apache-tomcat-9.0.45

環境変数 PATH の設定

PATHに配置したMavenの場所を追加します。

# sudo  echo 'export PATH=$PATH:/opt/maven/bin' >> /etc/profile

# source /etc/profile

# env |grep maven
PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin:/opt/maven/bin

# mvn -version
Apache Maven 3.8.1 (05c21c65bdfed0f71a2f2ada8b84da59348c4c5d)
Maven home: /opt/maven
Java version: 1.8.0_282, vendor: Red Hat, Inc., runtime: /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.282.b08-1.el7_9.x86_64/jre
Default locale: ja_JP, platform encoding: UTF-8
OS name: "linux", version: "3.10.0-1160.15.2.el7.x86_64", arch: "amd64", family: "unix"

Maven のインストールは完了です。
あとは実際にビルドをしてみましょう。

[備忘録] Centos 7 に JDK 8 とTomcat 9 を インストールする

今回は久々に Tomcat インストールしたら色々と忘れていたので初心に戻って手順を残してみます。
そういえば、もう2年くらいJavaとかさわってなかったな・・・

環境は Alibaba Cloud で CentOS 7.9 を使いました。
JDK はとりあえず OpenJDK の1.8です。
11はとりあえず置いておいて、17でたらそっちは改めてやろうかな。

あと、AlibabaのJavaとかも使ってみたい気持ちはあるの

JDK のインストール

yum で入るので yum を使っていきます。
AdoptOpenJDK とか使う場合は この辺 を参考にyum repo を追加してご利用ください。

# sudo yum install java-1.8.0-openjdk-devel

# java -version
openjdk version "1.8.0_282"
OpenJDK Runtime Environment (build 1.8.0_282-b08)
OpenJDK 64-Bit Server VM (build 25.282-b08, mixed mode)

Tomcat の取得

Tomcat は yum からだと少し古いので公式から最新版を取得します。
Tomcat 10 も出ていますが、今回は Tomcat 9 を使います。

# wget https://downloads.apache.org/tomcat/tomcat-9/v9.0.45/bin/apache-tomcat-9.0.45.tar.gz
--2021-04-20 10:22:25--  https://downloads.apache.org/tomcat/tomcat-9/v9.0.45/bin/apache-tomcat-9.0.45.tar.gz
downloads.apache.org (downloads.apache.org) をDNSに問いあわせています... 88.99.95.219, 2a01:4f8:10a:201a::2
downloads.apache.org (downloads.apache.org)|88.99.95.219|:443 に接続しています... 接続しました。
HTTP による接続要求を送信しました、応答を待っています... 200 OK
長さ: 11486964 (11M) [application/x-gzip]
`apache-tomcat-9.0.45.tar.gz' に保存中

100%[==================================================================>] 11,486,964  3.16MB/s 時間 4.0s   

2021-04-20 10:22:30 (2.73 MB/s) - `apache-tomcat-9.0.45.tar.gz' へ保存完了 [11486964/11486964]

取得した tar.gz を /opt に展開します。

# tar -zxvf apache-tomcat-9.0.45.tar.gz -C /opt
apache-tomcat-9.0.45/conf/
apache-tomcat-9.0.45/conf/catalina.policy
apache-tomcat-9.0.45/conf/catalina.properties
apache-tomcat-9.0.45/conf/context.xml
apache-tomcat-9.0.45/conf/jaspic-providers.xml
apache-tomcat-9.0.45/conf/jaspic-providers.xsd
apache-tomcat-9.0.45/conf/logging.properties
apache-tomcat-9.0.45/conf/server.xml
apache-tomcat-9.0.45/conf/tomcat-users.xml
apache-tomcat-9.0.45/conf/tomcat-users.xsd
apache-tomcat-9.0.45/conf/web.xml
apache-tomcat-9.0.45/bin/
apache-tomcat-9.0.45/lib/
apache-tomcat-9.0.45/logs/
apache-tomcat-9.0.45/temp/
apache-tomcat-9.0.45/webapps/
<以下略>

/opt/tomcat にシンボリックリンクを作ります。
バージョンアップ見越しての設定なので検証用なら無くても問題はないですが・・・お作法的な感じ

# sudo ln -s apache-tomcat-9.0.45 /opt/tomcat

# ls -la
合計 11232
drwxr-xr-x.  3 root root     4096  4月 20 10:23 .
dr-xr-xr-x. 18 root root     4096  4月 19 10:33 ..
drwxr-xr-x   9 root root     4096  4月 20 10:22 apache-tomcat-9.0.45
-rw-r--r--   1 root root 11486964  3月 30 18:46 apache-tomcat-9.0.45.tar.gz
lrwxrwxrwx   1 root root       20  4月 20 10:23 tomcat -> apache-tomcat-9.0.45

Tomcat User の作成

Tomcat の実行ユーザーを作ります。

# sudo groupadd -g 53 tomcat

# sudo useradd -M -d /opt/tomcat -s /sbin/nologin -c "Apache Tomcat" -g 53 -G 53 -u 53 tomcat

# sudo id tomcat
uid=53(tomcat) gid=53(tomcat) groups=53(tomcat)

# sudo cat /etc/passwd | grep tomcat
tomcat:x:53:53:Apache Tomcat:/opt/tomcat:/sbin/nologin

tomcat ディレクトリのオーナーを変更します。

# sudo  chown -R tomcat:tomcat /opt/apache-tomcat-9.0.45

# sudo ls -la /opt
合計 11232
drwxr-xr-x.  3 root   root       4096  4月 20 10:23 .
dr-xr-xr-x. 18 root   root       4096  4月 19 10:33 ..
drwxr-xr-x   9 tomcat tomcat     4096  4月 21 15:52 apache-tomcat-9.0.45
-rw-r--r--   1 root   root   11486964  3月 30 18:46 apache-tomcat-9.0.45.tar.gz
lrwxrwxrwx   1 tomcat tomcat       20  4月 20 10:23 tomcat -> apache-tomcat-9.0.45

systemd のユニットファイルの作成

定義ファイルを作成していきます。

# sudo vi /etc/systemd/system/tomcat.service

内容はざっくりこんな感じかな・・・Environment とかは各自の設定に調整を

[Unit]
Description=Apache Tomcat 9
After=syslog.target network.target

[Service]
User=tomcat
Group=tomcat
Type=forking
RemainAfterExit=yes

Environment=CATALINA_PID=/var/run/tomcat.pid
Environment=JAVA_HOME=/usr/lib/jvm/jre
Environment=CATALINA_HOME=/opt/tomcat
Environment=CATALINA_BASE=/opt/tomcat
Environment='CATALINA_OPTS=-Xms512M -Xmx512M -XX:MaxMetaspaceSize=128M -server -XX:+UseConcMarkSweepGC -XX:+UseParNewGC -Djava.awt.headless=true'

ExecStart=/opt/tomcat/bin/startup.sh
ExecStop=/opt/tomcat/bin/shutdown.sh

[Install]
WantedBy=multi-user.target

サービスの起動をしていきます。

# sudo systemctl daemon-reload

# sudo systemctl start tomcat

# sudo systemctl status tomcat -l
● tomcat.service - Apache Tomcat 9
   Loaded: loaded (/etc/systemd/system/tomcat.service; disabled; vendor preset: disabled)
   Active: active (running) since 水 2021-04-21 15:52:13 CST; 5s ago
  Process: 15638 ExecStop=/opt/tomcat/bin/shutdown.sh (code=exited, status=0/SUCCESS)
  Process: 15665 ExecStart=/opt/tomcat/bin/startup.sh (code=exited, status=0/SUCCESS)
 Main PID: 15672 (java)
   CGroup: /system.slice/tomcat.service
           └─15672 /usr/lib/jvm/jre/bin/java -Djava.util.logging.config.file=/opt/tomcat/conf/logging.properties -Djava.util.logging.manager=org.apache.juli.ClassLoaderLogManager -Djdk.tls.ephemeralDHKeySize=2048 -Djava.protocol.handler.pkgs=org.apache.catalina.webresources -Dorg.apache.catalina.security.SecurityListener.UMASK=0027 -Xms512M -Xmx512M -XX:MaxMetaspaceSize=128M -server -XX:+UseConcMarkSweepGC -XX:+UseParNewGC -Djava.awt.headless=true -Dignore.endorsed.dirs= -classpath /opt/tomcat/bin/bootstrap.jar:/opt/tomcat/bin/tomcat-juli.jar -Dcatalina.base=/opt/tomcat -Dcatalina.home=/opt/tomcat -Djava.io.tmpdir=/opt/tomcat/temp org.apache.catalina.startup.Bootstrap start

 4月 21 15:52:13 guacamole2 systemd[1]: Starting Apache Tomcat 9...
 4月 21 15:52:13 guacamole2 systemd[1]: Started Apache Tomcat 9.
 

上記の PID で空けているポート確認してみます。

# ss -tanp |grep 15672
LISTEN     0      1       [::ffff:127.0.0.1]:8005                  [::]:*                   users:(("java",pid=15672,fd=69))
LISTEN     0      100       [::]:8080                  [::]:*                   users:(("java",pid=15672,fd=57))

8005, 8080 ポートで待ち受けているので Tomcat もちゃんと起動していそうですね。
また、ブラウザからアクセスできる状態であれば以下の様な画面が確認できるはずです。
※何もしていなければ http://IPアドレス:8080 なのでポート開放（クラウドだとセキュリティグループ）されていれば繋がるかと思います。

以上、JDK と Tomcat インストールでした、久々だと細かい部分忘れてしまってますね。

Amazon S3 のSDKで書かれたコードで Alibaba Cloud OSS を操作できるか試してみたよ！

Alibaba Cloud OSS(Object Storage Service) は部分的に S3 APIとの互換性があるとしています。

基本的なバケットの一覧取得やオブジェクトのアップロード、ダウンロード、ACLの付与などをAWS SDK for Python (Boto3) を使って同じコードで動作するか簡単に実験してみました。

詳細な対応に関しては Seamlessly migrate data from Amazon S3 to Alibaba Cloud OSS をご覧ください。

Compatible S3 operations

バケット操作：

• Delete Bucket
• Get Bucket (list objects)
• Get Bucket ACL
• Get Bucket lifecycle
• Get Bucket location
• Get Bucket logging
• Head Bucket
• Put Bucket
• Put Bucket ACL
• Put Bucket lifecycle
• Put Bucket logging

オブジェクト操作：

• Delete Object
• Delete Objects
• Get Object
• Get Object ACL
• Head Object
• Post Object
• Put Object
• Put Object Copy
• Put Object ACL

マルチパート操作：

• Abort Multipart Upload
• Complete Multipart Upload
• Initiate Multipart Upload
• List Parts
• Upload Part
• Upload Part Copy

今回書いたコードは簡単ですがこちらにあります。

S3用とOSS用で少しだけ変えないといけない部分があるので、それぞれ用にコードを分けています。
差分はこんな感じです。今回のポイントはこの差分の部分ですね。
endpoint_url の追加と profile の追加で実現可能でした。

認証情報は .aws/credentials .aws/config を使います。

.aws/credentials

[default]
aws_access_key_id = AWSのアクセスキー
aws_secret_access_key = AWSのシークレット

[alibaba]
aws_access_key_id = Alibaba Cloudのアクセスキー
aws_secret_access_key = Alibaba Cloudのシークレット

 .aws/config

[default]
region = ap-northeast-1

[alibaba]
region　= ap-northeast-1 

ちなみに S3 と OSS はほ同じ様な機能がありますが、管理コンソールの雰囲気の違いはこんな感じです

S3

OSS

1.バケット一覧の取得

まず最初にバケット一覧の取得をしてみました。

for bucket_list in s3.buckets.all():
    print(bucket_list.name)

以下のような結果が返ってきました。

コンソールを見に行くと同様のバケットがあるのでバケット一覧の取得は問題ないようです。

2.オブジェクトアップロード

次にACLを設定してのオブジェクトアップロードをしてみました。

bucket.upload_file(KEY,UPLOAD_FILE,ExtraArgs={'ACL': 'public-read'})
obj = bucket.Object(UPLOAD_FILE)

ヘッダーが x-amz-XXXX としてリクエストが飛びますが、問題なくOSSへのアップロードは出来ました。

アップロード確認

S3

OSS

3.オブジェクトダウンロード

アップロードしたファイルを名前をつけてダウンロードしてみました。

bucket.download_file(UPLOAD_FILE,DOWNLOAD_FILE)

問題なくリクエストは実行されファイルがダウンロードされました。

今回は簡単に AWS SDK for Python (Boto3) を使って Alibaba Cloud OSS の基本的な操作ができるか試してみました 。
互換APIと言う事だったので特殊な事をしない基本的な部分は大丈夫そうですね。

事例などがあまり無かったので試してみましたが参考になれば幸いです。

Alibaba Cloud PolarDB のリソース自動運用機能（スケールアップ / スケールダウン）を実験してみたよ！

Alibaba Cloud PolarDB のオートスケール（スケールアップ / スケールダウン）を実験してみたよ！

クラウドでよく使うオートスケールはインスタンスの増減（スケールアウト / スケールイン）のイメージ月用ですよね

実は Alibaba Cloud PolarDB の Auto Scaling 機能はインスタンスの増減と拡大・縮小（スケールアップ / スケールダウン）にも対応していました。Database Autonomy Service（DAS）という、運用支援系のサービスと連動して設定されるので気付いてなかったのですが、今回ちょっとさわってみました。

結果としては以下の様な形でうまく動作していました、設定などを少し見ていきます。

ちなみに Database Autonomy Service（DAS）は結構優秀なサービスなので是非さわって見て欲しいです
基本は無料ですし（オプション機能は有料です）

設定画面は以下の様なシンプルなものになっています。

「Automatic Scale-out」「Automatic Scale-In」という設定項目名になっていて分かりにくいのですが、 「Maximum Specifications」とある様にインスタンススペックの上限指定をすることでスケールアップ・スケールダウンも自動で行われる様になります。

詳細に関してはこちらのドキュメントもご確認ください。

Database Autonomy Service (DAS) provides the auto scaling feature. During peak hours, DAS automatically scales up a database instance to handle traffic peaks and ensure business stability. DAS monitors the CPU utilization of the database instance in real time. If the CPU utilization per unit of time decreases, DAS automatically scales down the database instance. This topic describes how to enable the auto scaling feature.

Database Autonomy Service (DAS) > Autonomy Center > Auto scaling

さて、オートスケールの実験をするには、ある程度の負荷をDBに掛ける必要があるのでその準備もします。

MySQL公式のサンプルデータ「world_x」を Data Management Service （DMS）を使ってインポート

さらに Data Management Service （DMS）の機能「Test Data Generate」を使って100万レコード増やしました。
この機能、テーブル構造に合わせてそれっぽいデータが作られるのでテスト用途には便利でよく使ってます。

「Skip when encountering data conflicts」の設定があるせいか100万レコードに少し足りませんが、そこそこのデータ量が出来たのでちょっと無駄にDBに負荷をかけて見たいと思います。
※100万レコードくらいだと余裕なので実際はもっとデータを増やしました

Data Management Service （DMS）も個人的には地味に利用頻度が高いサービスです。
こいつも基本は無料ですし・・・（オプション機能は有料です）
コンソールからSQLファイルを読み込ませたりクエリを実行できるのは楽ですね、

冒頭にも出したオートスケールの結果を見ていきたいと思います。

17:00 ~ 19:00 の期間内でスケールアウト -> スケールアップ -> スケールダウン -> スケールインが順次自動で実行されています。
Quiescent Period がクールダウンタイムになるので30分間隔で次ステップの実行が行われていますね。

1個目のイベントは17:13で自動スケールアウトで読み取り専用ノードが追加されています。

2個目のイベントは30分後の17:43で自動スケールアップで 2Core,8GiB から 4Core,16GiB にスペックアップされています。

3個目のイベントは負荷が下がってから30分後の18:16で自動スケールダウンで 4Core,16GiB から 2Core,8GiB にスペックダウンされています。

4個目のイベントは約30分後の18:50で自動スケールインで読み取り専用ノードが削除されています。

今回は簡単ですが Alibaba Cloud PolarDB と Database Autonomy Service（DAS）によるリソース自動運用の動作検証でした。
Data Management Service （DMS）を含め、それぞれのサービスは特徴的な部分もイロイロあるので新ためて紹介をしていきたいな。

Alibaba Cloud PolarDB のリソース自動運用機能（スケールアップ / スケールダウン）を実験してみたよ！

Alibaba Cloud PolarDB のオートスケール（スケールアップ / スケールダウン）を実験してみたよ！

クラウドでよく使うオートスケールはインスタンスの増減（スケールアウト / スケールイン）のイメージ月用ですよね

実は Alibaba Cloud PolarDB の Auto Scaling 機能はインスタンスの増減と拡大・縮小（スケールアップ / スケールダウン）にも対応していました。Database Autonomy Service（DAS）という、運用支援系のサービスと連動して設定されるので気付いてなかったのですが、今回ちょっとさわってみました。

結果としては以下の様な形でうまく動作していました、設定などを少し見ていきます。

ちなみに Database Autonomy Service（DAS）は結構優秀なサービスなので是非さわって見て欲しいです
基本は無料ですし（オプション機能は有料です）

設定画面は以下の様なシンプルなものになっています。

「Automatic Scale-out」「Automatic Scale-In」という設定項目名になっていて分かりにくいのですが、 「Maximum Specifications」とある様にインスタンススペックの上限指定をすることでスケールアップ・スケールダウンも自動で行われる様になります。

詳細に関してはこちらのドキュメントもご確認ください。

Database Autonomy Service (DAS) provides the auto scaling feature. During peak hours, DAS automatically scales up a database instance to handle traffic peaks and ensure business stability. DAS monitors the CPU utilization of the database instance in real time. If the CPU utilization per unit of time decreases, DAS automatically scales down the database instance. This topic describes how to enable the auto scaling feature.

Database Autonomy Service (DAS) > Autonomy Center > Auto scaling

さて、オートスケールの実験をするには、ある程度の負荷をDBに掛ける必要があるのでその準備もします。

MySQL公式のサンプルデータ「world_x」を Data Management Service （DMS）を使ってインポート

さらに Data Management Service （DMS）の機能「Test Data Generate」を使って100万レコード増やしました。
この機能、テーブル構造に合わせてそれっぽいデータが作られるのでテスト用途には便利でよく使ってます。

「Skip when encountering data conflicts」の設定があるせいか100万レコードに少し足りませんが、そこそこのデータ量が出来たのでちょっと無駄にDBに負荷をかけて見たいと思います。
※100万レコードくらいだと余裕なので実際はもっとデータを増やしました

Data Management Service （DMS）も個人的には地味に利用頻度が高いサービスです。
こいつも基本は無料ですし・・・（オプション機能は有料です）
コンソールからSQLファイルを読み込ませたりクエリを実行できるのは楽ですね、

冒頭にも出したオートスケールの結果を見ていきたいと思います。

17:00 ~ 19:00 の期間内でスケールアウト -> スケールアップ -> スケールダウン -> スケールインが順次自動で実行されています。
Quiescent Period がクールダウンタイムになるので30分間隔で次ステップの実行が行われていますね。

1個目のイベントは17:13で自動スケールアウトで読み取り専用ノードが追加されています。

2個目のイベントは30分後の17:43で自動スケールアップで 2Core,8GiB から 4Core,16GiB にスペックアップされています。

3個目のイベントは負荷が下がってから30分後の18:16で自動スケールダウンで 4Core,16GiB から 2Core,8GiB にスペックダウンされています。

4個目のイベントは約30分後の18:50で自動スケールインで読み取り専用ノードが削除されています。

今回は簡単ですが Alibaba Cloud PolarDB と Database Autonomy Service（DAS）によるリソース自動運用の動作検証でした。
Data Management Service （DMS）を含め、それぞれのサービスは特徴的な部分もイロイロあるので新ためて紹介をしていきたいな。