【Docker】docker-machine 部署到 aws

Posted on 2017-07-15

使用 docker-machine 部署 docker 到 aws

參考 : https://docs.docker.com/machine/drivers/aws/
指令參數表 : https://docs.docker.com/machine/drivers/aws/#options
- 有些預設的參數要注意，如果沒有指定的情況下，會依照預設參數來建立 aws instance
  - ex : ami, region, zone, group, instance-type, device-name, root-size, volume-type, ssh-user, request-spot-instance, spot-price, use-private-address, private-address-only, monitoring, use-ebs-optimized-instance, retries

其他部署文章參考

nvidia-docker Deploy on Amazon EC2 : https://github.com/NVIDIA/nvidia-docker/wiki/Deploy-on-Amazon-EC2

aws credentials

登入 aws
進入 IAM
選擇 user
給予需要使用的權限，在這邊選擇 ec2
取得該 user 的 AWS Access Key ID 與 AWS Secret Access Key
在使用 docker-machine 前，可使用以下兩種方法
1. 通過 aws credentials 來設定 AWS Access Key ID 與 AWS Secret Access Key，建立的方法也有兩種
  1. 可透過 awscli，通過指令 aws configure 可協助設定好
  2. 也可直接建立 ~/.aws/credentials，顯示格式如下
    1
    2
    3
    [default] aws_access_key_id = AKID1234567890 aws_secret_access_key = MY-SECRET-KEY
2. 可透過 docker-machine : $ docker-machine create --driver amazonec2 --amazonec2-access-key AKI******* --amazonec2-secret-key 8T93C******* aws01 來建立 docker-machine 的機器

測試建立

docker-machine create --driver [instance_Name] : 注意 default 參數值
- zone : us-east-1
- instance-type : t2.micro
- root-size : 16
- volume-type : gp2
- ssh-user : ubuntu
- 其他資訊請參考 docker-machine 說明

指定部分的參數操作 :

docker-machine create --driver amazonec2 \
                --amazonec2-region us-west-2 \
                --amazonec2-zone b \
                --amazonec2-ami ami-efd0428f \
                --amazonec2-instance-type p2.xlarge \
                --amazonec2-vpc-id vpc-*** \
                --amazonec2-access-key AKI*** \
                --amazonec2-secret-key *** \
                aws01

未完待續

【Docker】use sublime to edit file in docker

Posted on 2017-07-05 | In Docker , Sublime

sublime 編輯 docker 中的檔案

docker 是個好物的原因在於，環境的穩定，無論遷移到哪個環境中，都可以保持穩定性，debug 也方便許多

但如何直接編輯 docker 建立後的 file？透過 docker 中的 volume 設定好 application 與 docker 中的位置，就可以直接動態變更 docker 中的檔案資訊

ex : php / phalcon / docker

Docker Engine >= 1.10.0 * Docker Compose >= 1.6.2

git clone git@github.com:phalcon/phalcon-compose.git
cp variables.env.example variables.env
docker-compose up -d
開啟網頁 localhost:80
建立檔案 ./phalcon-compose/application/public/hello.php
- <?php echo "world"; ?>
開啟網頁 localhost/hello.php

【RTMP】youtube to rtmp

Posted on 2017-06-24 | In RTMP

目的

將 youtube 的影片傳給 rtmp server 進行串流

how

找到 youtube 的影片
進行轉檔為 mp4 : https://www.onlinevideoconverter.com/zh/success?id=b1d3e4d3e4d3g6b1
- 或者利用各種轉檔方式
- 可下載為 file 也可直接抓取 url (但注意 url 會過期)
- 或者把影片存成 mp4 後，放到 server 上
docker run --rm jrottenberg/ffmpeg:ubuntu -re -i http://... -vcodec libx264 -preset ultrafast -acodec libfaac -f flv rtmp:...
- -re : Read input at native frame rate. Mainly used to simulate a grab device. or live input stream (e.g. when reading from a file). Should not be used with actual grab devices or live input streams (where it can cause packet loss). By default ffmpeg attempts to read the input(s) as fast as possible. This option will slow down the reading of the input(s) to the native frame rate of the input(s). It is useful for real-time output (e.g. live streaming).
- http://... : 輸入的 mp4 影片位置，也可用 file 來替代
- rmpt://... : 要串流的 rtmp server 位置

【Player】HLS.js / video.js / jwplayer

Posted on 2017-06-21

rtmp live

使用 video.js 的 issue

播放後，影片會在左上角，與 player size 不符合

bug fixed : https://github.com/videojs/video-js-swf/issues/55
1. 下載 https://github.com/digitalStyx/video-js-swf/blob/master/bin-debug/VideoJS.swf 到本地後
2. 在 head 中加入
  1
  2
  3
  <script> videojs.options.flash.swf = "VideoJS.swf"; </script>
3. 使用參考 : https://coolestguidesontheplanet.com/videodrome/videojs/

hls playback

如何進行 offset

document : https://tools.ietf.org/html/draft-pantos-http-live-streaming-18#section-4.3.5.2

version 6 以上
use like below : #EXT-X-START:TIME-OFFSET=2

#EXTM3U
#EXT-X-VERSION:7
#EXT-X-ALLOW-CACHE:YES
#EXT-X-TARGETDURATION:7
#EXT-X-MEDIA-SEQUENCE:1
#EXT-X-START:TIME-OFFSET=2

#EXTINF:7, 
1498008625670.ts
#EXTINF:6, 
1498008631711.ts
#EXTINF:6, 
1498008637927.ts

注意播放器要支援解析, EX: https://github.com/jhaoheng/html5_hls_test/blob/master/hls.html

jwplayer 使用 flash 播放 hls / rtmp

jwplayer 提供 http / https 的網頁測試
- http : http://demo.jwplayer.com/developer-tools/http-stream-tester/
- https : https://developer.jwplayer.com/tools/stream-tester/
要讓 jwplayer 透過 flash 支援 hls 的播放，需要加入 crossdomain.xml 檔案
- 要注意的是，crossdomain.xml 的檔案內容，請勿一次全部 copy，盡量用輸入的，輸入完畢後，透過 browser 顯示，不然有可能會發生，檢查 cros 正確，但 jwplayer 會無法解析的問題，猜測應該是 copy 時，貼上帶入了奇怪的字元
若用 jwplayer，不指定類型，則 jwplayer 會自動根據內容自動切換 flash / html5 的播放類型，如此一來就不用特別使用 crossdomain.xml，只需在 nginx.conf 中設定 crossdomain 即可

【AWS-S3】多檔案上傳

Posted on 2017-06-07

env

aws sdk php v3
php 7.0x

ex

require './vendor/autoload.php';
use Aws\S3\S3Client;
use Aws\Exception\AwsException;
use Aws\CommandPool;

$access_key = "";
$secret_access_key = "";
$bucket = "";

$client = S3Client::factory([
        "region" => "ap-northeast-1", // tokyo
        "version" => "latest", 
        'credentials' => [
            'key'    => $access_key,
            'secret' => $secret_access_key,
        ],
    ]
);

$commands = array();

$binary = file_get_contents('./images/1.jpg');
$commands[] = $client->getCommand('PutObject', [
        'Bucket' => $bucket,
        'Key'    => 'photos/photo01.jpg',
        'Body'   => $binary
    ]
);

$commands[] = $client->getCommand('PutObject', [
        'Bucket' => $bucket,
        'Key'    => 'photos/photo02.jpg',
        'Body'   => $binary
    ]
);

$pool = new CommandPool($client, $commands);
// Initiate the pool transfers
$promise = $pool->promise();

// Force the pool to complete synchronously
try {
    $result = $promise->wait();
} catch (AwsException $e) {
    // handle the error.
}

【Docker】ENV

Posted on 2017-06-07

env 環境變數

當用 docker 設定環境變數 docker 會將變數透過 bash 建立變數，並將變數 export 故在設定 docker env 後，運行 docker，可以透過 export -p 查看所有環境變數

index.php

<?php  
echo getenv("helloEnv").PHP_EOL;
echo getenv("go").PHP_EOL;

step

docker pull jhaoheng/php_env:v1.2
// 建立 container, 設定 env
docker run -dt -e "helloEnv=sure" -e "go=ok" [image_id]
// 查看 container 中的環境變數
docker exec d11d88d32 bash -c export -p
// 放入 index.php
docker cp index.php [container_id]:/home
// 透過 php 取得環境變數
docker exec [container_id] php /home/index.php

設計模式

設定好環境變數
設定好取得環境變數的模板
在運行 docker container 時，自動依據環境變數，建立起 config

【SRS-release2.0】docker with centos7.3

Posted on 2017-05-31 | In SRS , Docker

環境

srs 2.0
centos7.3

完成品

https://hub.docker.com/r/jhaoheng/srs-release2.0/
docker run -d -t -p 1935:1935 {image}
位置 : /opt/srs/trunk，執行 srs 即可

base

docker pull centos:latest
docker run -d -t -p 1935:1935 [centos:latest]
docker exec -it [container] /bin/bash

安裝

yum update
required
- yum install -y gcc
- yum install -y gcc-c++
- yum install -y make
- yum install -y patch
- yum install -y unzip
- yum install -y pcre-devel
- yum install -y automake
- yum install -y libtool
- yum install -y zlib-devel
git clone [source]
安裝 ./trunk/3rdparty/CherryPy-3.2.4
- unzip ./trunk/3rdparty/CherryPy-3.2.4.zip && mv CherryPy-3.2.4 ../objs/
compile srs : ./configure --full --with-ffmpeg --with-research && make
- ./configure -h : 可查看所有安裝選項
start srs : ./objs/srs -c conf/srs.conf

測試

tail -f ./trunk/srs.log
將桌面的畫面推送給 docker:srs
- ffmpeg -f avfoundation -i "1" -vcodec libx264 -preset ultrafast -acodec libfaac -f flv rtmp://localhost:1935/live/desktop
透過 VLC 播放 rtmp://localhost:1935/live/desktop

【HLS】m3u8 在直播上，播放器詢問次數測試

Posted on 2017-05-28 | In HLS

hls m3u8 詢問次數測試

目的 : 確認播放器在播放 hls 時，更新 m3u8 的機制與時間點

環境

php
nginx
aws s3
aws dynamoDB
VLC player

流程設計

預先儲存
- 影片(.ts)到 aws s3
- 資訊到 aws dynamoDB
從 api 給予時間與 key，搜尋影片片段，建立 m3u8 檔案，回傳給播放器
- 每次播放器，進行要求建立 m3u8 時，寫入 log 紀錄要求的時間
查詢 log

第一次建立的 m3u8 file, 每次詢問時都給予相同的 m3u8 檔案

#EXTM3U
#EXT-X-VERSION:3
#EXT-X-ALLOW-CACHE:YES
#EXT-X-TARGETDURATION:8.334
EXT-X-MEDIA-SEQUENCE:1
#EXTINF:8.334, playback
{DNS}/1495615390360.ts
#EXTINF:8.3, playback
{DNS}/1495615398698.ts
#EXTINF:8.3, playback
{DNS}/1495615407037.ts
#EXTINF:8.3, playback
{DNS}/1495615415376.ts
#EXTINF:8.333, playback
{DNS}/1495615423720.ts

寫入的 log

[Sun, 28 May 17 20:11:56 +0800][INFO] 找尋 m3u8 +1 : 1495973516.44 [Sun, 28 May 17 20:12:12 +0800][INFO] 找尋 m3u8 +1 : 1495973532.82 [Sun, 28 May 17 20:12:20 +0800][INFO] 找尋 m3u8 +1 : 1495973540.66 [Sun, 28 May 17 20:12:28 +0800][INFO] 找尋 m3u8 +1 : 1495973548.69 [Sun, 28 May 17 20:12:36 +0800][INFO] 找尋 m3u8 +1 : 1495973556.76

結論

每次的 log 的時間、間隔，

log_2 - log_1 , duration = 16
log_3 - log_2 , duration = 8
log_4 - log_3 , duration = 8
log_5 - log_4 , duration = 8

log_1 : 第一次開始詢問, 開始播放第一個, 應該包含播放器的準備時間
log_2 : 第一個 ts 播放完畢, 開始播放第二個
log_3 : 第二個 ts 播放完畢, 開始播放第三個
log_4 : 第三個 ts 播放完畢, 開始播放第四個
log_5 : 第四個 ts 播放完畢, 開始播放第五個

播放器在每次播放完 ts 的檔案後，都會進行 api 的詢問，透過詢問，可產生下一次的 m3u8 檔案，若更新 m3u8 後，記得需同時 EXT-X-MEDIA-SEQUENCE 進行 +1

【AWS DynamoDB】localhost

Posted on 2017-05-22

dynamodb

環境

osx 10.11

如何連接本地端 dynamodb

下載 http://docs.aws.amazon.com/zh_cn/amazondynamodb/latest/developerguide/DynamoDBLocal.html
確認 java 版本
- http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
- 要 1.7 以上版本，不然無法啟動，會有錯誤訊息
在 localhost dynamodb 的路徑下執行 : java -Djava.library.path=./DynamoDBLocal_lib -jar DynamoDBLocal.jar -sharedDb
測試 : aws dynamodb list-tables --endpoint-url http://localhost:8000
透過 GUI 進行連線
1. 下載 RazorSQL
2. 左邊視窗選擇 connect to a database
  1. add connection profile -> choose DynamoDB(Amazon)
  2. RazorSQL DynamoDB Driver
  3. set
    - Profile Name
    - AWS Access Key : 任意參數
    - AWS Secret Key : 任意參數
    - 勾選 Local DynamoDB
    - 設定 Max Rows per Query : 10
  4. 連線即可
3. 先隨意建立一個 table
4. 透過 terminal cli 查看 : aws dynamodb list-tables --endpoint-url http://localhost:8000

透過 code 進行本地端 dynamodb 連線

http://docs.aws.amazon.com/zh_cn/amazondynamodb/latest/developerguide/DynamoDBLocal.Endpoint.html#w1ab1b9b9c13c11
- java
- .net
- php

php : 記得要先安裝 aws sdk for php

$sdk = new Aws\Sdk([
    'endpoint'   => 'http://localhost:8000',  // Use DynamoDB running locally
    'region'   => 'us-west-2',  // US West (Oregon) Region
    'version'  => 'latest'  // Use the latest version of the AWS SDK for PHP
]);

// Create a new DynamoDB client
$dynamodb = $sdk->createDynamoDb();

【IOS】AWS Cognito sample test

Posted on 2017-05-20 | In AWS , Cognito , iOS

aws cognito with ios

設定 ios aws sdk : http://docs.aws.amazon.com/zh_cn/mobile/sdkforios/developerguide/setup-aws-sdk-for-ios.html
- 在側邊欄也有基礎的 cognito 設定/使用方法
Cognito 說明與介紹 : http://docs.aws.amazon.com/zh_cn/cognito/latest/developerguide/what-is-amazon-cognito.html
sdk 下載 : https://github.com/aws/aws-sdk-ios
sample 下載 : https://github.com/awslabs/aws-sdk-ios-samples
- CognitoSync-Sample 需禁用 bitcode 才可以正常使用
  - 環境
    - xcode : 8.3.2
    - ios 10.3.2
    - objective c
    - use cocoapod
使用授權的 flow : http://docs.aws.amazon.com/zh_cn/cognito/latest/developerguide/authentication-flow.html
關於 STS : Security token service 的文章簡介 : https://blog.clifflu.net/2014/05/iam-role-%E8%88%87-sts/
比較 STS API : http://docs.aws.amazon.com/zh_cn/IAM/latest/UserGuide/id_credentials_temp_request.html#stsapi_comparison

1: 設定 aws cognito user pool

設定 user pool
- 要建立 app client => 提供 identity pool 設定用

參考 step 1~6 : http://docs.aws.amazon.com/zh_cn/cognito/latest/developerguide/tutorial-integrating-user-pools-ios.html#tutorial-integrating-user-pools-get-aws-resource-cred-for-app-user

參考 sample 中的 CognitoYourUserPools-Sample
在 Constants.m 中設定相關參數
實機測試時，進行註冊，可在 aws cognito console 中，看到相關註冊資訊
註冊完畢後，在使用 Federated Identities 進行暫行憑證的取得

3: 設定 AWS Congito Federated Identity Console

設定 identity pool
- 提供多種授權方法 : Cognito, Amazon, Facebook, Google+, Twitter, Custom - http://docs.aws.amazon.com/zh_cn/cognito/latest/developerguide/external-identity-providers.html
- 完成後，會有各個平台的 sample code 可參考
在 (1:) 中取得設定好的 user pool id , app client id 填入 Authentication providers 中的 cognito

取得 Cognito 授權登入，需先註冊完 cognito user pool

參考 :
- http://docs.aws.amazon.com/zh_cn/cognito/latest/developerguide/tutorial-integrating-user-pools-ios.html#tutorial-integrating-user-pools-get-aws-resource-cred-for-app-user
- http://docs.aws.amazon.com/zh_cn/cognito/latest/developerguide/amazon-cognito-integrating-user-pools-with-identity-pools.html

// 設定 1
AWSServiceConfiguration *serviceConfiguration = [[AWSServiceConfiguration alloc] initWithRegion:AWSRegionUSEast1 credentialsProvider:nil];
// 設定 2
AWSCognitoIdentityUserPoolConfiguration *userPoolConfiguration = [[AWSCognitoIdentityUserPoolConfiguration alloc] initWithClientId:@"YOUR_CLIENT_ID"  clientSecret:@"YOUR_CLIENT_SECRET" poolId:@"YOUR_USER_POOL_ID"];
// 設定 3
[AWSCognitoIdentityUserPool registerCognitoIdentityUserPoolWithConfiguration:serviceConfiguration userPoolConfiguration:userPoolConfiguration forKey:@"UserPool"];

// 取得 user pool, 從 '設定 3' 中
AWSCognitoIdentityUserPool *pool = [AWSCognitoIdentityUserPool CognitoIdentityUserPoolForKey:@"UserPool"];

// 取得 credentailsProvider
AWSCognitoCredentialsProvider *credentialsProvider = [[AWSCognitoCredentialsProvider alloc] initWithRegionType:AWSRegionUSEast1 identityPoolId:@"YOUR_IDENTITY_POOL_ID" identityProviderManager:pool];

將憑證放入 serviceManager 中

AWSServiceConfiguration *defaultServiceConfiguration = [[AWSServiceConfiguration alloc] initWithRegion:AWSRegionUSEast1
        credentialsProvider:credentialsProvider];
AWSServiceManager.defaultServiceManager.defaultServiceConfiguration = defaultServiceConfiguration;

ex: facebook 授權登入，此為 sample 既有的範例

參考 sample 中的 CognitoSync-Sample
sample 中，記得關閉 bitcode (預設是開啟)，否則實機測試會失敗(測試時間 20170520)
- compile error : linker command failed with exit code 1

在 app 中，設定好 facebook 的參數。在 cognito federated identities console 中開啟 facebook 的授權驗證。
安裝 app 後就可以登入，並拿到臨時的憑證(預設一小時)，可操作包含
- synchronize data with Amazon Cognito Sync
- Amazon DynamoDB
- Amazon S3, and Amazon API Gateway

4: Using Tokens with User Pools

成功取得授權後，會得到三把 token : http://docs.aws.amazon.com/zh_cn/cognito/latest/developerguide/amazon-cognito-user-pools-using-tokens-with-identity-providers.html
- ID token
- Access token
- Refresh token

5: Cognito Federated Identities 其他操作

Getting Credentials

http://docs.aws.amazon.com/zh_cn/cognito/latest/developerguide/getting-credentials.html
Accessing AWS Services : http://docs.aws.amazon.com/zh_cn/cognito/latest/developerguide/accessing-aws-services.html

6: Amazon Cognito Sync

透過 user pool 來同步手機資料，將用戶的某些資料放到 aws console 中，避免遺失，也可用於跨多裝置的使用