Merge pull request #134 from matsumatsu20/tuning-local-test

Tuning local test

Author: keillera

.circleci/config.yml

@@ -11,6 +11,10 @@ jobs:
     docker:
       - image: circleci/python:3.6.1
       - image: bluszcz/bflocalstack-dynamodb-s3
+      - image: alismedia/dynamodb-local
+        environment:
+          MAX_HEAP_SIZE: 2048m
+          HEAP_NEWSIZE: 512m
       - image: docker.elastic.co/elasticsearch/elasticsearch:6.2.0
         environment:
           discovery.type: single-node

.gitignore

@@ -7,6 +7,7 @@ vendor-package
 # for tests
 tmp_tests
 tests/**/database.yaml
+tests/**/__pycache__
 
 # editor
 .idea

README.md

@@ -35,7 +35,21 @@ direnv allow
 ```
 
 # Test
+## Set up dynamoDB local
+Download and unzip the [dynamoDB local zip](https://docs.aws.amazon.com/ja_jp/amazondynamodb/latest/developerguide/DynamoDBLocal.html) in any directory
+
+For example
+```
+$ curl -O https://s3-ap-northeast-1.amazonaws.com/dynamodb-local-tokyo/dynamodb_local_latest.tar.gz
+$ tar xf ./dynamodb_local_latest.tar.gz
+$ rm ./dynamodb_local_latest.tar.gz
+```
+
+## Execute Test
 ```bash
+# Start dynamoDB local
+java -Djava.library.path=./DynamoDBLocal_lib -jar DynamoDBLocal.jar -sharedDb
+
 # lunch docker for localstack（for MAC OS）
 TMPDIR=/private$TMPDIR docker-compose up -d
 

exec_test.py

@@ -6,34 +6,64 @@
 import re
 from distutils.dir_util import copy_tree
 
-# テスト事前準備
+TEST_DIR = 'tests'
+TEST_TMP_DIR = './tmp_tests'
 
-# テスト実行のためのtmpディレクトリを作成し、testsをコピーする
-os.mkdir('./tmp_tests')
-copy_tree('./tests/', './tmp_tests')
-execute_dir = []
-exit_status = 0
 
-# 各テストファイル毎に、テスト対象ソースと共通ライブラリをテストファイルと同一のディレクトリに複製する。
-for name in glob.iglob('tmp_tests/**/test_*.py', recursive=True):
+def exec_test(target_dir):
+    print(target_dir)
+    exit_status = 0
+    try:
+        subprocess.check_call(['green', '-vv', '--processes', '1', target_dir])
+    except subprocess.CalledProcessError:
+        exit_status = 1
+
+    return exit_status
+
+
+def copy_required_files(path):
     # テストの実行ディレクトリパスを取得
-    test_dir = './' + name[:name.rfind('/')]
-    # テストの実行ディレクトリを追加
-    execute_dir.append(test_dir)
+    test_dir = path[:path.rfind('/')]
+
     # テスト対象ソースを複製（対象ソースは tests 配下と同一構造の src ディレクトリ配下が対象）
     copy_tree(re.sub(r'^\./tmp_tests', './src', test_dir), test_dir)
+
     # 共通ライブラリを複製
     copy_tree('./src/common', test_dir)
+
     # 共通ライブラリを複製
     copy_tree('./tests/tests_common', test_dir)
 
-for name in execute_dir:
-    try:
-        subprocess.check_call(['green', name])
-    except subprocess.CalledProcessError:
-        exit_status = 1
 
-# tmpディレクトリは削除
-shutil.rmtree('./tmp_tests')
+def main():
+    # テスト事前準備
+    if os.path.isdir(TEST_TMP_DIR):
+        shutil.rmtree(TEST_TMP_DIR)
+
+    # テスト実行のためのtmpディレクトリを作成し、testsをコピーする
+    os.mkdir(TEST_TMP_DIR)
+    copy_tree(TEST_DIR, TEST_TMP_DIR)
+
+    # 引数でファイル名を受け取っている場合は変数にセットする
+    target_file_path = sys.argv[1] if len(sys.argv) == 2 else None
+
+    if target_file_path:
+        # tmpフォルダ上の指定されたファイルのパスを取得
+        exec_file = TEST_TMP_DIR + target_file_path[(target_file_path.find(TEST_DIR) + len(TEST_DIR)):]
+        exec_dir = exec_file[:exec_file.rfind('/')]
+        copy_required_files(exec_file)
+    else:
+        exec_dir = TEST_TMP_DIR
+
+        for name in glob.iglob(TEST_TMP_DIR + '/**/test_*.py', recursive=True):
+            copy_required_files(name)
+
+    result = exec_test(exec_dir)
+
+    # tmpディレクトリは削除
+
+    shutil.rmtree(TEST_TMP_DIR)
+    sys.exit(result)
+
 
-sys.exit(exit_status)
+main()

tests/tests_common/tests_util.py

@@ -1,7 +1,6 @@
 import os
 import yaml
 import boto3
-from botocore.exceptions import ClientError
 
 
 class TestsUtil:
@@ -23,14 +22,15 @@ def create_table(dynamodb, table_name, table_items):
         create_table.meta.client.get_waiter('table_exists').wait(TableName=table_name)
         # put item
         table = dynamodb.Table(table_name)
-        for item in table_items:
-            table.put_item(Item=item)
+        with table.batch_writer() as batch:
+            for item in table_items:
+                batch.put_item(Item=item)
 
     @staticmethod
     def get_dynamodb_client():
         if os.environ.get('IS_DYNAMODB_ENDPOINT_OF_AWS') is not None:
             return boto3.resource('dynamodb')
-        return boto3.resource('dynamodb', endpoint_url='http://localhost:4569/')
+        return boto3.resource('dynamodb', endpoint_url='http://localhost:8000/')
 
     @classmethod
     def create_all_s3_buckets(cls, s3):
@@ -56,14 +56,10 @@ def get_all_s3_buckets(cls):
 
     @classmethod
     def delete_all_tables(cls, dynamodb):
-        for table in cls.get_all_tables():
-            try:
-                del_table = dynamodb.Table(table['table_name'])
-                del_table.delete()
-                del_table.meta.client.get_waiter('table_not_exists').wait(TableName=table['table_name'])
-            except ClientError as e:
-                if e.response['Error']['Code'] != 'ResourceNotFoundException':
-                    raise
+        for table in dynamodb.tables.all():
+            del_table = dynamodb.Table(table.table_name)
+            del_table.delete()
+            del_table.meta.client.get_waiter('table_not_exists').wait(TableName=table.table_name)
 
     @classmethod
     def get_all_tables(cls):