ceph 명령어 및 API를 통한 GlueFS, NFS, iSCSI 구성 연구

[Dajeong-Park]

GlueFS 관련 ceph 명령어 활용

• 파일 시스템 생성

 #ceph fs volume create [fs_name] <host_name>
 #ceph fs volume create fs --placement="2 scvm1 scvm2 scvm3"

풀이 생성되고 지정 호스트에 MDS(메타데이터 서버) 데몬이 배포됨

• 파일 시스템 제거

사전에 제거 관련 옵션이 true로 설정되어있어야 삭제가 가능
#ceph config set mon mon_allow_pool_delete true

1. 파일 시스템, 데이터/메타 데이터 풀, mds 서비스 각각 제거하는 방법

#ceph fs set [fs_name] down true
#ceph fs rm [fs_name] --yes-i-really-mean-it
#ceph osd pool delete cephfs.[fs_name].data cephfs.[fs_name].data --yes-i-really-really-mean-it
#ceph orch rm mds.[fs_name]

2. 파일 시스템 및 데이터/메타 데이터 풀, mds 서비스 한번에 제거하는 방법

#ceph fs volume rm [fs_name] --yes-i-really-mean-it

• 파일 시스템 상태 확인

#ceph fs status (state, used, avail, type, pool 정보 출력)
#ceph fs ls (fs name, pool name 출력)
#ceph fs get [fs_name] (name, flags, created, max_file_size 등 다양한 정보 출력)

• 파일 시스템 max_file_size 설정

#ceph fs set [fs_name] max_file_size [size in bytes](must at least 65536)
#ceph fs get nfs 변경된 정보 확인

• cephFS 마운팅

#mount -t ceph [moniter_ip]:[mount_target] [mount_point]-o name=[user_name]
ex) mount -t ceph 100.100.4.14:/ /mnt -o name=admin
#mount -t ceph [user_name]@.[fs_name]=[mount_target] [mount_point]
ex) mount -t ceph admin@.nfs=/ /mnt

• cephFS 마운트 해제

#umount [mount_point]
target is busy 인 경우 #fuser -ck /mnt

• cephFS 자동 마운트 설정 /etc/fstab

secretfile 옵션으로 키링 파일 경로를 지정할 경우 secret is not valid base64 오류로 직접 secret을 입력해야함

ex) mon1:6790,mon2:/subdir /mnt ceph name=admin,secret=<admin_keyring>,noatime,_netdev 0 2

• 파일 시스템 디렉토리 quotas 설정

사전 작업 : ceph fs가 마운팅된 상태여야 함 
ex) mount -t ceph :/ /mnt -o name=admin 마운트하고, fs path가 /gluefs 인 경우

max_size
#setfattr -n ceph.quota.max_bytes -v 100000000 /mnt/gluefs (100000000Byte=100MB)
#getfattr -n ceph.quota.max_bytes mnt/gluefs (설정 확인)

max_file
#setfattr -n ceph.quota.max_files -v 10000 /mnt/gluefs (10000=10000개)
#getfattr -n ceph.quota.max_files mnt/gluefs (설정 확인)

• 파일 시스템용 스냅샷 생성/확인/삭제

ex) mount -t ceph 100.100.4.14:/ /mnt -o name=admin 마운트하고, fs path가 /gluefs 인 경우
#cd /mnt/gluefs
#mkdir .snap/new-snaps (생성)

#ls -l .snap/ (확인)

#cd /mnt/gluefs
#rmdir .snap/new-snaps (삭제)

cephFS를 마운트하려면 ceph-client가 설치되어있어야 mount -ceph 명령을 사용할 수 있음

[Dajeong-Park]

iSCSI 관련 ceph 명령어 활용

• iSCSI 게이트웨이 배포

1. yaml 파일로 iSCSI 배포하는 방법

iscsi.yaml 파일 작성

----------------------------------
service_type: iscsi
service_id: iscsi
service_name: iscsi.iscsi
placement:
  hosts:
  - gwvm
spec:
  api_password: Ablecloud1!
  api_port: 5050
  api_user: ablecloud
  pool: rbd
  trusted_ip_list: gwvm
----------------------------------

#ceph orch apply -i [.yaml] 

2. ceph 명령어로 iSCSI 배포하는 방법

api_port 옵션은 ceph command에 없으며, 아래와 같은 명령어 실행한 경우 서비스 상태는 Error 가 되는 이슈
#ceph orch apply iscsi --pool=rbd --api_user=ablecloud --api_password=Ablecloud1! --placement=gwvm

• iSCSI 게이트웨이 옵션 변경

#ceph orch ls --service_name=iscsi.iscsi --export > setiscsi.yaml
#vi setiscsi.yaml
#ceph orch apply -i setiscsi.yaml

• iSCSI 게이트웨이 제거

#ceph orch rm [service_type].[service_id]

• iSCSI 게이트웨이 상태 확인

#ceph orch ps --service_name=iscsi.iscsi (name, host, ports, status, refreshed, age, mem use, mem lim, version, image id, container id 출력)
#ceph orch ls --service_name=iscsi.iscsi (name, ports, running, refreshed, age, placement 출력)
#ceph dashboard iscsi-gateway-list (service_url 출력)

iSCSI 배포 후 게이트웨이 상태가 down이며, 대상과 세션이 n/a로 표시되는 경우 방화벽 5050(api_port)포트 열어줘야함

• iSCSI 게이트웨이 Target 생성

각 host에 /etc/hosts 파일에 gwvm 정보를 갖고있어야 대상 생성이 가능함

1. 포털에 gwvm ip 입력후 이미지 선택, ACL 인증 활성화, 이니시에이터 추가(#cat /etc/iscsi/initiatorname.iscsi)
2. 포털에 gwvm ip 입력후 이미지 선택, ACL 인증 비활성화

• iSCSI 게이트웨이 initiator 연결

ACL 인증 활성화한 경우 설정 필요
#vi /etc/iscsi/iscsid.conf
node.session.auth.authmethod = CHAP
node.session.auth.username = ablecloud
node.session.auth.password = Ablecloud111

#iscsiadm -m discovery -t st -p 10.10.2.14
#iscsiadm -m node -T iqn.2001-07.com.ceph:1683504875361 -l
#iscsiadm -m node -T iqn.2001-07.com.ceph:1683504875361 --logout

[Dajeong-Park]

NFS 관련 ceph 명령어 활용

• NFS 클러스터 생성

#ceph nfs cluster create [cluster_name] <host_name>

• NFS 클러스터 정보 확인

#ceph nfs cluster ls (cluster name 출력)
#ceph nfs cluster info [cluster_name] (hostname, ip, port 정보 출력)

• NFS 클러스터 삭제

#ceph nfs cluster rm [cluster_name]

• NFS Export 생성

#ceph nfs export create cephfs [cluster_name] [/path] [file_system_name] --path=[/path] --squash no_root_squash

security_label 옵션은 ceph command에 없음

• NFS Export 정보 확인

#ceph nfs export ls [cluster_name] (pseudo 출력)
#ceph nfs export get [cluster_name] [/path] 
#ceph nfs export ls [cluster_name] --detailed
(path, cluster_id, pseudo, access_type, squash, security_label, protocols, transports, fs_name 등 출력)

• NFS Export 삭제

#ceph nfs export rm [cluster_name] [/path] 

• NFS Export 테스트

gwvm에 #mount -t ceph 10.10.4.14:/ /mnt -o name=admin 마운트 된 상태에서
ccvm에 mkdir /mnt/nfs
#mount -t nfs [gwvmIP]:[/path]  /mnt/nfs
정상적으로 마운트되어 해당 path에 파일을 읽고 쓸수 있음

[Dajeong-Park]

• admin 외 별도의 클라이언트를 생성하여 각 서비스에 필요한 권한 설정 테스트 필요

-특정 파일시스템에 사용자 및 권한 추가
#ceph fs authorize gluefs client.ablecloud / rw

-생성된 키 확인
#ceph auth get client.ablecloud

-인증키를 클라이언트에 내보내기
#ceph auth get client.ablecloud -o ceph.client.ablecloud.keyring

- 키를 /etc/ceph/ 디렉터리에 복사한 후 권한 설정
#chmod 644 ceph.client.ablecloud.keyring

• GWVM 배포시 작업
  모니터 설정 및 마운트(ceph), 디폴트 경로 디렉토리 생성, 파일시스템 제거 true옵션 설정, 키교환, /etc/hosts 파일 설정

GWVM 구성 테스트 케이스

1. GWVM을 모니터로 띄우는 경우 (테스트 완료)
   mgr과 분리하기위해 Hosts 라벨에 monitor 추가, Services Mon에 count 올리고 label을 monitor로 변경
2. GWVM을 모니터에 추가하지 않고, MDS를 SCVM에 구성하고 GWVM에서 fs를 마운트하는 경우 (테스트 완료)

[Dajeong-Park]

ceph restful API 테스트

• 토큰 생성

curl -X POST "https://10.10.4.12:8443/api/auth" \
  -H  "Accept: application/vnd.ceph.api.v1.0+json" \
  -H  "Content-Type: application/json" \
  -d '{"username": "ablecloud", "password": "Ablecloud1!"}' -k

• GET /api/cephfs
  Authorization: Bearer [token] 형식을 추가하여 API 사용

curl -k -X GET "https://10.10.4.12:8443/api/cephfs" \
  -H "Accept: application/vnd.ceph.api.v1.0+json" \
  -H "Authorization: Bearer eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJpc3MiOiJjZXBoLWRhc2hib2FyZCIsImp0aSI6IjY2NWU4MzIyLTkzNDItNDBkYi04YmQ3LTczMTgxOTg5MjA3OSIsImV4cCI6MTY4MjA2ODgwNSwiaWF0IjoxNjgyMDQwMDA1LCJ1c2VybmFtZSI6ImFibGVjbG91ZCJ9.Pq45Z8nY-Pz8-lHmr5-itouXwECdIc9mAySVmHjheFs" \
  -H "Content-Type: application/json" 

토큰 생성하여 GET /api/cephfs API 호출하는 python 작성

import requests
import json
from requests.packages.urllib3.exceptions import InsecureRequestWarning

headers = {
        'Accept': 'application/vnd.ceph.api.v1.0+json',
        'Content-Type': 'application/json',
}

json_data = {
        'username': 'ablecloud',
        'password': 'Ablecloud1!',
}

requests.packages.urllib3.disable_warnings(InsecureRequestWarning)

try:
        response = requests.post('https://10.10.4.12:8443/api/auth', headers=headers, json=json_data, verify=False)
        token = response.json()['token']
        headers = {
                'Accept': 'application/vnd.ceph.api.v1.0+json',
                'Authorization': 'Bearer ' + token,
                'Content-Type': 'application/json'
        }
        response = requests.get('https://10.10.4.12:8443/api/cephfs', headers=headers, verify=False)
        res=json.dumps(response.json(), indent=2)
        print(res)

except Exception as e:
        print("error : ", e)

ceph librados (python) API 테스트

scvm에 설치되어있는 python3-rados 활용하여 ceph.conf 파일로 클러스터 id 및 pool 조회 python 파일 작성

import rados, sys

cluster = rados.Rados(conffile='/root/ceph.conf')
cluster.connect()
print("cluster id: {} ".format(cluster.get_fsid()))

pools=cluster.list_pools()
        for pool in pools:
                print(pool)

[mincheol-jeong]

SAMBA 구성

• samba 서버 설치

dnf install samba samba-common samba-client

• samba 기본 설정

- 공유할 디렉토리 지정
mkdir -p /mnt/cephfs/smb      #ceph volume 사용을 위해 cephfs mount가 된 경로로  디렉토리 생성
chmod 777 /mnt/cephfs/smb       #해당 권한 설정

- 방화벽 및 SELinux 설정
setsebool -P samba_enable_home_dirs on    #삼바 홈 디렉토리 읽기/쓰기 권한 부여
chcon -t samba_share_t /mnt/cephfs/smb    #특정디렉토리 삼바권한부여
firewall-cmd --permanent --add-service=samba  #삼바 방화벽 설정
firewall-cmd --reload

• smb.conf 파일 수정

vi /etc/samba/smb.conf

[global]
      workgroup = WORKGROUP  #윈도우 워크스테이션
[shared]  #공유할 파일 이름
      path = /mnt/cephfs/smb  #공유할 디렉토리 위치
      writable = yes   #쓰기
      read only = no #읽기
      guest ok = yes
      create mode = 0777
      directory mode = 0777

• smb.conf 파일 옵션들

host allow : ip 접속 허용
host deny : ip 접속 차단
comment : 공유되는 디렉토리에 대한 부가적인 설명
path : 공유 디렉토리 절대 경로
browseable : 공유 디렉토리 탐색
public(guest ok) : Anonymous 접근 (default = no)
valid users : 접속을 허용할 사용자 (@그룹) 지정
writable : 접속된 사용자의 쓰기 허용 여부 (default = no)
write list : 쓰기를 허용할 사용자(@그룹) 지정
create mask : 파일 또는 디렉토리 소유권한 (default = directory(755), file(744))

• samba 서비스 시작 및 자동 시작

systemctl start smb   # 서비스 시작
systemctl enable smb  # 서비스 자동 시작

• samba 접속 확인

smbclient -L localhost

• samba 사용자 생성

1. linux user 생성
useradd -M mcjeong

2. samba user 생성 
smbpasswd -a mcjeong
passwd

- 같은 로컬에서 생성한 window vm
ctrl + R (실행)에서 \\<samba-server-ip> 확인
`접속 캐쉬 없애는 법 - cmd에서 net use\\<samba-server-ip>\[path]/delete`

[mincheol-jeong]

SAMBA 정보 조회

• smbstatus
  

• testparm
  

• smbclient
  

SAMBA 삭제

1. samba 사용자 삭제

smbpasswd -x <username> #samba 유저 삭제

userdel -r <username>  #홈 디렉토리도 삭제

userdel <username> #홈 디렉토리 제외, user만 삭제

2. ceph volume 디렉토리 삭제

rm -rf /mnt/cephfs/smb

3. samba 패키지 삭제

dnf -y remove samba samba-common samba-client

[Dajeong-Park]

NFS 관련 python 기능별 목록 개발 및 테스트 진행사항 (ceph API 사용)

• NFS 클러스터 생성
  /python/ceph/nfs.py config
• NFS 클러스터 삭제
  /python/ceph/nfs.py destroy
• NFS 클러스터 조회
  /python/ceph/nfs.py status
• NFS Export 삭제
  /python/ceph/nfs.py delete --id {export_id}
• NFS Export 조회
  /python/ceph/nfs.py list
• NFS Export 상세조회
  /python/ceph/nfs.py detail --id {export_id}
• NFS Export 생성
  /python/ceph/nfs.py create --access-type {access_type} --squash {squash} --quota {quota}
• NFS Export 편집
  /python/ceph/nfs.py edit --id {export_id} --access-type {access_type} --squash {squash} --quota {quota}

iSCSI 관련 python 기능별 목록 개발 및 테스트 진행사항 (ceph API 사용)

• iSCSI 게이트웨이 생성
  /python/ceph/iscsi.py config
• iSCSI 게이트웨이 삭제
  /python/ceph/iscsi.py destroy
• iSCSI 게이트웨이 조회
  /python/ceph/iscsi.py status
• iSCSI Target 조회
  /python/ceph/iscsi.py list
• iSCSI Target 상세 조회
  /python/ceph/iscsi.py detail --iqn {iqn}
• iSCSI Target 생성
  /python/ceph/iscsi.py create --iqn {iqn} --name {imgage name} --size {image size}
• iSCSI Target 삭제
  /python/ceph/iscsi.py delete --iqn {iqn}
• iSCSI Target 편집
  /python/ceph/iscsi.py edit --iqn {iqn} --name {image name} --size {new image size}
• rbd 이미지 상세 조회
  /python/ceph/iscsi.py image --name {image name}

GlueFS 관련 python 기능별 목록 개발 및 테스트 진행사항 (gluefs 구성/삭제 제외한 기능은 ceph API 사용)

• GlueFS 구성
  /python/ceph/gluefs.py config
• GlueFS 삭제
  /python/ceph/gluefs.py destroy
• GlueFS 조회
  /python/ceph/gluefs.py list
• GlueFS 상세조회
  /python/ceph/gluefs.py detail --id {fs_id}
• GlueFS 디렉토리 생성
  /python/ceph/gluefs.py create --id {fs_id} --path {path}
• GlueFS 디렉토리 삭제
  /python/ceph/gluefs.py delete --id {fs_id} --path {path}
• GlueFS 쿼터 조회
  /python/ceph/gluefs.py list --target quota --id {fs_id} --path {path}
• GlueFS 쿼터 편집
  /python/ceph/gluefs.py edit --target quota --id {fs_id} --path {path} --max-bytes {max_bytes} --max-files {max_files}

python 공통 처리 및 마지막 테스트 항목

• API 호출시 password 암호화
• 각 API 마다 에러 코드 처리
• glue 대시보드 호출 시 기존에 있는 python 파일을 호출
• API 호출시 task queue에 담겨서 시간 지연이 된 경우 처리 (response 202)