lapras 초기 세팅

[jhgoh]

lapras 서버 초기 세팅 진행.

• 네트워크 세팅 및 확인
• sshd 활성화
• ssh로 root 로그인 허용
• hostname 설정
• 유저 계정 연동
• nfs 설정
• telegraph 서비스 활성화
• slurm 세팅 및 연동

[jhgoh]

root@lapras:/etc# nvidia-smi 
Thu Dec 18 16:35:29 2025       
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 580.95.05              Driver Version: 580.95.05      CUDA Version: 13.0     |
+-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA GeForce RTX 5090        Off |   00000000:01:00.0 Off |                  N/A |
|  0%   25C    P8             22W /  600W |       2MiB /  32607MiB |      0%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+
|   1  NVIDIA GeForce RTX 5090        Off |   00000000:21:00.0 Off |                  N/A |
|  0%   24C    P8             18W /  600W |       2MiB /  32607MiB |      0%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+
|   2  NVIDIA GeForce RTX 5090        Off |   00000000:4B:00.0 Off |                  N/A |
|  0%   22C    P8             12W /  600W |       8MiB /  32607MiB |      0%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+
|   3  NVIDIA GeForce RTX 5090        Off |   00000000:4C:00.0 Off |                  N/A |
|  0%   23C    P8             21W /  600W |       2MiB /  32607MiB |      0%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+

+-----------------------------------------------------------------------------------------+
| Processes:                                                                              |
|  GPU   GI   CI              PID   Type   Process name                        GPU Memory |
|        ID   ID                                                               Usage      |
|=========================================================================================|
|  No running processes found                                                             |
+-----------------------------------------------------------------------------------------+

[jhgoh]

apt install slurmd slurm-client

[jhgoh]

slurm.conf 와 gres.conf를 수정해 5090으로 변경해야 함.

[jhgoh]

cgroup 설정 필요.

Dec 18 16:50:03 lapras.lo slurmd[5810]: slurmd: error: unable to open '/sys/fs/cgroup/freezer//tasks' for reading : No such file or directory
Dec 18 16:50:03 lapras.lo slurmd[5810]: slurmd: error: cgroup namespace 'freezer' not mounted. aborting
Dec 18 16:50:03 lapras.lo slurmd[5810]: slurmd: error: unable to create freezer cgroup namespace

[jhgoh]

새로 설치된 OS에서는 cgroup v2를 기본으로 사용하고 있고, 기존 시스템은 cgroup v1을 기반으로 함. 이전 설치할 때 slurm이 v2를 제대로 지원하지 않았어서 v1으로 고정했음. 일단 연동이 중여하므로 lapras의 cgruop을 v1으로 변경.
/etc/default/grub파일에서 GRUB_CMDLINE_LINUX="systemd.unified_cgroup_hierarchy=0" 로 수정 후 리붓.

[jhgoh]

lapas의 OS는 ubuntu 24이고 메인 서버는 22임. apt에서 설치되는 slurm 버전이 각각 23, 21인데 서로 통신 프로토콜이 달라 연동이 되지 않음.

• lapras의 OS를 다운그레이드
• hep, lugia등 모든 서버의 OS를 업그레이드
• slurm을 수동설치
  등 고려할 수 있음.

[jhgoh]

파일시스템 연동.

apt install autofs
service autofs start

mkdir /store
scp -r lugia:/etc/auto.master* /etc/

[jhgoh]

nis 설정.

• 패키지 설치 apt install ypbind-mt
• 설정파일 수정 /etc/yp.conf 에 ypserver hep.lo
• 설정파일 추가 /etc/defaultdomain 생성하고 lo 추가
• 서비스 시작하고 기본값 설정 service ypbind start, systemctl enable ypbind

[jhgoh]

telegraf 설정

• 패키지 설치 (기본에 포함되지 않고, influxdb의 repo를 추가해 설치해야 함)

apt install curl gnupg2 software-properties-common 
curl -sL https://repos.influxdata.com/influxdata-archive.key   | gpg --dearmor   | sudo tee /etc/apt/trusted.gpg.d/influxdata-archive.gpg > /dev/null
echo "deb [signed-by=/etc/apt/trusted.gpg.d/influxdata-archive.gpg] https://repos.influxdata.com/debian stable main"   | sudo tee /etc/apt/sources.list.d/influxdata.list
apt update
apt install telegraf

• 설정파일 복사 적용 /etc/telegraf/telegraf.conf 파일을 기존 워커노드 중 하나에서 복사.
• 추가 필요 패키지 설치 apt install psensor lm-sensors
• 서비스 실행 적용 service telegraf start

[jhgoh]

grafana에서 lapras확인 완료

[jhgoh]

[jhgoh]

@slowmoyang load test 예정. 전원 부하에 문제가 없는지 확인해야 함. 전원 문제가 있다면 융합전공 서버실로 이전 고려해야 함.

[jhgoh]

nvidia-smi에서 하나가 나타나지 않는 것 같음. 리붓 시도.

jhgoh@lapras:~$ lspci | grep -i nvid
01:00.0 VGA compatible controller: NVIDIA Corporation Device 2b85 (rev a1)
01:00.1 Audio device: NVIDIA Corporation Device 22e8 (rev a1)
21:00.0 VGA compatible controller: NVIDIA Corporation Device 2b85 (rev a1)
21:00.1 Audio device: NVIDIA Corporation Device 22e8 (rev a1)
4b:00.0 VGA compatible controller: NVIDIA Corporation Device 2b85 (rev a1)
4b:00.1 Audio device: NVIDIA Corporation Device 22e8 (rev a1)
4c:00.0 VGA compatible controller: NVIDIA Corporation Device 2b85 (rev a1)
4c:00.1 Audio device: NVIDIA Corporation Device 22e8 (rev a1)
jhgoh@lapras:~$ nvidia-smi 
Unable to determine the device handle for GPU2: 0000:4B:00.0: Unknown Error
Wed Dec 24 16:24:19 2025       
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 580.95.05              Driver Version: 580.95.05      CUDA Version: 13.0     |
+-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA GeForce RTX 5090        Off |   00000000:01:00.0 Off |                  N/A |
|  0%   25C    P8             21W /  600W |       2MiB /  32607MiB |      0%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+
|   1  NVIDIA GeForce RTX 5090        Off |   00000000:21:00.0 Off |                  N/A |
|  0%   24C    P8             18W /  600W |       2MiB /  32607MiB |      0%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+
|   3  NVIDIA GeForce RTX 5090        Off |   00000000:4C:00.0 Off |                  N/A |
|  0%   23C    P8             22W /  600W |       2MiB /  32607MiB |      0%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+

+-----------------------------------------------------------------------------------------+
| Processes:                                                                              |
|  GPU   GI   CI              PID   Type   Process name                        GPU Memory |
|        ID   ID                                                               Usage      |
|=========================================================================================|
|  No running processes found                                                             |
+-----------------------------------------------------------------------------------------+

[jhgoh]

단순 리붓으로는 해결되지 않음. chatgpt는 전원 부족을 의심함. 서버실에 직접 가서 배선을 바꿔 시도 해 볼 필요 있음.