mewtwo 기능을 alveo FPGA, JBOD disk pool로 재정의

[jhgoh]

mewtwo의 1080ti를 빼고 대신 ho-oh의 alveo를 설치해서 가용성 높이기
파워만 되면 레거시 노드로써 1080ti도 함께 유지하는 것도 고려해 볼 만 함

[jhgoh]

작업 완료.

1. ho-oh의 alveo를 탈거함

• alveo 카드 자리의 백패널 금속 부품이 없어서 현재는 크게 구멍이 보이는 상태임.
• 뚜껑 덮고 나서 전면 패널에 뜨던 워닝이 없어짐

2. mewtwo의 1080ti 빼고 ho-oh에서 뺀 alveo 설치함
3. mewtwo에 기존에 데스크탑에 연결했던 8TB 바라쿠타 하드 연결함. 기존에 DVD에 연결되어 있던 케이블 이용. 기존 하드와 동일 컨트롤러로 연결되지는 않았으나, 소프트웨어 레이드 구성을 버리고 jbod로 갈 계획이어서 무방함.
4. mewtwo 바이오스 화면에서 sata의 레이드 구성 설정 제거하고 md126 을 fstab에서 주석처리함.

이후 작업은 리모트로 진행

[jhgoh]

[jhgoh]

ho-oh 추가 작업 완료하고 slurm resume 완료.
mewtwo 작업 시작.

[jhgoh]

• mewtwo 에서 nvidia driver 등 삭제 완료.
• 8TB 디스크들의 software 레이드 관련 흔적 삭제하고 xfs로 포맷.
• /srv/storage/jbod/disk*로 마운트, fstab 수정.
• /srv/storage/pool 로 mergerfs 로 마운트, fstab 수정.

root@mewtwo:~# df -h | grep '/srv'
/dev/sda1                   7.3T   52G  7.3T   1% /srv/storage/jbod/disk1
/dev/sdd1                   7.3T   52G  7.3T   1% /srv/storage/jbod/disk2
/dev/sde1                   7.3T   52G  7.3T   1% /srv/storage/jbod/disk3
/dev/sdf1                   7.3T   52G  7.3T   1% /srv/storage/jbod/disk4
/dev/sdg1                   7.3T   52G  7.3T   1% /srv/storage/jbod/disk5
1:2:3:4:5                    37T  260G   37T   1% /srv/storage/pool
root@mewtwo:~# 

[jhgoh]

mewtwo의 exportfs 설정 업데이트 완료. 각 노드의 마운트 설정 업데이트 완료.

[jhgoh]

mewtwo에 vitis 설치 진행. 이후 xrt 설치.

[jhgoh]

단, u200에서 실제 비트스트림을 만들기 위해서는 라이센스가 필요함. 우리 서버에는 포함되어 있지 않음.

[jhgoh]

xrt 설치 완료. vitis 설치는 중간에 hang되는 현상이 있어 다시 시도.

root@mewtwo:/opt/xilinx/xrt# source setup.sh 
Autocomplete enabled for the xrt-smi command
XILINX_XRT        : /opt/xilinx/xrt
PATH              : /opt/xilinx/xrt/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin
LD_LIBRARY_PATH   : /opt/xilinx/xrt/lib
PYTHONPATH        : /opt/xilinx/xrt/python
root@mewtwo:/opt/xilinx/xrt# xrt-smi examine
System Configuration
  OS Name              : Linux
  Release              : 5.15.0-164-generic
  Machine              : x86_64
  CPU Cores            : 12
  Memory               : 128649 MB
  Distribution         : Ubuntu 22.04.5 LTS
  GLIBC                : 2.35
  Model                : To Be Filled By O.E.M.
  BIOS Vendor          : American Megatrends Inc.
  BIOS Version         : 5.11
  Processor            : Intel(R) Xeon(R) CPU E5-1650 v4 @ 3.60GHz

XRT
  Version              : 2.20.0
  Branch               : 2025.2
  Hash                 : 29c3e19c1fd1b38754e6bd848d4b9c365ece9cc7
  Hash Date            : 2026-01-16 23:35:30
  xocl                 : 2.20.0, 29c3e19c1fd1b38754e6bd848d4b9c365ece9cc7
  xclmgmt              : 2.20.0, 29c3e19c1fd1b38754e6bd848d4b9c365ece9cc7
  Firmware Version     : N/A

Device(s) Present
|BDF             |Shell  |Logic UUID  |Device ID       |Device Ready*  |
|----------------|-------|------------|----------------|---------------|
|[0000:02:00.1]  |       |0x0         |user(inst=128)  |No             |


* Devices that are not ready will have reduced functionality when using XRT tools
root@mewtwo:/opt/xilinx/xrt# 

[jhgoh]

u200전용 패키지 설치 등 몇 가지 문제가 있어서 홈페이지에서 deb 파일 받아서 다시 설치하고 테스트 완료.

root@mewtwo:~# xbmgmt program --base
----------------------------------------------------
Device : [0000:02:00.0]

Current Configuration
  Platform             : xilinx_u200
  SC Version           : INACTIVE
  Platform ID          : 0x0


Incoming Configuration
  Deployment File      : partition.xsabin
  Deployment Directory : /lib/firmware/xilinx/0b095b81fa2be6bd452472b1c1474f18
  Size                 : 95,379,550 bytes
  Timestamp            : Sat Jan 17 01:23:25 2026

  Platform             : xilinx_u200_gen3x16_xdma_base_2
  SC Version           : 4.6.21
  Logic UUID           : 0B095B81-FA2B-E6BD-4524-72B1C1474F18
----------------------------------------------------
Actions to perform:
  [0000:02:00.0] : Program base (FLASH) image
  [0000:02:00.0] : Program Satellite Controller (SC) image
----------------------------------------------------
Are you sure you wish to proceed? [Y/n]: y

INFO: Satellite Controller (SC) images are the same.
[0000:02:00.0] : Updating base (e.g., shell) flash image...
Bitstream guard installed on flash @0x1002000
Persisted 707222 bytes of meta data to flash 0 @0x7f5353e
Extracting bitstream from MCS data:
.................................
Extracted 34423208 bytes from bitstream @0x1002000
Writing bitstream to flash 0:
.................................
Bitstream guard removed from flash
INFO     : Base flash image has been programmed successfully. 
----------------------------------------------------
Report
  [0000:02:00.0] : Satellite Controller (SC) is either up-to-date, fixed, or not installed. No actions taken.
  [0000:02:00.0] : Successfully flashed the base (e.g., shell) image

Device flashed successfully.
****************************************************
Cold reboot machine to load the new image on device.
****************************************************

[jhgoh]

.deb 파일 위치는 여기: https://www.amd.com/en/support/downloads/alveo-downloads.html/accelerators/alveo/u200.html#alveotabs-item-vitis-tab

[jhgoh]

1080ti 는 데스크탑에 설치해서 체크할 예정. 별도 issue로 처리.

[jhgoh]

vivado/vitis 설치 완료. 구동 확인 완료. 단, vitis는 GUI가 작동하지 않는 것 같음.
jtag 케이블 연결 안 했기 때문에 hw manager는 못 씀.