소개

2021/3/31에 Power Systems Virtual Server(이하 Power VS)의 오사카 리전이 GA했습니다.
이제 AIX와 IBMi를 IBM Cloud의 국내 DC에서 동서에 배치할 수 있는 서비스가 완성되었습니다.
Power VS 네트워크는 기존 IBM Cloud 네트워크와 분리되어 있으며 동서에 AIX LPAR을 작성하는 것만으로는 AIX간에 소통하지 않습니다.
이 기사에서는 동서의 AIX를 소통시킵니다. 실현하고 싶은 것은 그림의 빨간색 화살표 통신입니다.
Power와 x86 사이의 Direct Link Connect는 1DC당 2개까지 무료이며, DC간 네트워크는 무료로 사용할 수 있으므로 네트워크 비용이 발생하지 않는 것이 좋은 점이라고 생각합니다.



도쿄에 있는 파워 네트워크에서 x86 네트워크를 지나 DC간 네트워크를 통해 오사카까지 가서 오사카 파워 네트워크로 들어갑니다.
NAT해도 좋습니다만, 이번은 Power의 네트워크에 할당한 192.168.x.x의 IP끼리 소통시키기 위해, 아래와 같이 3개의 GRE 터널로 통신을 중계합니다.

GRE①: 도쿄 파워와 도쿄 VRA 사이
GRE②: 도쿄 VRA와 오사카vyos 사이
GRE③: 오사카vyos와 오사카 파워 사이

동서를 소통시킬 뿐이라면, 도쿄의 VRA에서 오사카의 Power측에 GRE를 붙일 수도 있으므로, 도쿄나 오사카의 어느 쪽에 GRE를 붙일 수 있는 가상 라우터가 있으면 실현할 수 있습니다. 다만, Power를 동서에 배치하는 용도로서는 DR이 상정되기 때문에, 만일, 도쿄가 재해했을 때도, 오사카측 Power에 IPSec등으로 넣는 입이 필요하다고 생각해, 동서 양쪽에 가상 라우터를 배치해 있습니다. (물론 오사카 측은 비오스가 아닌 VRA라도 좋지만 이번에는 가상 서버에 비오스를 넣어 검증하고 있습니다)

GRE①과 GRE③의 전제로서 도쿄의 Power와 x86 사이, 오사카의 Power와 x86 사이를 각각 Direct Link 2.0으로 접속합니다.
Power와 x86 사이의 Direct Link 2.0에 대해서는 여기에 썼습니다.

GRE①: 도쿄 파워와 도쿄 VRA 사이

Case를 기표하고 Power측의 GRE 설정을 의뢰합니다. 자세한 내용은 여기에 썼습니다.
도쿄의 AIX로부터, 오사카의 Power VS의 세그먼트(192.168.160.0/24)로 향하는 통신을 GRE 경유로 VRA에 건네주었으면 하므로, case에서는 아래와 같은 항목을 의뢰합니다.

Private Networks to be routed over GRE:
Private Network ID (1): 192.168.160.0/24

VRA측은 아래와 같이 설정합니다.

VRA@도쿄

set protocols static route 172.16.0.37/32 next-hop 10.132.163.193

set interfaces tunnel tun0 address 172.16.100.5/30
set interfaces tunnel tun0 encapsulation gre
set interfaces tunnel tun0 local-ip 10.132.163.242
set interfaces tunnel tun0 remote-ip 172.16.0.37

set protocols static route 192.168.150.0/24 next-hop 172.16.100.6

GRE②: 도쿄 VRA와 오사카vyos 사이

도쿄의 VRA와 오사카의 vyos 사이에도 GRE를 펼칩니다.
GRE 터널 내 IP는 도쿄 측이 172.16.100.9, 오사카 측이 172.16.100.10으로 했습니다.
VRA@ 도쿄는 오사카 AIX 세그먼트(192.168.160.0/24)로 향하는 패킷을 GRE 대향(172.16.100.10)으로 전달합니다.

VRA@도쿄

set interfaces tunnel tun1 address 172.16.100.9/30
set interfaces tunnel tun1 encapsulation gre
set interfaces tunnel tun1 local-ip 10.132.163.242
set interfaces tunnel tun1 remote-ip 10.8.29.213

set protocols static route 192.168.160.0/24 next-hop 172.16.100.10

vyos@오사카는 도쿄 AIX 세그먼트(192.168.150.0/24)로 향하는 패킷을 GRE 대향(172.16.100.9)으로 전달합니다.

vyos@오사카

set interfaces tunnel tun0 address '172.16.100.10/30'
set interfaces tunnel tun0 encapsulation 'gre'
set interfaces tunnel tun0 local-ip '10.8.29.213'
set interfaces tunnel tun0 remote-ip '10.132.163.242'

set protocols static route 192.168.150.0/24 next-hop '172.16.100.9'

GRE③: 오사카vyos와 오사카 파워 사이

①과 마찬가지로 Case를 기표하고 Power측의 GRE 설정을 의뢰합니다.
오사카의 AIX로부터, 도쿄의 Power VS의 세그먼트(192.168.150.0/24)로 향하는 통신을 GRE 경유로 vyos에 건네주었으면 하므로, case에서는 아래와 같은 항목을 의뢰합니다.

Private Networks to be routed over GRE:
Private Network ID (1): 192.168.150.0/24

case 기표

Hello,
I'm refferring this docs.
https://cloud.ibm.com/docs/power-iaas?topic=power-iaas-configuring-power#gre-tunneling

Could you configure the Power VS side for the GRE tunnel?

Customer name: xxx
Customer account ID: xxxxxx
GRE Tunnel source (Power VS) IP: ???(I don't know it. Can you specify this?)
GRE Tunnel destination (IBM Cloud VRA) IP: 10.8.29.213
GRE Tunnel interface (Power VS) IP: 172.16.100.14/30
GRE Tunnel interface (IBM Cloud VRA) IP: 172.16.100.13/30
Private Networks to be routed over GRE:
Private Network ID (1): 192.168.150.0/24

Datacenter/Colo is OSA21.

Thanks,

상기 case의 회신으로서, Power측의 GRE 종단은 172.16.0.40이라고 가르쳐 주었으므로, 이하를 vyos로 설정합니다.

vyos@오사카

set protocols static route 172.16.0.40/32 next-hop '10.8.29.193'

set interfaces tunnel tun1 address '172.16.100.13/30'
set interfaces tunnel tun1 encapsulation 'gre'
set interfaces tunnel tun1 local-ip '10.8.29.213'
set interfaces tunnel tun1 remote-ip '172.16.0.40'

set protocols static route 192.168.160.0/24 next-hop '172.16.100.14'

이제 도쿄의 AIX와 오사카의 AIX 사이가 소통했습니다.

도쿄 AIX에서 오사카 AIX로의 ping 결과

# ping 192.168.160.207
PING 192.168.160.207 (192.168.160.207): 56 data bytes
64 bytes from 192.168.160.207: icmp_seq=0 ttl=247 time=11 ms
64 bytes from 192.168.160.207: icmp_seq=1 ttl=247 time=10 ms
64 bytes from 192.168.160.207: icmp_seq=2 ttl=247 time=10 ms
64 bytes from 192.168.160.207: icmp_seq=3 ttl=247 time=10 ms

이상입니다.