보라빛 소를 만나기 위한 도약

※ 아래 글은 정보통신기술진흥센터(IITP)가 발간하는 주간기술동향 1822호(2017. 11. 15. 발행)에 기고한 원고입니다.

▶ IITP에서 PDF 포맷으로 퍼블리싱한 파일을 첨부합니다. 가독성이 좋으니 참고하시기 바랍니다.

애저(Azure) 전용 하드웨어 개발, 하드웨어 업체로 거듭나는 MS.pdf

ž MS는 최근 개최된 기술 컨퍼런스 ‘마이크로소프트 이그나잇(Microsoft Ignite) 2017’에서 자사 클라우드 서비스인 ‘애저(Azure)’용으로 개발한 독자 하드웨어에 대해 자세히 설명

Ø MS 애저의 CTO를 맡고 있는 마크 러시노비치는 ‘마이크로소프트 애저 데이터센터의 하드웨어와 소프트웨어 아키텍처 내부’라는 제목의 세션 강연을 통해 기존의 데이터센터와는 확연히 다른 모습으로 진화하고 있는 애저 데이터센터에 대해 설명

Ø 러시노비치의 강연은 ‘마이크로소프트는 소프트웨어 기업이다’라는 명제가 이제 완전히 과거의 일이 된 것임을 보여주었다는 평을 이끌어 낼 정도로 MS의 새로운 면모를 보여주었음

Ø MS는 현재 가상 머신을 실행하는 서버뿐만 아니라 데이터센터에서 사용하는 다양한 네트워크 장비 및 AI(인공지능)에 최적화 된 FPGA 보드, 백업을 위한 전용 스토리지 등을 개발하고 있음

Ø FPGA 보드는 프로그램이 가능한 비메모리 반도체의 일종으로. 회로 변경이 불가능한 일반 반도체와 달리 용도에 맞게 회로를 다시 새겨 넣을 수 있어 용도에 맞게 반도체의 기능을 소프트웨어 프로그램 하듯이 변형시킬 수 있는데, 일반 반도체에 비해 가격이 수십~수백 배 비쌈

Ø 러시노비치는 MS 애저의 새로운 특징을, ‘데이터 센터, 네트워크, 서버, 스토리지’의 네 가지 키워드로 설명하였음

ž ‘데이터센터’와 관련하여 MS는 올해 9월부터 ‘이용가능 구역(Availability Zones, AZ)’이라는 개념을 도입했는데, 이는 아마존 웹서비스의 ‘AZ’와 동일한 것임

Ø MS는 전 세계의 다양한 지역에 데이터센터의 그룹인 ‘지역(Region)’을 만들고 있는데, 한 지역 내에서 물과 전력 네트워크의 공급 라인이 서로 다른 한 ‘구역(Zone)’이 AZ가 됨

Ø AZ는 한 지역에 최소 3개 이상이 존재하고, 하나의 AZ가 물리적으로 다운되더라도 다른 AZ에는 영향이 미치지 않도록 설계되어 있으므로 애저 이용 기업은 여러 AZ에 걸쳐 서버 클러스터를 구축하는 것으로 AZ의 장해에 대비할 수 있게 됨

Ø MS는 데이터센터의 전기 공급에 관해서도 흥미로운 활동을 하고 있는데, 우선 2018년까지 데이터센터가 소비하는 전력의 50%를 ‘풍력, 태양광, 수력 에너지’로 전환할 계획이며, 2020년까지 이 비율을 60%로 높인다는 계획임

Ø 또한 올해 안에 데이터센터 내에서 연료 전지의 시범 도입을 시작할 것인데, 연료로는 천연가스를 사용하지만 천연가스를 그대로 연소시키는 것이 아니라, 천연가스에 포함된 수소와 산소를 화학 반응시켜 전기를 생성한다고 함

Ø 화력 발전소에서 만들어진 전력을 사용하면 송전망과 데이터센터의 변전 설비 등에 전력 손실이 발생하는 반면, 연료 전지를 사용하면 전력망을 거치지 않고 데이터센터 내에서 발전한 전력을 소비하므로 연료 효율이 2배로 증가하고 정전 영향을 받지 않아 신뢰성도 높아진다고 함

ž 다음으로 ‘네트워크’와 관련해 MS는 한 지역 내의 각 데이터센터들을 연결하는 네트워크 장비도 독자 개발하였음

Ø MS는 현재 전 세계에 36개의 ‘지역’을 구축하고 있으며 각 지역은 MS 전용의 광섬유 케이블로 연결하는데, 통신회사의 광섬유 망을 임대할 뿐만 아니라 직접 자금을 투자해 전용 해저 광케이블을 설치하기도 함

Ø MS가 독자 개발한 데이터센터들을 상호 연결해주는 네트워크 장비는 여러 랙으로 구성되는 대형 광 스위치로 ‘매디슨(Madison)’이라 불리는데, 매디슨은 데이터센터 사이에서 1.6페타바이트/초의 속도로 광통신이 가능하다고 함

Ø 또한 32 메가와트 규모의 소비 전력이 있으면 한 지역을 감당할 정도의 네트워크 대역을 커버할 수 있는데, 이는 수만~수십 만 대의 표준적인 서버를 32 메가와트로 가동할 수 있다는 말임

Ø 러시노비치에 따르면, 기존 네트워크 장비에서 이 정도 대역을 커버하기 위해서는 32랙 없이는 수용 할 수 없을 정도의 대형 네트워크 장비를 도입해야 했음

Ø 그러나 2 랙 정도의 하드웨어와 32 메가와트로 지역 간 통신을 커버할 수 있는 매디슨을 자체 개발함으로써 비용을 대폭 절감했을 뿐 아니라 소비 전력도 크게 줄일 수 있게 되었음

ž ‘서버’와 관련해서는 FPGA에 대한 최근의 개발 노력과 MS가 개발해온 서버 하드웨어의 역사에 대해 상세히 설명하였음

Ø MS는 2015년 말부터 애저에 새로 추가된 모든 물리적 서버에 자신들이 독자적으로 개발한 FPGA 보드를 탑재해 오고 있음

Ø 이 FPGA 보드는 ‘스마트NIC’라 불리는데, 마이크로소프트 애저의 SDN(소프트웨어 정의 네트워크)에 관련된 라우팅 테이블의 변환 처리 외에 네트워크 통신의 암호화 처리 등을 담당함

Ø 서버 하드웨어와 관련해서는 2008년에 애저 서비스를 시작한 이래 매년 새로운 서버 하드웨어를 MS가 자체 개발해 왔다는 사실을 공개하였음

Ø 애저에 처음 도입된 자체 개발 서버의 이름은 ‘Gen 2(2세대)’였는데, 이는 MS가 애저 서비스를 시작하기 전부터 서버를 자체 개발하고 있었다는 것을 시사하고 있으며, 현재는 Gen 6(6세대) 서버가 탑재되어 있음

Ø Gen 6 서버는 MS가 OCP(Open Compute Project)에 하드웨어 설계도를 오픈소스로 기증한 ‘프로젝트 올림퍼스(Project Olympus)’와 동일한 것이라고 하는데, OCP는 페이스북이 주도해 시작된 데이터센터 하드웨어의 오픈소스 단체로 최근 MS, 구글, 애플 등도 참여하고 있음

Ø MS는 최근에 ‘비스트(Beast)’라 불리는 프로세서 코어 120 개, 메모리 4 테라바이트를 탑재한 몬스터 머신까지 개발하고 있다고 하는데, 러시노비치에 따르면 비스트는 SAP HANA와 MS SQL 서버 등 데이터베이스를 운용하는 데 특화된 하드웨어라고 함

Ø 한편, MS는 서버 펌웨어 변조 등을 방지하기 위한 보안 칩인 ‘케르베로스(Cerberus)’도 개발하고 있는데, 이는 서버에서 사용하는 모든 부품 펌웨어에 디지털 서명을 함으로써 조작을 할 수 없게 하는 것으로, 구글도 이와 유사한 보안 칩을 개발하고 있음

ž 마지막으로 ‘스토리지’와 관련해서는 애저의 스토리지 시스템이 제타바이트 규모가 될 것이며, 이를 위해 방대한 데이터 백업 전용 장치도 자체 개발하고 있다고 설명

Ø MS는 애저의 제공을 시작한 이래 스토리지 비용을 98% 절감해 왔는데, 스토리지 공급업체가 판매하는 전용 저장 장치를 사용하지 않고 자체 개발한 서버의 내장 스토리지와 소프트웨어의 조합으로 폭발적으로 늘어날 스토리지 수요에 대응하는 동시에 비용을 절감했다고 함

Ø 애저의 스토리지는 페타바이트의 백만 배인 제타바이트를 향해 가고 있으며 이처럼 방대한 데이터는 백업하는 것도 힘든 일인데, MS는 데이터센터 백업 용도로 IBM의 대형 테이프 라이브러리인 ‘TS3500’을 사용 중이며, TS3500은 최대 1만 2천 개의 테이프를 저장할 수 있음

Ø 또한 MS는 ‘펠리칸(Pelican)’이라는 명칭의 백업 전용 저장 장치도 자체 개발하고 있는데, 하나의 서버 랙에 1,152개의 하드 디스크를 탑재하는 시스템으로 10 테라바이트의 하드 드라이브를 사용하는 경우 용량은 총 11.5 페타바이트에 달함

Ø MS는 현재 차세대 저장 장치도 개발 중인데, 기록 매체에 ‘석영 유리’를 사용하는 ‘프로젝트 실리카(Project Silica)’ 및 기록 매체에 DNA를 사용하는 ‘프로젝트 팰릭스(Project Palix)’ 등을 진행하고 있으며, 팰릭스의 경우 하나의 서버 랙에 1 제타바이트를 저장할 수 있다고 함

ž 하드웨어 제조업체로서 마이크로소프트의 스킬은 해마다 높아지고 있다는 사실이 이번 기술 컨퍼런스를 통해 다시금 확인되었음

Ø 그 동안 혁신적 데이터센터 기술의 개발은 페이스북과 구글이 주도하는 것으로 알려졌으나, 이들 못지 않게 MS도 독자 데이터센터 기술을 개발해 왔음이 밝혀졌으며, 여기에 애플을 더해 4개 기업이 경쟁과 협력을 통해 폭발적인 데이터 수요 대응 방안 마련에 나설 것으로 전망