최신 반도체 성능과 전력은 어떻게 표현할까? 그리고 좋은 반도체란 무엇이고 PPA란 무엇일까? TOPS, teraFLOPS 탑스, 테라플롭스, 저전력, 고성능, HPC 반도체

PC, Game콘솔 뿐만 아니라, AI와 데이터센터에서도 엄청나게 많은 GPU가 사용됩니다.

어떤 반도체가 좋은건지 알고싶잖아요?

제가 일하고 있는 반도체 업계에선 PPA라고 불립니다.

Performance(성능), Power(전력), Area(면적). PPA 효율이 좋은 반도체가 좋은 반도체입니다.

​예를들어 저전력 반도체를 설계하면… 속도를 낮추던가, 저전력을 위한 특수 로직들을 추가해야 하기때문에… 성능 혹은 면적 효율이 떨어집니다.

​

그래서 PPA를 모두 만족하기 어려운데요.

현대에 가장 중요한 것은 성능과 전력입니다. 전력에 대해선 많이 설명해왔기에 짧게 소개하고, 성능 위주로 설명하겠습니다.

성능 위주로 보실 분들은 스크롤 쭉 내려주세요.

​

현재까지는 사람들 대부분이 반도체 전력 효율에 대해 관심이 없잖아요?

하지만 AI, 자율주행 시대에는 좀 달라질 수도 있을거라고 생각합니다.

​

아래는 Chat GPT의 GPT-3에서 질문 당 전력 소비를 가격으로 산출한 가격입니다. 2센트(약 26원)

GPT-4나 5로 버전 업 되면 이 가격도 같이 오를거에요.

제가 예전에 쓴 전기/하이브리드 자동차 관련 글을 보신 분들은 아시겠지만, 미국은 엄청나게 환경에 관심이 많은 국가입니다.

​

특히 캘리포니아는 살기 좋은 지중해 날씨긴한데, 가뭄과 홍수가 반복 되고, 대기 순환이 잘 안 되는 지역입니다.

이 캘리포니아 사람들은 기후문제를 자라면서 몸으로 느꼈고, 계속 교육 받았고, 돈도 있는 지역입니다. (LA, 샌프란시스코.. 특히 실리콘 밸리가 여기 있어요.)

“캘리포니아 사람들이 기후에 관심이 많은데 어쩌라고?” 이렇게 생각하실 수도 있는데,

​

캘리포니아에는 Califonia Air Resources Board. CARB라는 기관이 있습니다.

이름처럼 캘리포니아 대기 환경 위원회라고 보시면 되는데, 여기선 캘리포니아에 다양한 배출가스 규제를 해요.

“디젤 자동차, 내연기관 자동차, 플라스틱, x 배기량 이상은 20xx년부터는 우리 캘리포니아에서 벌금 대상입니다.” 하는건데, 보통 캘리포니아 주에서 이런 법을 만들면, 미국 연방으로 3~5 년 내에 퍼지게 됩니다.

​

세계에서 가장 소비력 좋은 미국인데, 미국 사람들이 몇 년 후부터 내연기관 차 못 탄다고 하면.. 미국 사람들이 내연기관 차 안 사겠죠?

현대 기아자동차에서 당연히 전기/하이브리드 자동차로 수출하기 위해 R&D할거고, 당연히 국내에도 전기/하이브리드 자동차를 팔기 위해 정책 기조를 바꿀 것입니다.

​

​

반도체도 마찬가지입니다. OpenAI의 GPT-3는 질문당 가격(전력 환산)이 26원 정도에요. GPT-4는 얼마인지 모르겠지만, GPT-3의 두배 이상의 데이터 파라미터 크기를 갖고 있습니다.

이 데이터는 데이터센터에 들어있어요. 유저가 GPT에게 메세지를 보내면, 데이터센터에서 그 메세지를 처리하고, 그 메세지를 다시 유저에게 보냅니다.

​

현재는 사람들이 모르는게 있으면 네이버, 구글에 검색해보지만.. 앞으로는 GPT에 물어볼 가능성이 커요. 그러면 수십 수백억 사람들이 사용할거에요

그리고 이 반도체는 많은 전력 소비를 하고, 그러면서 열을 내뿜습니다. 이 열을 공기만으로는 잡을 수 없기 때문에 물로 식혀주는데요.

구글은 그래서 데이터센터를 지을 때 에너지자원 확보를 위해 주로 바람이 많이 부는 강가에 짓습니다.

뉴스 내용처럼 물 증발량이 엄청나게 많습니다. 물 증발량이 많으니 지역 기후 자체가 변해버리죠.

​

그래서 데이터센터 관련 환경이슈도 벌써 올라오고 있습니다.

아무튼 이러쿵저러쿵해서,

1) 인공지능/자율주행 시대에는 엄청나게 많은 반도체 전력이 소모 될 것이고,

2) 이것을 조금이라도 줄이는 방법이 있어야 하며,

3) 추후에 이런 것들이 기후적으로 + 정치적으로 문제가 될 수 있는 문제입니다.

​

​

자 그리고 이제 성능 얘기를 해보겠습니다.

성능 측면에서 가장 중요한게 “단위 시간당 연산량”입니다. 다른 것도 중요하지만요.

“얼마나 레이턴시가 짧은지?”

“쓰루풋이 한번에 얼마나 많이 가능한지?”

“몇 종류의 연산이 가능한지?”

그러면 이 성능의 단위를 알아보고, 비교해보면 되겠죠.

​

이 성능 단위로 TOPS, teraFLOPS가 자주 인용됩니다. 근데 TOPS는 “초당 몇개의 명령을 처리하는지?”인데, 어떤 텐서 명령인지.. 명확한 기준이 없습니다. 그래서 제가 잘 모르겠고, 밑에 엔비디아 엔지니어조차도 TOPS가 뭘 의미하는지 모르겠다고 하니, TOPS에 대한 설명은 여기까지만 하고, teraFLOPS 위주로 설명을 하겠습니다.

실제 성능은 ALU(산술연산 로직)의 구조와 기타 다른 요소에 따라서 결정되지만,

GPU에서의 성능은 심플하게 “ALU 수 * GPU의 clock frequency * n”로 결정됩니다. (* n을 하는 이유는, 연산 종류/하드웨어 종류에 따라 ALU 접근 횟수가 다르거든요.)

좀 더 자세히 보고자 하시면, 아래 식 참고하시면 되는데 제가 한 내용이랑 거의 같습니다.

PC나 게임 콘솔 성능을 이야기 할때 테라플롭스가 얼마다 라는 이야기를 많이 하고,

데이터센터나 AI, HPC 쪽을 가면 TOPS에 대한 얘기가 나옵니다. FLOPS 얘기를 먼저 해볼게요.

​

여기서 이야기하는 플롭스(FLOPS, FLoating point OPerations per Second)는 우리말 번역하면 ‘초당 부동소수점 연산’ 입니다.

컴퓨터가 1초동안 수행할 수 있는 부동소수점 연산의 횟수를 이야기 하는것으로 컴퓨터 성능을 수치로 나타내는 단위인것이죠. 높을 수록 좋은거구요.

부동소수점이라는 말이… C언어를 하는 저에게는 익숙하지 않고.. float number 혹은 실수(real number)라고 말하는게 편하니, 앞으로 float number라고 하겠습니다.

​

플롭스 (FLoating point OPerations per Second) : 1초에 1번 연산

킬로플롭스 (kiloFLOPS, 10^3) : 1초에 1천만번 연산

메가플롭스 (MegaFLOPS, 10^6) : 1초에 100만번 연산

기가플롭스 (GigaFLOPS, 10^9) : 1초에 10억번 연산

테라플롭스 (TeraFLOPS, 10^12) : 1초에 1조번 연산

페타플롭스 (PetaFLOPS, 10^15) : 1초에 1,000조번 연산

​

• 그래픽카드별 플롭스 성능

RTX 4090 = 90 테라플롭스

RTX 3090 = 35.7 테라플롭스

RTX 2080 = 11.14 테라플롭스

GTX 1080 = 9.0 테라플롭스

GTX 980 = 4.981 테라플롭스

• 콘솔기기 그래픽 성능

엑스박스 시리즈 X = 12.15 테라플롭스

엑스박스 시리즈 S = 4 테라플롭스

엑스박스 원 X = 6 테라플롭스

엑스박스 원 S = 1.4 테라플롭스

플스5 = 10.28 테라플롭스

플스4 = 1.84 테라플롭스

닌텐도 스위치(거치모드) = 0.5 테라플롭스

닌텐도 스위치(휴대모드) = 0.393 테라플롭스

​

2023년에 데이터센터에서 가장 잘 나가고… 하나에 6000만원정도 하는 H100 같은 경우, 아래 정도 입니다.

이 밖에도 소프트웨어도 정말 큰 영향을 끼칩니다.

NVIDIA제국이 가능한 이유 중 하나도 NVIDA의 CUDA 때문인데… 이것도 이후 포스팅에서 다뤄보겠습니다.