[GPU] FLOPs와 FLOPS

AI와 딥러닝 분야에서 하드웨어의 연산 처리 능력과 속도를 수치화할 때 FLOPS 라는 단위를 사용합니다.
그런데 FLOPS 와 FLOPs 이 두 개의 단어는 다른 뜻을 가집니다.
소문자와 대문자의 차이밖에 없지만 구분없이 혼용해서 쓸 경우에 오해의 여지가 생길 수 있습니다. 이 FLOPS와 FLOPs의 차이에 대해 다룹니다.

 

---

1. FLOPs

FLOPs(FLoating point OPerations) 는 단어 자체로는 '부동 소수점 연산’을 의미합니다.
이 연산은 사칙연산을 포함해서 root, log, exponential 등의 지수연산도 해당되고 각각 1회 연산으로 계산을 하게 됩니다.
딥러닝 모델에서 FLOPs 라는 단어를 사용할 때, 그 모델에서 부동 소수점 연산이 몇 번 시행되었는가? 를 의미 즉, 딥러닝에서 모델의 크기를 나타내는 지표 입니다.

 

 

---

 

2. FLOPS

FLOPS(FLoating point Operation Per Second)는 1 초당 부동 소수점 연산을 얼마나 많이 처리할 수 있으냐를 의미하는 지표입니다.

 

출처: nvidia

 

위와 같이 성능 수치에 대해서 테라플롭스(TFLOPS) 라는 단위를 지표로 사용하는 것을 볼 수 있습니다.

기존의 CPU의 성능을 측정할 때의 척도로는 clock 의 속도 단위인 헤르츠(Hz)를 사용했었다면 GPU는 아키텍처의 구조에 따라 클럭당 연산 속도가 다를 수 있기 때문에 성능 비교에서 FLOPS를 사용한다고 볼 수 있습니다.

 

 

 

---

 

 

본 포스팅의 내용 및 이미지를 무단 전재, 재배포 또는 복사를 금지합니다.

인용 시 출처와 같이 공개해주세요!

도움이 되셨다면 댓글 또는 공감 부탁드립니다!