티스토리 뷰
TensorRT란?
=>예전에는 GPU Inference Engine이라 불리였던 Deep Learning Inference Engine.
2017년 8월 9일 현재 TensorRT 2까지 나왔고
TensorRT 3이 Volta 정식발매와 함께 출시예정.
최근 TensorRT 3 Early Access Interest를 받고있음.
NVIDIA developer 참조.
TensorRT는 주로 P40, P4같은 Inference용 그래픽카드에서 최적화 되어있다고 말할수 있음.
TensorRT 구조
크게 2가지 구조로 구성되어 있는데
하나는 TensorRT Optimizer(Training 모델 최적화)
다른 하나는 TensorRT Runtime Engine으로 주로 Inference용으로 실제 적용하려는
제품에 deploy 할수있게 도와주는 runtime 엔진으로 구성되어 있음.
실제 TensorRT3로 Inference했을경우 예시
Pascal series는 P100, P40, P4로
P100은 주로 Training 전용 카드라는 느낌이 강했고
P40, P4가 Inference모델이라는 느낌이 있었다면
V100은 deep learning용 만능카드로
실제 Inference시 이미지 처리속도가 P100에 비해 약 3배이상 차이나서
기존에 이미지를 실시간으로 처리하는게 문제였지만
이런 부분을 V100으로 커버가 가능하고
실시간 Inference의 기초를 닦았다고 볼수 있을듯하다.
이제는 소프트웨어 개발이 언제가될지...