Pascal, Volta

TensorRT란? =>예전에는 GPU Inference Engine이라 불리였던 Deep Learning Inference Engine. 2017년 8월 9일 현재 TensorRT 2까지 나왔고 TensorRT 3이 Volta 정식발매와 함께 출시예정.최근 TensorRT 3 Early Access Interest를 받고있음.NVIDIA developer 참조. TensorRT는 주로 P40, P4같은 Inference용 그래픽카드에서 최적화 되어있다고 말할수 있음. TensorRT 구조 크게 2가지 구조로 구성되어 있는데 하나는 TensorRT Optimizer(Training 모델 최적화) 다른 하나는 TensorRT Runtime Engine으로 주로 Inference용으로 실제 적용하려는 제품에..

Tensorflow Serving 1.0 was release on Aug / 7 at Google I/O '17 What's TensorFlow Serving ? Tensorflow Serving은 After training engine이라고 볼수 있겠다. 쉽게 말해 inference용 engine이다. NVIDIA의 TensorRT와 같은 기능을 생각하면 될 것 같다. 장점은 portable한 inference engine이라는것이고 (다른 ML platform 적용가능) 여러가지 training모델을 하나의 프로세스에서 작동이 가능하다고 한다. trained된 model을 올렸다가 내렸다가 할수 있다는것이다. docker와 kubernete가 지원된다. Tensorflow 최적화가 잘되어있다고 한다..