Tensorflow Serving 1.0

Tensorflow Serving 1.0 was release 

on Aug / 7 at Google I/O '17

What's TensorFlow Serving ?

Tensorflow Serving은 After training engine이라고 볼수 있겠다.

쉽게 말해 inference용 engine이다.

NVIDIA의 TensorRT와 같은 기능을 생각하면 될 것 같다.

장점은 portable한 inference engine이라는것이고 

(다른 ML platform 적용가능)

여러가지 training모델을 하나의 프로세스에서 작동이 

가능하다고 한다.

trained된 model을 올렸다가 내렸다가 할수 있다는것이다.

docker와 kubernete가 지원된다. 

Tensorflow 최적화가 잘되어있다고 한다.

TensorRT와 비교할때 아쉬운점은 Training optimization이 

TensorRT쪽이 잘 되어있다는 것이다.

C++ Libraries

-TensorFlow model save / export formats

-Generic core platform

Binaries

-Best practices out of the box

-Docker containers, Kubernete tutorial

Hosted Service

- Google Cloud

- Internal Service

Libraries

- a-la-carte (mix and match to suit your need)

- You can seamlessly migrate back and forth

You can write adapters that plug-in different Machine Learning Platforms and run them in TensorFlow Serving.

It's serving multiple models and versions in a single process.

It helps you to achieve efficiency of mini-batching from training with requests arriving asynchronously.

Inference API에는

- Predict

- Regress

- Classify

- Multi-Inference

기능이 포함되어있다.

2016/2월에 opensource 발표가 되었다가

2017/8월에 정식으로 1.0버전이 발표되었다.

Tensorflow Serving은 C++와 Linux 기반으로 동작한다.

https://research.googleblog.com/2016/02/running-your-models-in-production-with.html

=>2016년 tensorflow serving 발표 블로그

https://www.tensorflow.org/serving/serving_basic

=>Tensorflow Serving Tutorial

https://developers.googleblog.com/2017/07/tensorflow-serving-10.html

=>2017년 8월 7일 발표된 Tensorflow Serving 1.0 관련 블로그