gthread ，甚至流量不大的时候 sync 模式都可以。
online inference 一般不会上 GPU ，因为往 GPU 上面来回搬数据也是有 overhead 的。特别是你自己写的服务，没有做 batching 的话，就是不断的搬很小的 tensor ，做很简单的运算。这个时候这个 IO 开销会超过运算开销。

如果是做批量 inference （比如在数据管道里），可以考虑上 GPU 。

几个程序一起用 GPU 我记得默认和多进程模型类似，timesharing 模式，不同进程切分为 time slices ，上 GPU 执行，CUDA 里面有个中央的调度器。
nvidia 也有更高级的执行模式（可能要收费的），可以几个 kernel 一起上 GPU 并行执行，这样程序就不用中断。
但这个 schedule 算法是闭源的，谁也说不清楚是咋弄的，