训练TensorFlow模型的时候，GPU使用率总是出现突然的降低，波动很大，我想问问大神们原因是什么
这个是一个mnist手写体识别的模型，batch_size=500，使用GPU训练，但是GPU使用率会出现突然的波谷，我这个是并行了好几个任务的图（图一），如果单个任务的话，波动更大，如图2。我想请教大神的是，为什么出现这样的波动？是因为GPU的回收机制还是因为各种延迟？
我在用pytorch训练时也出现这样的问题，可能是模型相对较小，数据从CPU传递到GPU需要一定的时间。
温馨提示：答案为网友推荐，仅供参考
第1个回答 2019-03-21
你的问题有点不清楚：
“在命令行import tensorflow有个路径：c:\tf_jenkins\home\workspace\release-win\device\gpu\os\windows\tensorflow\stream_executor......”?
有点搞不清你怎么看到这个的。在python interpreter
>>>import?tensorflow
...?(省略）
>>>?tensorflow
from 后面的就是安装的地方。追问
“在命令行import tensorflow有个路径：c:\tf_jenkins\home\workspace\release-win\device\gpu\os\windows\tensorflow\stream_executor......”?
有点搞不清你怎么看到这个的。在python interpreter
>>>import?tensorflow
...?(省略）
>>>?tensorflow
from 后面的就是安装的地方。追问
您好，我的意思是使用GPU训练模型的时候，用nvidia-smi -l 监控到的性能指标GPU-Util的值波动很大，想知道一下导致这个原因是什么
本回答被网友采纳
相似回答