1、安装nvidia驱动

首先去官网上查看适合你GPU的驱动。
例如，本人的GPU适合的驱动如图：

执行如下语句，安装

sudo add-apt-repository ppa:graphics-drivers/ppa
sudo apt-get update
sudo apt-get install nvidia-367
sudo apt-get install mesa-common-dev
sudo apt-get install freeglut3-dev

执行完上述后，重启：

sudo reboot

输入：
nvidia-smi
如果出现了你的GPU列表，则说明驱动安装成功了。另外也可以通过：

nvidia-settings

查看自己机器上详细的GPU信息，本人机器的信息如下：

2、安装CUDA

cuda是nvidia的编程语言平台，想使用GPU就必须要使用cuda。
从这里下载cuda8.0的安装文件

注意这里下载的是cuda8.0的runfile（local）文件。
这里是nvidia给出的官方安装指南（遇到问题时可以查阅)
下载完cuda8.0后，执行如下语句，运行runfile文件：

sudo sh cuda_8.0.27_linux.run

因为驱动之前已经安装，这里就不要选择安装驱动。其余的都直接默认或者选择是即可。
使用：

sudo gedit /etc/profile

打开“profile”文件，在末尾处添加（注意不要有空格，不然会报错):

export PATH=/usr/local/cuda-8.0/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda-8.0/lib64$LD_LIBRARY_PATH

重启电脑：

sudo reboot

3、测试cuda的Samples

cd /usr/local/cuda-8.0/samples/1_Utilities/deviceQuery
sudo make
./deviceQuery

如果显示的是一些关于GPU的信息，则说明安装成功了。

4、参考资料

Ubuntu16.04+cuda8.0+caffe安装教程