Only goof off when you’re on the green.
goof off: 仕事をサボる、ブラブラする
友人に言われました。。。サボってもいいのは、ゴルフに行っているときぐらいにしなよ。そんな意味かなと思います。