手持ち撮影なら全然問題ないです。（裸での持ち運びでは注意が必要ですけど）
三脚使用時は結構気になります。
だいたい60度くらい下に向けると勝手に落下しますね。（仰角も同じ感じ）
以前、紹介してもらったフォーカシングリング用のゴム（塩ビ？）をかぶせるのを真似て
ジャンクのAF28-85mm(NEW)のパーツを被せて対処しています。
見た目を気にしなければ、幅広の輪ゴムをズームリング部に掛けておけば解決できます。