私もサンニッパやレフ500、魚眼では後部フィルターを外しています。

デジタルカメラの場合、原理的にはセンサーと平行な面があると画像に
悪影響が大きく、特にセンサーに一番近い後部フィルターならなおさら。
でも、レンズ設計上はフィルター装着が前提なので、外した方が結果が
悪くなるレンズ（や撮影条件）があるかもしれませんね。
実際に有る無しで撮り比べてみて結果のいい方をえらんでいいと思います。