そうですね。ごっちゃにしてしまっている部分が少なくないとは思います。

意図したタイミングでAFが全く駆動しない。
これに関しては、AF駆動に関する仕様の変更ともいえるのかもしれません。

特にAFがスタートするまで従来機よりも長くかかる事があるというのはこっちかもしれません（D300発売当初kakaku.comのBBSでいくつかD300のAFの始動がD200より遅いと言われたのは特にこれなのかもしれません）。
ちょっと静物以外だとこのためがかなりつらく感じることが少なくないです。
これを仕様のままで済まされてしまうと結構つらいところですね。
シャッターチャンスを逃すことも少なくないですから。

それ以外に、AFがフリーズすると暫く（数秒から十数秒）AFが完全に不可能になる。
AFが復帰するまで結構かかると言うのがあると思います。
ピント優先でもAF不能のままシャッターが切れるというのがこっちかもしれません。

先のkakakuのBBSの7511963でD2Xsさんが語られているようにいったんフリーズするとAFが再度駆動出来るようになるまで結構掛かる場合があります。

レンズを外して付けなおしたり、いろいろやってみて暫くするとAFが復活するとか（海外でいったんMFにしてからAFにし直すと復活するという方はこっちですかね）。
僕もこっちの経験もあるんですが、上の方とごっちゃにしているところは確かにあります。
どっちもCAM3500の不都合と言うことで。

ただ、隣のポイントにしたら問題なく拾うというのも、動かないポイントであくせくしている間に、実はフリーズ→AFポイントをずらしている間にフリーズから復帰というのはあるかもしれません。
会わないポイントでのAFをあきらめる、隣のポイントにAFポイントをずらして構え直すまでにはそれなりの時間を要しますから。