NSOperation の同時実行スレッドを制限するには maxConcurrentOperationCount を設定することで実現できます。

例えば、メインスレッド以外に最大2スレッドまで実行させたい場合、以下のように設定します。

sharedQueue = [[NSOperationQueue alloc] init];
sharedQueue.maxConcurrentOperationCount = 2;

以上です。