--- Обновление ---
еще раз, если выбрано "добавить видео по ссылке в плейлист", то будет добавлять в первую открытую копию PotPlayer (даже при "воспр. в новой копии" в настройках плеера), у меня так работает, если у вас не так, то я ничем помочь не могу

расширение на это вообще никак не влияет, когда-то в старых версиях плеера добавляло каждый раз в новую копию, когда выбрано "воспр. в новой копии" в настройках плеера, потом разработчик плеера сделал, так чтобы эта опция не влияла, когда просто добавляешь видео (не воиспроизводишь) - всегда добавлять в первую открытую копию плеера

"воиспроизвести видео по ссылке" - будет открываться в новой копии плеера (логически, если выбрано "воспр. в новой копии" в настройках плеера)
-----------------------

"после обновление до версии 1.10 видео с таким же сочетанием клавиш стало открываться просто в новой вкладке браузера. на данный момент"

Обновитесь до 1.10.1. Просто используется один код для всех браузеров (Chrome, Firefox, Opera), но при обновлении для Firefox требуется одну строчку поправлять, на этот раз забыл это сделать...

"Shift + средняя кнопка мыши по названию видео на ютюбе должно добавлять видео в плейлист PotPlayer"

В настройках выбрано "добавлять видео в плейлист" или "воспроизвести видео по ссылке"? Если первое, то всё должно быть нормально, видео добавляет в ту же копию плеера, если второе, то понятно, что в новой копии (если в настройках PotPlayer вы указали открытие видео в новой копии)