Ответ: Tiff/it
Не знаю как в TIFF/It, но в Дельте и Scitex (а еще в PSTI в Нексусе) векторная часть растрируется в битмап с разрешением вывода, растровые полутоновые картинку попадают на второй слой, разрешение которого кратно разрешению вывода. Если разрешение вывода не кратно разрешению...