Сложные случаи
Бывают, конечно, случаи, когда Deshaker выдаёт не совсем устраивающий результат. Сила этого фильтра не в том, что он всегда работает хорошо, а в том, что почти всегда его можно заставить работать неплохо. То есть регулированием различных параметров добиться вполне удовлетворительного, а иногда — и отличного результата. Сейчас мы поговорим о таких сложных случаях.
Прежде всего, если что-то не устраивает, то надо определить причину. Их может быть две: неподходящие настройки второго этапа проявляются в основном в том, что возникают артефакты по краям изображения, связанные с компенсацией границ при наличии заметного движения около них между кадрами. Ещё раз подчеркну, что применяемый в Deshaker метод заполнения границ не имеет аналогов среди доступных фильтров, но и он не всегда даёт хороший результат. В таком случае надо просто уменьшить эти границы либо введением дополнительного зума, либо снижением плавности (в т.ч. и кратковременным, за счёт Max correction limits). Это было рассмотрено в секции про второй проход.
Другая причина связана с неправильным определением движения на первом проходе для отдельных кадров или групп кадров. Проявляется это в дёрганиях в соответствующих местах (это может быть смещение кадра, резкий наклон или прыгание увеличения). В этом случае надо регулировать настройки первого прохода и переделывать его целиком или частично. Если число моментов дёрганий невелико, то есть смысл пройтись по ним непосредственно: запомнив номера кадров, на которых этот эффект проявляется, и переключившись обратно на первый проход, чтобы посмотреть на определяемые вектора движения. (Если использовались будущие кадры, то из номера кадра на втором проходе надо вычесть число будущих кадров). В большинстве случаев на первом проходе в эти моменты происходит что-то неправильное — либо движение вообще не определяется (слишком мало валидных векторов), и кадр считается началом новой сцены, либо же "фокус внимания" фильтра перескакивает с одного объекта на другой (в частности, фон).

В приведённых последовательных кадрах движение камеры было примерно одинаковым, но в первом случае оно определилось правильно по движению фона, а во втором — неправильно, захватив объект и вынужденно выкинув часть фона. На самом деле в последних версиях Deshaker такая ситуация, скорее всего, не возникнет благодаря более "интеллектуальной" системе слежения за объектом на фоне, выраженной в галке Remember discarded areas to next frame. По умолчанию она включена и призвана сосредоточиться на движении фона, даже если объект, постепенно увеличиваясь, занимает бОльшую часть кадра. Другая полезная "ручка", применение которой может дать нужный эффект, но сильно замедлить работу, — Deep analysis if С этими установками связаны настройки отбрасывания векторов движения, не подходящих под общую картину. Discard motion of blocks that move > X pixels in wrong direction управляет отбраковкой таких блоков (они становятся красными). Если камера находится в одной точке и общий фон не движется существенно (как, например, листва в лесу на ветру), то движение блоков фона должно очень хорошо описываться общими значениями смещения/поворота, поэтому этот параметр можно снизить до 1, выкидывая т.о. всё что не относится к фону. (При этом можно и задать размер блока (Block size) поменьше, например, 16-24 пикс.) С другой стороны, если камера движется относительно фона, то можно и задать побольше значение в этой графе, чтобы "ловить" побольше векторов движения.
Также существует и более ручной способ управлять отбрасыванием разных частей кадра, задавая игнорируемые области в секции Ignore pixels inside ... и outside ... Например, если снимать в движении, то в нижней части кадра наверняка будут объекты переднего плана, движущиеся относительно "неподвижного" фона. Их можно отрезать, задав значение в поле Outside / Bottom. С другой стороны, "мешающий" объект в центре кадра можно попытаться ликвидировать через Ignore pixels inside. Правда, если он реально движется по кадру, то довольно скоро выйдет за пределы игнорируемой области или же придётся задавать её слишком большой, что нежелательно. С другой стороны, обычно это требуется максимум для нескольких кадров подряд, так что можно прогнать их с нужной установкой и подклеить соответствующие значения в общий log файл. В конечном итоге, надо добиваться того, чтобы все белые вектора относились к фону, а красные или отсутствующие — к движущимся объектам. Хотя в некоторых ситуациях может оказаться предпочтительнее следить за движением объекта, а не фона.
Если фон малоконтрастный (небо, снег), то для многих блоков не могут быть достоверно вычислены вектора движения, т.к. не удаётся точно отождествить их в предыдущем кадре. Такие блоки вообще не будут иметь векторов движения. Если хочется как-то ослабить эту отбраковку, можно поиграть значениями в полях Discard motion of blocks that have match value best — Y. Если определённых векторов движения слишком мало (особенно если меньше, чем задано в графе Skip frame if < X % blocks are OK, что приведёт к пропуску анализа кадра), то нужно попытаться уменьшить "критичность" отбраковки путём уменьшения этих двух параметров. Кроме того, по умолчанию не используются слишком тёмные области (Ignore darker than ..), т.к. в них невелика контрастность и много шумов. Также можно применить такой трюк: на первом этапе добавить в цепочку фильтров перед Deshaker что-нибудь типа Levels или Brightness/Contrast, и "разогнать" контрастность для нужных областей (светлых или тёмных), чтобы детектор движения лучше работал. Перед вторым проходом, конечно, дополнительный контраст нужно удалить.
Для всех тонких настроек лучше выставить в максимум поля Scale (=Full) и Use pixels (=All), хотя это замедляет обработку в 2-3 раза. В конечном итоге, ничто не мешает проводить тонкую настройку параметров для отдельных участков клипа, проходить по этим участкам вручную (стрелкой вправо) и затем совмещать полученные значения с основным log-файлом (который, конечно, надо сохранить под другим именем). Формат этого файла текстовый и довольно очевидный — в каждой строке идут величины смещения по X, Y, вращения и зума для данного кадра (если видео было чересстрочным — то отдельно для первого и второго по времени поля). Начало новой сцены (кадр, для которого не удалось определить движение), помечается дополнительным флагом new_scene. Если какие-то кадры отсутствуют в log-файле, они учитываются с нулевым движением (но не с флагом новой сцены). Однако, если какой-то кадр никаким способом не удалось "распотрошить" детектором движения, то лучше задать ему не нулевые значения, а сходные с ближайшими кадрами — так можно избежать рывка в конечном видео. В принципе, можно использовать опцию Append to file (для повторяющихся кадров используется последнее заданное значение), но лучше всё же сохранять отдельные куски лога в другой файл и затем вклеивать в основной только нужные кадры. Также может пригодиться следующий трюк: использовать разные настройки для определения смещения и поворота, а затем совмещать лог-файлы "по столбцам". Например, снимая фигуру человека на каком-то фоне движущейся вокруг него камерой, мы можем захотеть привязаться по движению к центру композиции — человеку, но из-за того, что он и сам движется, и камера движется вокруг него, горизонт будет "плавать". Можно прогнать первый проход с учётом только центра кадра, определив смещения, а затем — ещё раз с учётом периферии, определив повороты относительно горизонта, и вставить в первый log-файл столбец с поворотами из второго. В общем, варианты ручного вмешательства могут быть самыми разными.
Пару слов об организации "техпроцесса". Ясно, что лучше стабилизировать отдельные сюжеты, а не весь фильм (т.е. лучше при захвате делать нарезку сцен в отдельные файлы), причём ещё до включения видео в монтажную программу. Можно, впрочем, действовать следующим образом: монтировать с исходными файлами, а перед окончательной сборкой (render, export) заменить их на стабилизированные с теми же именами и параметрами, а исходные переложить в другую директорию. При этом первый проход фильтра можно провести в пакетном режиме (Virtual Dub job control) для всех требуемых файлов (только не забыть писать всё в отдельные log-файлы), а вот второй этап, скорее всего, придётся делать вручную (если использовать махинации с future frames и append avi segment). Впрочем, если не жалко последние 25-30 кадров и не напрягают пустые кадры в начале, то можно оба прохода делать в автоматическом режиме. На первом этапе тогда пригодится опция Video output: none. Также, чтобы не вводить постоянно значения параметров, их можно сохранить, используя опцию VirtualDub Save/Load processing settings (это относится не только к параметрам Deshaker, а и ко всем остальным настройкам VirtualDub — кодеки, параметры звука и т.д. — короче, удобно иметь один или несколько сохранённых пресетов обработки).
Итак, Deshaker — очень мощный и гибкий инструмент, отлично работающий на стандартных настройках и дающий широкие возможности для ручного вмешательства. Он имеет уникальный алгоритм заполнения краёв, что решает одну из главных неприятностей стабилизации. К недостаткам его можно отнести не очень удобное использование (в отдельной программе, а не в вашей любимой монтажке), необходимость предпринимать специальные меры для включения возможности работы с будущими кадрами, медленную скорость работы. Если вас интересует качественный результат любой ценой и вы готовы возиться с настройками, то Deshaker — лучший выбор.

Здесь мы сразу нажали кнопку Further settings, открывающую доступ ко всем настройкам. Как видно, почти все они даются в "условных величинах", но их физический смысл более-менее ясен. В середине находится блок настроек определения движения на первом проходе. Точность определения движения (Motion detection) может варьироваться от быстрой (more quickly) до точной (more valid) — нет причин не ставить её на максимум, просчёт всё равно идёт довольно быстро (хотя авторы утверждают, что среднее положение вполне достаточно в большинстве случаев). Important picture area управляет, на что больше ориентироваться при анализе движения — на центр кадра или его края, т.е., по большому счёту, на объект или фон. Настройки Special video analysis дают дополнительные возможности по учёту векторов движения: Detect shapeless content — в малоконтрастных областях (например, в облаках); Fast motions — с большими смещениями (обычно игнорируются), Micro motions — с очень малыми смещениями (тоже обычно игнорируются; включение сильно замедляет работу и может дать худший результат при большой зашумлённости картинки). Нижнее поле (Particular distinguishing characteristics) тоже управляет "вниманием" детектора движения: только силуэт (крупные детали) / контуры объекта / мелкие детали.
Справа находятся настройки стабилизации, т.е. второго прохода. Camera stabilization управляет степенью стабилизации — от лёгкой (Soft), устраняющей только сильную тряску, до Static, создающей эффект неподвижной камеры. Настройка Camera balance управляет "инерционностью" движения стабилизированной камеры; обычная установка in balance оптимальна для большинства случаев. Настройка Camera motion определяет, какие движения стабилизировать: только смещения (inclination), также повороты (tilt), также увеличение (zoom). Далее идут настройки компенсации краёв изображения. К сожалению, Mercalli не умеет заполнять их так, как Deshaker, так что остаются два варианта: или оставлять их чёрными, или заполнять пикселами с краёв картинки (галка Fill up border region). Кроме того, можно задать увеличение центральной части кадра для устранения бордюров (регулируется ползунком Scaling, либо включением режима Without borders(upscaled) для полного устранения бордюров). Адаптивным зумом фильтр, по-видимому, также не обладает, так что выбирается максимальная фиксированная часть кадра, не дающая пустых краёв. Вероятно, upscaled — единственная более-менее визуально приемлемая установка.
Кроме отдельных настроек, можно выбирать пресеты под конкретную задачу — съёмка с рук, с плеча, со штатива, с сильным дёрганием и т.д., а также пресет общего назначения (versatile).
После настройки и нажатия OK запускается первый проход фильтра, на экран при этом выводится окошко с исходным видео, раскрашенным в разные цвета и с различными линиями поверх. Видимо, для конечного пользователся это служит только средством внушения уважения к мощи фильтра, поскольку никаких комментариев по содержанию окошка разработчики не дают.

После этого можно перемещаться по timeline и наблюдать уже результат работы фильтра, что очень удобно. При необходимости можно пойти и отрегулировать значения параметров (если затрагивались параметры первого прохода, то он пересчитывается).
В целом, фильтр хорошо справляется и с определением движения, и со стабилизацией, но отсутствие заполнения краёв пикселами из соседних кадров и адаптивного зума вынуждают уменьшать поле зрения, иногда довольно существенно, что неизбежно сказывается и на чёткости изображения. При этом явно видно, что разработчики хотели создать максимально простой и интуитивно понятный интерфейс, оставив за скобками всю математику, а также более точные средства контроля за процессом. То есть если результат работы не устраивает и это не лечится изменением настроек, то, видимо, пора переходить на Deshaker. Зато работать с Mercalli можно, не выходя из своей любимой монтажной программы.

Сюжет 1

Первый сюжет — панорама, снятая на широком угле, с заметными рывками (в т.ч. и вращением камеры вокруг оси), с малоконтрастными объектами в кадре.
Для Deshaker настройки первого прохода стандартные, ему вполне хватало, за что зацепиться взглядом (в более сложных случаях прежде всего выставляются на максимум Use pixels и Scale, затем уменьшается отбраковка малоконтрастных блоков). На втором проходе ставится Adaptive zoom only, 30 соседних кадров, параметры плавности побольше (10000).
Для Depan в функции DepanEstimate понижается порог trust (до 1.0), иначе некоторые малоконтрастные кадры считаются началом новой сцены (выясняется через режим info). На втором проходе добавляем соседние кадры (prev=next=20), отражение границ (mirror=15, blur=20), адаптивный зум (addzoom=true) и увеличиваем плавность (cutoff=0.2, чем меньше — тем плавнее). Результат похуже - остаётся заметное вращение. Если вместо DepanEstimate использовать MVAnalyse+MVDepan, то ситуация несколько лучше, но всё равно неидеальна.
В Mercalli включаем Detect shapeless content, Also detect details, ручку Camera stabilization в среднее положение, компенсацию поворотов (also tilt compensation), а края приходится убрать установкой Without borders(upscaled). В результате поле зрения меньше, а картинка более размытая.

Сюжет 2

Второй сюжет — съёмка спускающегося на лыжах человека. Особенности: временами малоконтрастный фон, заметное и нерегулярное движение фигуры относительно фона, зуммирование камеры.
Deshaker: настройки первого этапа стандартные, второго такие же, как раньше, добавили Soft borders (в прошлом сюжете это не потребовалось, даже если было бы включено), уменьшили плавность до 2000. В середине сюжета несколько кадров, когда фон почти отсутствует, и движение определяется по фигуре, а не по фону — в этом месте для остальных фильтров заметен некоторый рывок в скорости движения. Тщательно поработав с настройками первого этапа и совмещая log-файлы от разных настроек, можно добиться полной плавности, что и было сделано. Ещё в паре мест видна неидеальность компенсации краёв.
Depan: порог чувствительности снижаем до 2.0, используем DepanEstimate (вращение несущественно на фоне быстрых движений), частота среза — 1.0 по умолчанию.
Mercalli: смещаем ручку Importance area левее (к borders), Stabilization — к Soft (обе на пару делений от края); включаем Detect fast motions.

Сюжет 3

Третий сюжет — съёмка в движении с рук, спускаясь на лыжах. Движение камеры относительно пейзажа, и как следствие, неравномерное движение в кадре разноудалённых объектов.
Deshaker: на всякий случай на первом проходе отключаем анализ для нижней четверти кадра (Ignore area outside), всё равно там быстро движущаяся навстречу земля. На втором проходе плавность снижаем до 1000, а то драйв пропадает:)
Depan: болтанка камеры по всем направлениям, поэтому используем MVAnalyse для учёта вращения; остальные настройки такие же. Дёргания уменьшаются, но остаются заметно сильнее, чем после Deshaker — это "заслуга" DepanStabilize: если с log-файлом от MVdepan запустить deshaker, то движение будет намного плавнее.
В Mercalli выбираем пресет Improve helmetcam while racy drive (как раз для нашего случая), опять убираем бордюры (и зачем их там оставляют по умолчанию, раз замазывают всё равно скверно?). Плавность движений адекватная, но опять угол обзора меньше (впрочем, это не особо заметно).
В целом, можно сделать следующие выводы: Mercalli уверенно стабилизирует практически любую болтанку, но при этом приходится уменьшать размер кадра, что часто нежелательно. Depan хорошо работает в несложных случаях, при наличии вращения камеры лучше пользоваться анализом движения из MVTools; в сложных случаях стабилизация недостаточная; заполнение краёв смотрится не слишком хорошо. Deshaker хорошо работает практически во всех случаях, хотя иногда бывает полезна ручная настройка отдельных кадров; заполнение границ реализовано наиболее правильным способом, если оно всё же даёт артефакты — можно использовать дополнительный зум.

Итак, выводы — кратко: Mercalli — удобен в работе, быстр, хорошо справляется со стабилизацией, но приходится растягивать центр кадра на весь экран, чтобы избежать краёв. Плагины для Avisynth стоит изучить, если душа лежит к этому замечательному средству обработки видео, и применять по мере необходимости (не только для стабилизации); в несложных случаях хорошо справляются с задачей стабилизации. Deshaker — универсальный инструмент, качественно (хотя и довольно медленно) работает почти в любой ситуации, его стоит освоить в любом случае (надеюсь, данная статья поможет в этом; см. также более старое руководство).
В большинстве случаев домашнее видео заметно выигрывает после программной стабилизации, так что изучайте и применяйте с умом! Если же у вас еще остались вопросы по стабилизации, то их можно обсудить в этой теме Конференции iXBT.com. Добро пожаловать!