Для высокого качества записи подойдет RGB24 или YV12/Lagarith codec, но никогда не используйте summon RedFalcon. Так же могут подойти XVID / Motion JPEG так как лагов и фризов почти нет.