После того как возьмете судно на абордаж, нужно перебить всю команду, которая будет вам сопротивляться.
У вас не получается захватить вражеский корабль, скорее всего, потому что нет свободного офицера. Для захвата корабля всегда нужно иметь при себе человека, который будет способен взять на себя управление вторым кораблем, таковым как раз и является офицер. Нанять офицеров можно в таверне любого города.