Тесселяция - это опция в графических настройках игры.
Конкретно в GTA 5 она отвечает за объемность текстур стволов (не крон) деревьев и пальм. На другие объекты, такие как камни, к примеру, оно никак не влияет.
Если у вас не супер мощный компьютер, то обычно эту опцию отключают, т.к. она не особо важна и заметна, но приводит к потере дополнительных кадров в секунду (FPS).