Mając kolejne wierzchołki sprawdzasz po 3 kolejne: układasz je w macierz i wyliczasz wyznacznik:
|ax,ay|
W(|bx,by|) = ax*by + bx*cy + cx*ay - ax*cy - bx*ay - cx*ay
|cx,cy|
Jeżeli dla wszystkich kolejnych 3 wierzchołków wyznaczniki mają te same znaki (tzn. +, albo -), to figura jest wypukła (jeśli gdzieś wyszło 0, to znaczy że kąt wynosi 180 stopni)
Przykładowo dla figury abcd liczysz wyznaczniki dla abc, bcd, cda. dab.
