Пробежимся по всем сторонам многоугольника и проверим отдельно для каждой. Теперь нам необходимо научится решать задачу о принадлежности точки отрезку. Для того, чтобы точка принадлежала отрезку АВ необходимо, чтобы она принадлежала и лучу АВ и лучу ВА. Как проверить принадлежит ли точка M лучу, заданному вектором PQ, нужно чтобы вектора PQ и PM были сонаправленными, т.е. чтобы угол между ними был равен 0. Чтобы проверить, что угол между векторами равен 0, нужно воспользоваться псевдовекторным произведением (оно будет равно 0, так sin(0) = 0), но поскольку sin(180) = 0 тоже, то необходимо проверить, что скалярное произведение > 0, т.к. cos(0) > 0 (1), а cos(180) < 0 (-1).

Наводящий вопрос: а ты умеешь определять, принадлежит ли точка отрезку?

Например, по ссылке есть решение более общей задачи — нахождение положения точки относительно многоугольника. Если метод testPoint() возвращает "BOUNDARY", то точка лежит на стороне.

а еще можно проверить расстояние от точки до отрезка. пусть точка имеет координаты A = (x, y), а два конца отрезка B = (x1, y1), C = (x2, y2). тогда посчитаем два скалярных произведения BC * BA и CB * CA. если оба произведения больше либо равны нуля(это первый случай), то расстояние от точки до отрезка равно расстоянию от этой точки до прямой, проходящей через концы отрезка(сторона многоугольника), иначе расстояние равно минимуму из расстояний между точками A, B и точками A, C(это второй случай). так вот если расстояние равно нулю(а это может быть только в первом случае), то точка принадлежит отрезку(т.е. стороне), иначе нет.