По теореме косинусов
AC^2 = AB^2 + BC^2 - 2*AB*BC*cos ABC
Откуда
cos ABC = (AB^2 + BC^2 - AC^2) / (2*AB*BC)

Подставляем:
cos ABC = (5^2 + 8^2 - 9^2) / (2*5*8) = 0,1