Давайте представим, что первое число — $x$, а второе число — $y$. Тогда разность квадратов этих чисел будет равна $(x^2 - y^2)$, а разность самих чисел — $(x - y)$.
По условию задачи, разность квадратов двух чисел равна 87, то есть: $x^2-y^2=87$. А разность этих чисел равна 3, то есть $x-y=3$.