A sua ideia, de aplicar o teorema de pitágoras, está correta.
Como você não respondeu minha dúvida, vou considerar as duas possibilidades.
I) Considerando que os lados do triângulo são 11, (x+5) e (x+5).
Se os catetos são (x+5), então temos:
11² = (x+5)²+(x+5)²
121 = 2(x+5)²
121 = 2(x²+10x+25)
121 = 2x²+20x+50
0 = 2x²+20x+50-121
2x²+20x-71 = 0
Aplicamos Bhaskara:
x = [-b +- raiz(b²-4ac)]/(2a)
x = [-20 +- raiz(20²-4(2)(-71))]/(2*2)
x = [-20 +- raiz(400+568)]/4
x = [-20 +- raiz(968)]/4
x = [-20 +- raiz(2*2*2*11*11)]/4
x = [-20 +- 22*raiz(2)]/4
Como raiz(2) ~= 1,414,
x~= (-20 +- 31,108)/4
x' ~= (-20 + 31,108)/4 = 2,777
x'' ~= (-20 - 31,108)/4 = 12,777
Como a hipotenusa é 11, o cateto não pode ser maior do que a hipotenusa, então 12,777 não é válido para nós. Então, x=2,777.
Apenas para finalizar, os catetos têm valor (x+5)=2,777+5=7,777
II) Considerando que os lados são 11, x e 5.
11² = x² + 5²
121 = x² + 25
x² -121 + 25 = 0
x² - 96 = 0
x² = 96
x = 4*raiz(6)
