Vamos trabalhar este sistema através do método de substituição:
[tex]\left \{ {{x+y=8} \atop {x^2+y^2=40}} \right.[/tex]
[tex]\left \{ {{y=8-x} \atop {x^2+y^2=40}} \right.[/tex]
[tex]x^2+y^2=40[/tex]
[tex]x^2+(8-x)^2=40[/tex]
[tex]x^2+x^2-16x+64=40[/tex]
[tex]2x^2-16x+64-40=0[/tex]
[tex]2x^2-16x+24=0[/tex]
[tex]x^2-8x+12=0[/tex]
Usamos Bhaskara para achar os possíveis valores de "x":
[tex]\triangle=b^2-4\cdot a\cdot c=(-8)^2-4\cdot 1\cdot 12=64-48=16[/tex]
[tex]x_1=\frac{-b+\sqrt{\triangle} }{2a}= \frac{8+\sqrt{16} }{2\cdot 1}=\frac{8+4}{2}=\frac{12}{2}=6[/tex]
[tex]x_2=\frac{-b-\sqrt{\triangle} }{2a}= \frac{8-\sqrt{16} }{2\cdot 1}=\frac{8-4}{2}=\frac{4}{2}=2[/tex]
Usamos os valores de "x" descobertos acima para descobrir os respectivos valores que "y" assume com cada um:
[tex]x_1+y_1=8[/tex]
[tex]6+y_1=8[/tex]
[tex]y_1=8-6[/tex]
[tex]y_1=2[/tex]
[tex]x_2+y_2=8[/tex]
[tex]2+y_2=8[/tex]
[tex]y_2=8-2[/tex]
[tex]y_2=6[/tex]
E finalmente definimos o conjunto solução como dois pares ordenados:
[tex]S=\{(6,\ 2),\ (2,\ 6)\}[/tex]