5番だけ
(1)
X = [a b]
[c d]
とする(行列って書きにくいな)。
X^2 = [a b][a b] = [a^2 + bc][ab + bd]
[c d][c d] = [ac + cd][bc + d^2]
A^2 = [1 0][1 0] = [1 0]
[1 1][1 1] = [2 1]
後は、a, b, c, dに関する連立方程式を解けばよいと思います。
(2)
(X + A)(X - A) = X^2 - XA + AX - A^2と展開して(XA ≠ AXに注意)、
やはりa, b, c, dに関する連立方程式に落とし込めばよいと思います。