A=[1,0;1,1], X=[a,b;c,d]
(1)
X^2-A^2=[a^2+bc-1,ab+bd; ac+cd-2,bc+d^2-1]=[0,0;0,0]
a^2+bc=1,
ab+bd=0,
ac+cd=2,
bc+d^2=1
解けば
(a=1,b=0,c=1,d=1) or (a=-1,b=0,c=-1,d=-1)
(2)
(X+A)(X-A)=([a+1,b;c+1,d+1])([a-1,b;c-1,d-1])
=[b(c-1)+a^2-1,b(d-1)+(a+1)b;(c-1)(d+1)+(a-1)(c+1),d^2-1+b(c+1)]
=[0,0; 0,0]
a^2+b(c-1)=1,
b(a+d)=0,
(c-1)(d+1)+(a-1)(c+1)=0,
b(c+1)+d^2=1
解けば
(a=1,b=0,c=1,d=1) or (a=-1,b=0,c=-1,d=-1) or (a=1,b=0,c=任意,d=-1)
補足
このあとも連立で解くと言っていましたが、どうやって連立方程式にするのですか?