スピーカーにはアクティブスピーカーとパッシブスピーカーがあります
オーディオではパッシブスピーカーを使うことが多いのですが、これは
アンプで増幅済みの信号で音を鳴らすものです。
パッシブスピーカーには「光デジタル、ミニステレオ、RCA」はつなぎません。スピーカーケーブルでアンプと接続します。「光デジタル、ミニステレオ、RCA」はCDプレイヤーやPCからアンプにつなぎます。
機種によってつながらないものもあります。
アクティブスピーカーはアンプが内臓されて一体となった製品で、こちらにはボリュームなどがついておりCDプレイヤー等から「光デジタル、ミニステレオ、RCA」等で繋ぎ、音声データを送り込みます。
ミニステレオ、RCAはアナログ信号を送るための規格で両者は形が違うだけのものですので形状の会うものを使えばよいです。
光デジタルはデジタル音声信号を送るために規格です。このケーブルでつなぐ場合はアンプで信号をアナログ変換することになります。デジタル信号の転送規格としてほかに同軸やUSBがあります。
音質はそれぞれ変わりますがどれがよいかは機器の組み合わせによるため、一概には言えません。