いちおう法律カテゴリなので、法律に基づいて。
まず、我が国の著作権法について。
我が国の著作権法は、原則的に、著作者に対して、人格的権利（著作者人格権）と財産的権利（狭義の著作権）を与えています。著作者人格権は法18条～20条で規定され、著作権は21条～28条に規定があります。他に、レコード製作者、放送事業者、実演家、出版者など、著作物の伝搬に寄与する者にも類似の、あるいは独自の権利が与えられています。
条文は参考リンクに挙げたページで参照してください。
これらを見渡して分かるのは、我が国の著作権法の規定は、著作物を人々に「提供する行為」に関わる部分で権利を認め、適性かつ円滑な流通と権利者の経済的利益を保護し、その反面で、これらの権利に一定の制限をかけて公衆の利用を害しないように組み立てられています。
要するに、我が国の著作権法は、著作物を経済的に利用する行為などは権利者の許諾を要することとしていますが、それの提供を受ける者にはなんらの義務も課していません。
そもそも、公表された著作物は、読まれ、聴かれ、見られることが前提となっているものです（公表しない権利もあります＝法18条：公表権）。すなわち、ひとたび公にされた著作物について、読むなとか聴くなとか見るなとかいう権利は存在しないのです。
したがって、例え違法に頒布されている複製物であっても、それを読んだり聴いたり見たりすること自体は、なんら違法ではありません。
逆に、もしこれを権利で縛るとなると、小説を開くたびにいちいち作者に許諾を求めなければならないことになり、これは実際問題として不可能です。購入代金に許諾料も含めるという考えもあり得ないわけではありませんが、1回しか読まない人と繰り返し読む人の間に不均衡が生じます。
なお、デジタル技術を駆使して、読んだり見たりするたびに課金することを提唱する説も（著作権で有名な学者の中にも）ありますが、これは議論のあるところです。これは、つまり、著作権の本質を報酬請求権に転化させることであり、個々の表現の保護という従来の著作権制度を根本から覆しかねないからです。
ちなみに、いくらダウンロードが違法ではないといっても、他人に違法な行為をさせるような助長行為は、著作権侵害の幇助ないし教唆として、不法行為責任を認める余地はあるでしょう。ただし、これは民法上の共同不法行為や刑法上の共犯における問題であって、著作権法に違反するという話ではありません。
蛇足ながら、「私的使用」とは、「個人的に又は家庭内その他これに準ずる限られた範囲内において使用すること（法30条）」を指し、必ずしも複製に限られません。
さらに蛇足ですが、ファイル共有（交換）ソフトの違法性については、少なくとも我が国の著作権法に関していえば、違法ではないと思われます（判例はありません）。Winnyで開発者が逮捕されたのは、あくまでも著作権侵害罪の「幇助犯として」であって、「著作権の間接侵害者として」ではありません。
もう一言付け加えるなら、米国では、さきごろ、ファイル共有ソフトを提供する会社の行為は、「著作権の間接侵害である」として違法とした連邦最高裁判決が出ました。もっとも、米国著作権法は我が国のそれとは大きく異なりますから、我が国において同様の議論が通用するわけではありませんが、参考としての意義は大きいと思われます。
