今で言うコンピュータの多くは、デジタル計算機なので、二進法が元になっている、というよりはデジタル技術が元になっており、デジタルデータを扱うのに二進法で表すのが分かり易い、ということかと思います。
アナログ計算機と違い、デジタル計算機は、０と１の二つの状態で判断するので、例えば紙テープに穴が空いている／空いていない、ランプが付いている／付いていない、電気が流れている／流れていない、ソロバンの玉が上がっている／下がっている、フリップフロップがＯＮ／ＯＦＦなどの判断が明確でかつ正確に再現できるのが利点です。
※アナログ計算機の典型例 ：計算尺 （数値を量で表す）
※デジタル計算機の典型例 ：ソロバン （数値を玉の位置と桁で表す）。歯車式計算機（昔のレジスタ）
ソロバンは単純な二進法ではないですが。
※電子（デジタル）計算機 ： 電卓、コンピューター。（数値を電気的にデジタルで扱う計算機）
フリップフロップは、コンピュータのメモリの原理の基本ですので、これを８個並べれば８ビットのデータ、１６個並べれば１６ビットのデータとなります。
８ビットのデータを表すのに、０１００００１０ （Ｏｆｆ、Ｏｎ、Ｏｆｆ、Ｏｆｆ、Ｏｆｆ、Ｏｆｆ、Ｏｎ、Ｏｆｆ）と二進法を使うと便利なので、デジタル計算機では二進法が便利ということでしょう。
二進法は、３桁ずつまとめて８進法に（上記の例では、１０２）、４桁ずつまとめて１６進法に（上記の例では、４２）と表すのも楽なので、３２ビットとか６４ビットに桁数が増えても、人間が読み書きしやすい１６進法にすれば扱い易くなるという利点もあります。
複雑な命令を電子計算機で実行するのに従来は複雑な回路などを組んでいたのですが、コンピュータに対する命令もデータと同じ用に二進法で記述し、記憶装置に置く、というのが現代のコンピュータの基礎かと思います。（フォン・ノイマン式）
以降、データも、命令も二進法で記述するというのが主流となっています。命令群を一まとめにしたものがプログラムということになります。
実際には、２進法で表記するよりも１６進法で表記する方が多いですが、もとは先に述べた通り、０１００…のＢｉｔの羅列です。
プログラムも実際に人間が書くときは、自然言語に近いプログラム言語を使いますが、コンパイルなどを経て、機械語（２進数）に翻訳されてコンピュータに伝えられます。
なので、コンピュータと二進法は密接な関係があるので、コンピュータは二進法で成り立っている、というのもあながち間違いではないかも知れません。
詳しくは、専門書に譲ります。（上記も正確ではないかも知れませんが、電子計算機の機能と構造などを記述した専門書にもっと丁寧に、詳しく、正確に記載しているはずですので、読んでみることをお勧めします。）
