氷の中心が白く濁って見えるのは、質問の通り「水中に溶け込んでいる空気」もありますが、水道水を直接凍らせる場合、そこに溶け込んでいる不純物が中心に固まることも要因です。
で、それを防ぎ、きれいに透明な氷を作るには。
他の方が言われているように一度沸騰させ、揮発する不純物を取り除くことと、さらにはそれを冷ました水をなるべくゆっくり凍らせるために熱伝導性の悪い容器（ステンなど金属ではなく樹脂製の製氷皿を使用）を使い、さらには製氷室の床・壁面に接する部分と空気に触れている上面とでの氷りムラができないよう、製氷室に割り箸を二本置き、その上に製氷皿を置く。
製氷室の設定温度はあまり強く（冷たく）しない。
数十分おきに覗き、凍っていない中心部（ここに集まる空気や不純物を取り去る）の水をスポイトなどで吸い出し、別な水を補充する。
で、かなり透明度の高いきれいな氷ができるかと思います。
