執務室は、内閣府にあります(内閣府という一つのビルがあるのではなく、いくつかの庁舎に分散していますが)。
また、指示を出す部下は、金融担当のように金融庁(内閣府の外局)であったり、沖縄担当のように内閣府の局であったり、防災担当や経済財政担当のように政策統括官組織(内閣府の一部局)であったり、行政改革担当のように担当室(これも内閣府の下の組織)であったりします。内閣府の大臣ですから、基本的には指揮命令する範囲も内閣府の組織官僚が対象ですが、内閣府そのものが、他省庁との総合調整をその権限としているので、他省庁の所管事項に対しても口出しする権限は持っています(他の回答にあるとおり、他省庁まで指揮命令は出来ませんが、特命担当相は直属の上司が総理大臣ですので、必要に応じて他省庁の抵抗を「総理の意向」で押し切る場合もあります)。
執務室もおおむね各担当分野ごとにあるので、たとえば金融・行政改革相の場合は、金融庁の入っている合同庁舎と虎ノ門にある行政改革推進室それぞれに執務室があり、行ったり来たりして仕事をしている、といった案配です。
お礼
回答有り難うございました。担当ごとの執務室を行ったり来たりしているというのがびっくりしました。今度の安倍内閣では、増田さんが、総務大臣・特命担当大臣(地方分権改革・郵政民営化・道州制・地方都市格差是正担当)ですので、行ったり来たりだけで大変ですね。