「主キー以外重複データ(フィールド多数)」の抽出

質問

タイトルのような抽出方法が必要になり、その出し方で困っています

フィールドが100以上ある大きなテーブルが複数(フィールド構造は全く同じ)あり、
そのレコードを一つにまとめる為重複データを抽出し削除したいのです
条件は「主キー以外の全てのフィールドのデータが一致してる重複データ」であり、
それをどうやればAccessの機能で出せるのか悩んでいます。

最初はクエリでグループ化して出そうと思ったのですがこのフィールド数では全て
グループ化はできず、
VBAで一行ずつループで処理しようにもキー以外の全フィールド一致とする検索条件のSQLのWHERE式が複雑すぎると出て処理できませんでした

フィールド数が多大なテーブルで主キー以外完全一致の重複レコードをうまく抽出するにはどうすればいいのでしょうか？

回答No.1

chie65536（@chie65535） · ベストアンサー

＞フィールドが100以上ある大きなテーブルが

問題は「フィールド数が多過ぎる」なので、フィールド数を減らす工夫をすれば良いのです。

クエリ作成で「１～１０番目のフィールドを文字列連結して１つのフィールドにして、１１～２０番目のフィールドを文字列連結して１つのフィールドにして（中略）９１～１００番目のフィールドを文字列連結して１つのフィールドにして」というクエリを作れば、フィールド数が１０分の１になります。

このようにフィールド数を減らして、フィールド数をグループ化可能な個数まで減らせば、問題解決出来ます。

＞VBAで一行ずつループで処理しようにもキー以外の全フィールド一致とする検索条件のSQLのWHERE式が複雑すぎると出て処理できませんでした

VBAで処理するなら

１．空テーブルを２つ用意する。

２．インサートクエリで、元テーブルの全レコードを、１つめの空テーブルに挿入する

３．上記の２の処理を全てのテーブルで行なう。

４．１つめの空テーブルに、重複した状態で全テーブルのレコードが入っているので、その作成したテーブルの全レコードをソートして出力するクエリを作る

５．上記４のクエリの出力を、２つめの空テーブルに挿入する

６．２つめのテーブルに対し、VBAで「直前のレコードとカレントレコードの全フィールドを比較して、完全一致してたら重複削除する」と言う処理を、先頭レコードから１レコード毎に繰り返す（ソートされているので、全フィールドが同じレコードは、連続して出現する筈）

と言う処理をしてみて下さい。

つまり「重複しているのも構わず、１つのテーブルに集めて、ソートしてから、重複レコードを削除する」のです。「最後に重複してない状態」になっていれば「途中が重複している状態でも問題無い」ので。

お礼

ありがとうございます。
確かにSQLだとフィールド数制限がかかってしまいますが
フィールドを結合したりVBAで直接フィールドを判定できる形に持っていけばどれだけ多くても問題ないのですね。
一回きりの作業とはいえ膨大だったので助かりました。

回答No.5

chayamati

そのレコードを一つにまとめる為重複データを抽出し削除したいのです
条件は「主キー以外の全てのフィールドのデータが一致してる重複データ」であり、それをどうやればAccessの機能で出せるのか悩んでいます。
------------------------------------------------------------------------------------------------------
今晩は
Accessは連続している複数のフィールドに主キーマークを付けることが出来ます
新規に重複チェック用のテーブル作成し、これにインサートすれば、重複ではじかれたレコードのテーブルが生成されます。
主キー設定は、添付のテーブルで記述します。
品名IDをクリックし、Shift＋色柄IDクリックで連続フィールドがアクティブになります。主キーツールをクリック

お礼

すみません、それは主キーにできるフィールド数が足りませんでした　なにせフィールド数が3桁あるので…

回答No.4

山田 太郎（@f_a_007）

【補足の補足】主キー自体も復元したい場合は？

その場合は、先のINSERT文を多少変更することになります。

回答No.3

山田 太郎（@f_a_007）

【補足】主キー有りのテーブルの復旧手順

添付図のように、INSERT文を実行してからオートナンバー型で主キーを追加。その後に、オートナンバー型をLong型に変更すれば、主キーの復活は完了です。

補足

今回の場合はオートナンバーが主キーの複数のテーブルから一つにまとめて完全に新しいオートナンバーで振り直せばいいという事案でした。なのでそのまま新しいテーブルに追加でいいようです

回答No.2

山田 太郎（@f_a_007）

Q、主キー以外が完全一致している重複レコードを抜き出したい。
A、ではなくて、重複していないレコードを抽出すればよいのでは？

添付図のように、重複していないレコードを抽出するのは割と簡単。主キー列に関する情報がないので、そこをどうするのかはわからない。一応手順を示せば、

１、全てを一つのテーブルにまとめる。
２、まとめたテーブルのコピーを作る。
３、主キー列を削除する。

行う作業は、これだけです。後は、次のようなSQL文を実行すれば非重複レコードが抽出されます。

SELECT DISTINCT *　FROM Test_copy;

お礼

ありがとうございます。ですが「重複しているものから一つ残して消す」という作業がしたいため重複しているレコードを特定した上で選定しないといけないため、重複していないレコードは重要ではないのです。