これって無効（違反）ですか！？
ルールについての質問です。
よろしくお願い致します！
先日久し振りに、会社の部下に誘われてセルフですがコースに行ってきました。
セルフは、私も他の３人も初めて。しかも素人に毛が生えた程度の腕です。
朝一のNo.1ホール、私のティーショットがOBゾーンの林の中へ飛んで行き、私も他の３人も口を合わせてOBですね、
となりまして打ち直しをしました。その時は、暫定球の宣言もせず
『あーぁ、OBだぁ、打ち直しやないか』と言いながら打ち直しました。
ところが、いざ行ってみるとOBと思っていた１打目のボールがセーフゾーンにありました（マジックで漢字の番号を入れているので間違いは絶対にありません）。
そこで皆に聞こえるように、
『OBじゃなかった、木か何かに当たって戻ってきたみたい』と告げてそのままプレーを続けました。
勿論、打ち直したボールはピックアップし、スコアも当然OBの１打罰を入れずに計算しました。
ところが、帰りの車の中で一人の部下が、私のその時の事について
こんな事を言い出しました（私に負けたのが相当に悔しかったようでした）。
『あの時、OBと宣言をして打ち直しをしたので、
たとえ１打目のボールがセーフだとしてもOBと宣言をしたのだから
１打目は無効です。
尚且つ打ち直しのボールを使わずに無効になったボール（１打目のセーフだったボール）
でプレーしたから、OBの１打罰に加え更なる違反（罰）があったのでは』
と言い出しました。
私もこんな事を言われたのは初めてで、
『そんな事は無いよ・・・・・まぁ、暫定球の宣言をしなかったのは確かだが、
別にOBの宣言もしたつもりはない。その辺は競技じゃないのだから・・・・・。
それに今まで何度もキャディ同行で廻っていて、何度も同じような状況に遭遇したが、
無効（違反）と言う事は無かった』
と返答をしましたが、全く聞き入れてくれる様子も無く
最後には言い争い的な感じになり気まずい帰途となりました。
そこでこのような場合、彼が言うように『無効（違反）』になるのでしょうか！？
皆さん、よろしくお願い致します。
お礼
具体的によくわかるご回答いただきありがとうございました。今後のラウンドに大変役立ちました、仲間にも知らせてルールを理解し楽しく回りたいと思います