Webサイトの更新があったかをチェックしたい

質問

複数のWebサイトの内容で、変更があったかをチェックしたいのですが
良い方法はないでしょうか？
目的としては、変更のあった記事を抜き出したいのです。
とりあえず、更新があったかだけでもチェックするため、
For i = 1 To Cells(Rows.Count, 1).End(xlUp).Row
str = Cells(i, 1)
If str <> "" Then
objIE.navigate str
Call IEWait(objIE)
Cells(i, 2) = objIE.Document.LastModified
End If
Next i
のように、LastModifiedで日時をCell(i,2)に保存し、次回の取得日時のものと比較しようかと試みましたが、
殆どがURLを表示した時点の日時となり、使いものになりません。
URL内の全てのリンク数を取得し、数える方法も考えましたが、記事だけが変更となっている場合は、それがわからないですし、最終的にはその内容を抜き出したいです。
文字数でも、バイナリ比較でも何でもよいのですが、まず更新があったかをチェックして、その後更新箇所を抜き出したいです。

どなたか、指定したURLのページに更新があったかの、効率的な比較をご存じの方ご教授願います。
よろしくお願いいたします。

回答No.1

wek00 · ベストアンサー

更新チェックは別の方法でやってもいいかも、と思いました。
「更新チェック」でQ&Aを検索してみると
次のようなものが使われているようです。

・更新チェックソフト
　WWWC、WWWD

・更新チェックサービス
　はてなアンテナ https://a.hatena.ne.jp/

また、WWWCはオープンソースですので参考になるかも知れません。
WWWCのFAQ https://www.nakka.com/wwwc/faq.html
には以下のような記述があります。
--- 引用ここから ----
Q:
毎回更新になるアイテムがある。

A:
広告があるページやページに埋め込まれたカウンタを使っているページは毎回サイズが変わる可能性があるため正確にチェックはできません。

CGIやSSIを使っているページをチェックするとサーバに負荷がかかってしまうので、なるべくチェックする対象にしないようにしてください。
もしどうしてもチェックする必要がある場合は、アイテムのプロパティで「HTMLタグを除いたサイズでチェック」にチェックを入れるか、フィルタを利用してください。
フィルタに関しては添付の filter_sample.txt を参照してください。
--- 引用ここまで ----

お礼

回答ありがとうございました。
自分でも調べたつもりでしたが、まだまだチェックできていないものがありました。
オープンソースも非常に参考になります。
ありがとうございました。