データ方法論

Wikipedia閲覧トレンドの集計方法

KPOP DISCOVERがWikipedia記事の閲覧数を収集・検証・表示する方法、欠測と暫定値の扱いを公開します。

収集・検証・公開の契約

出典
Wikimedia REST APIの日次記事閲覧数を、言語版ごとに取得します。
取得作法
論理リクエストは直列で100ms以上空け、15秒でタイムアウトし、最大3回まで再試行します。
識別
User-AgentにKPOP-DISCOVER-SignalBot/0.1、サイトURL、連絡先を明記します。
欠測
200応答で省略された日と全体404はzero_or_not_loaded、network・429・5xxの再試行超過はapi_errorとして残します。
リダイレクト
発効日不明のリダイレクトは登録日以降のみ集計し、過去には遡りません。登録日前はredirect_unprovenとして除外します。
検知
確定月が1万PV以上かつ直前12暦月の中央値の2.0倍以上で、基準月を6か月以上観測できる場合だけ候補にします。
編集判断
閲覧増は検知候補です。出来事との関係は出典を確認し、人が承認したmomentだけを公開します。

Wikimedia Analytics API documentation ↗