pythonを勉強しながらNQueen（エイトクイーン）問題を解いていきます。今回は第1回目。アルゴリズムを使わないブルートフォース力任せ探索について説明します。 Nクイーン問題とは Nクイーン問題とは、チェスの盤面にクイーンを１行に１個ずつ効き筋に当たらないように置いていこうという問題です。 https://ja.wikipedia.org/wiki/%E3%82%A8%E3%82%A4%E3%83%88%E3%83%BB%E3%82%AF%E3%82%A4%E3%83%BC%E3%83%B3 Nクイーン…
e-Statの統計データhampelを使って時系列データの異常値検知試みます。 hampelによる異常値部分を追加しよう 前回はgoogle custom search の検索結果を利用して社会的に関心の高そうな列の抽出を試みました。 今回は、以前紹…
Google Custom Search APIの検索結果とe-Statの統計データをマッチングして社会的に関心のある項目を抽出してみます Google Custom Search APIの検索結果と統計名の列名をマッチンングさせる 今回は、前回取得したGoogle Custom Search APIの検索結果と統計名の列名をマッチンングさせ…
Google Custom Search APIの検索結果をjqでパースする方法を説明します。 google Custom Searchの検索結果をcsvに整形する 統計データから列名を取得してgoogle Custom Searchの検索結果に当てに行きマッチする回数の高い…
Google Custom Search APIで10件目以降の取得方法、newsなど検索対象の絞り込み方法について説明します。検索エンジンの設定にあるschema.orgを使用します。 Google Custom Search API 10件目以降の取得方法について 「木材流通統計調査」をgoogleで検索してみると最初の方は、政府関係の木材流通統計調査の概要説明など…
2022年1月時点でのGoogle Custom Search APIの設定方法を説明します。APIキーの作成、検索エンジンIDの取得が中心です。 統計名でgoogle検索して関心度の高いキーワードを抽出しよう e-Statの解析の目標として、膨大な統計データの中から一般の人に関心度の高い…
ここではpythonのPandasでcsvを読み込んだDataFrameオブジェクトの使い方、DataFrameオブジェクトからSeriesオブジェクトへの変換方法を説明します。 Pandas DataFrameオブジェクト Pandasでcsvをread_csvするとDataFrameオブジェクトとして読み込まれます。 DataFr…
ここでは時系列データの異常値検知アルゴリズムであるhampel（ハンペル）のpythonライブラリの利用方法を説明します。インストールから基本的な使い方を説明します。 hampel フィルタとは 時系列データの異常値検知で良いのないかなあと探しました。 最近は機械学習で時系列データの異常値検知をやっているものが結構ある感じ…
ここではe-Statデータで時系列データの異常値検知の必要性を説明し、前提条件としてpythonを利用してcsvの読み込み方を説明します。Pandasを利用します。 s-Stat 時系列データで異常値を検知しよう たくさんあるデータの中から関心の高そうな項目を抽出して表示しようというテーマでe-Statデータを取り扱っ…
ここではs-StatのAPIを利用して、新着一覧を取得する方法を説明します。wgetを利用してAPIにアクセスします。STAT_CODE、TABLE_INFを利用します。 e-Statで新着一覧を取得しよう 毎日自動的に処理できるようにしたいので新着一覧を取得する必要があります。 新着一覧は、リスト取得用のAPIで…
ここではe-Statの検索ランキング上位の「アイスクリーム」というのはどういう統計データなのかを説明しながら、私のe-Statデータマイニングの目的が大量のビックデータから社会的関心の高い項目を抽出することであることを示します。 私のe-Statでのデータマイニングの現在の目的は以下の通りです 大量の政府公開データの中から ①面白そうなデータをピックアップする ②データをわ…
今回は前回登場したデータの内容を調べてみましょう。 「統計表情報取得」（リスト取得）APIで取得したデータをもとにe-Statのサイト（ht…
知識ゼロからのe-Statマイニング 日頃から大量のデータを使ってデータマイニングしてみたいなと思って暇なときにサイトを巡回していたらe-S…