プログラミング
e-Stat でGoogle Custom Search APIを使おう（３）
Google Custom Search APIの検索結果をjqでパースする方法を説明します。 google Custom Searchの検索結果をcsvに整形する 統計データから列名を取得してgoogle Custom Searchの検索結果に当てに行きマッチする回数の高い…
最新技術やプログラム、デザインなど様々な情報を提供するサイト
プログラミング251 pages
プログラミング
e-Stat でGoogle Custom Search APIを使おう（２）
Google Custom Search APIで10件目以降の取得方法、newsなど検索対象の絞り込み方法について説明します。検索エンジンの設定にあるschema.orgを使用します。 Google Custom Search API 10件目以降の取得方法について 「木材流通統計調査」をgoogleで検索してみると最初の方は、政府関係の木材流通統計調査の概要説明など…
プログラミング
e-Stat でGoogle Custom Search APIを使おう（１）
2022年1月時点でのGoogle Custom Search APIの設定方法を説明します。APIキーの作成、検索エンジンIDの取得が中心です。 統計名でgoogle検索して関心度の高いキーワードを抽出しよう e-Statの解析の目標として、膨大な統計データの中から一般の人に関心度の高い…
プログラミング
s-Stat 時系列データで異常値を検知しよう（３）
ここではpythonのPandasでcsvを読み込んだDataFrameオブジェクトの使い方、DataFrameオブジェクトからSeriesオブジェクトへの変換方法を説明します。 Pandas DataFrameオブジェクト Pandasでcsvをread_csvするとDataFrameオブジェクトとして読み込まれます。 DataFr…
プログラミング
s-Stat 時系列データで異常値を検知しよう（２）
ここでは時系列データの異常値検知アルゴリズムであるhampel（ハンペル）のpythonライブラリの利用方法を説明します。インストールから基本的な使い方を説明します。 hampel フィルタとは 時系列データの異常値検知で良いのないかなあと探しました。 最近は機械学習で時系列データの異常値検知をやっているものが結構ある感じ…
プログラミング
s-Stat 時系列データで異常値を検知しよう（１）
ここではe-Statデータで時系列データの異常値検知の必要性を説明し、前提条件としてpythonを利用してcsvの読み込み方を説明します。Pandasを利用します。 s-Stat 時系列データで異常値を検知しよう たくさんあるデータの中から関心の高そうな項目を抽出して表示しようというテーマでe-Statデータを取り扱っ…
プログラミング
【はじめから】ざっくりわかるシェルスクリプト３
前２回目の説明に続き、bashプログラミングの基本的な考え方３として最終章を説明します。bashスクリプトの一般的な操作を、ざっくりと説明します。 はじめに Bashスクリプトは、シェルコマンドの実行、複数のコマンドの同時実行、管理タスクのカスタマイズ、タスクの自動化の実行など、さまざまな…
プログラミング
【２０．スクリプトからの戻り値を渡す】ざっくりわかる「シェルスクリプト」
Bash関数は、数値と文字列値の両方を渡すことができます。関数から文字列値を渡す方法を次の例に示します。'function_return.sh'という名前のファイルを作成し、次のコードを追加します。関数greeting（）は、文字列値を変数valに返します。この変数は、処理の最後に他の文字列と組み合わせて出力します。 関数からの戻り値の受け渡し 関数からの戻り値の受け渡し： Bash関数は、数値と文字列値の両方を渡すことができます。関数から文字列値を渡す方法を…
プログラミング
【２１．ディレクトリを作成する】ざっくりわかる「シェルスクリプト」
Bashは「mkdir」コマンドを使用して新しいディレクトリを作成します。'make_directory.sh'という名前のファイルを作成し、次のコードを追加して、ユーザーから新しいディレクトリ名を取得します。ディレクトリ名が現在の場所に存在しない場合は、ディレクトリが作成されます。 ディレクトリを作成する ディレクトリを作成する： Bashは「mkdir」コマンドを使用して新しいディレクトリを作成します。‘mak…
プログラミング
【２２．存在を確認してディレクトリを作成する】ざっくりわかる「シェルスクリプト」
'mkdir'コマンドを実行する前に、現在の場所にディレクトリが存在することを確認する事ができます。mkdir コマンドの' -d 'オプションは、特定のディレクトリが存在するかどうかをテストするためのオプションです。'directory_exist.sh'という名前のファイルを作成し、次のコードを追加してください。ディレクトリの存在を確認してディレクトリを作成します。 存在を確認してディレクトリを作成する 存在を確認してディレクトリを作成します。 ‘mkdir’コマンドを実行する前に、現…
プログラミング
【２３．ファイルを読む】ざっくりわかる「シェルスクリプト」
whileループでreadコマンドを使用すると、bashで任意のファイルを1行ずつ読み取ることができます。'read_file.sh'という名前のファイルを作成し、次のコードを追加してください。 別途作成する'book.txt'の内容を読み取ります。 ファイルを読む ファイルを読む： whileループでreadコマンドを使用すると、bashで任意のファイルを1行ずつ読み取ることができます。&l…
プログラミング
【２４．ファイルを削除する】ざっくりわかる「シェルスクリプト」
'rm'コマンドは、ファイルまたはディレクトリを削除するためのコマンドです。次のコードを使用して「delete_file.sh」という名前のファイルを作成し、ユーザーからファイル名を取得して削除します。ここで、「-i」オプションは、ファイルを削除する前にユーザーに削除確認をに使用されます。 ファイルを削除する ファイルを削除します： ‘rm’コマンドは、ファイルまたはディレクトリを削除するためのコマンドです。…
プログラミング
【２５．ファイルに追加】ざっくりわかる「シェルスクリプト」
bashで「>>」演算子を使用すると、既存のファイルに新しいデータを追加できます。'append_file.sh 'という名前のファイルを作成し、次のコードを追加して、ファイルの最後に新しいコンテンツを追加します。ここで、「Learning Level 5」は、スクリプトの実行後に「level.txt」ファイルのに追加されます。 ファイルに追加 ファイルに追加： bashで「»」演算子を使用すると、既存のファイルに新しいデータを追加できます。‘ap…
プログラミング
【２６．ファイルが存在するかどうかを確認】ざっくりわかる「シェルスクリプト」
'-e'または'-f'オプションを使用して、ファイルの存在を確認できます。次のコードの 'if [ ]'では、ファイルの存在をテストするために「-f」オプションが使用されています。' file_exist.sh 'という名前のファイルを作成し、次のコードを追加します。ここで、ファイル名はコマンドラインから渡されます。 ファイルが存在するかどうかを確認 ファイルが存在するかどうかをテストします。 ‘-e’または’-f&rsqu…
プログラミング
【２７．mailコマンド】ざっくりわかる「シェルスクリプト」
' mail 'または ' sendmail 'コマンドを使用して電子メールを送信できます。これらのコマンドを使用する前に、mailまたはsendmailに必要なパッケージをインストール・設定をする必要があります。' mail_example.sh 'という名前のファイルを作成し、次のコードを追加して電子メールを送信します。 mailコマンド メールを送る： ' mail ‘または ' sendmail ‘コマンドを使用して電子メールを送信できます。これらのコマンドを使用す…
プログラミング
【２８．dateコマンド】ざっくりわかる「シェルスクリプト」
dateコマンドを使用して、現在のシステムの日付と時刻の値を取得することができます。日付と時刻は、「Y」、「m」、「d」、「H」、「M」、および「S」を使用します。'date_parse.sh'という名前の新しいファイルを作成し、次のコードを追加して、日、月、年、時、分、秒の値を表示します。 dateコマンド 現在の日付を解析する： dateコマンドを使用して、現在のシステムの日付と時刻の値を取得することができます。日付と時刻は、「Y…
プログラミング
【２９．waitコマンド】ざっくりわかる「シェルスクリプト」
waitコマンドは、実行中のプロセスの完了を待機するLinuxの組み込みコマンドです。 waitコマンドは、特定のプロセスIDまたはジョブIDで使用されます。waitコマンドでプロセスIDまたはジョブIDが指定されていない場合、現在のすべての子プロセスが完了するのを待機し、終了ステータスを返します。' wait_example.sh'という名前のファイルを作成し、次のスクリプトを追加します。 waitコマンド waitコマンド： waitコマンドは、実行中のプロセスの完了を待機するLinuxの組み込みコマンドです。 waitコマンドは、…
プログラミング
【３０．sleepコマンド】ざっくりわかる「シェルスクリプト」
コマンドの実行を特定の期間一時停止する場合は、sleepコマンドを使用できます。遅延量は、 秒（s）、分（m）、時間（h）、および日（d）で設定できます。'sleep_example.sh' という名前のファイルを作成し、次のスクリプトを追加します。このスクリプトは、実行後5秒間待機します。 sleepコマンド sleepコマンド： コマンドの実行を特定の期間一時停止する場合は、sleepコマンドを使用できます。遅延量は、 秒（s）、分…
プログラミング
e-Statで新着一覧を取得しよう
ここではs-StatのAPIを利用して、新着一覧を取得する方法を説明します。wgetを利用してAPIにアクセスします。STAT_CODE、TABLE_INFを利用します。 e-Statで新着一覧を取得しよう 毎日自動的に処理できるようにしたいので新着一覧を取得する必要があります。 新着一覧は、リスト取得用のAPIで…
プログラミング
【はじめから】ざっくりわかるシェルスクリプト２
前１回目の説明に続き、ここではbashプログラミングの基本的な考え方２として、bashスクリプトの一般的な操作を、ざっくりと説明します。 はじめに Bashスクリプトは、シェルコマンドの実行、複数のコマンドの同時実行、管理タスクのカスタマイズ、タスクの自動化の実行など、さまざまな…