RからSQLiteデータベースを操作 シャオミのMi Band 2 のデータをMi Band Master というアプリで出力すると、db.sqlite というファイルが作成されます。これはSQLite形式のデータベースです。このデータベースをRで読み込む方法を実例で勉強しましたので備忘…

Mi Band Master のデータをRで読み込む Mi Band 2 のデータはCloudにあるらしいのですが、公式アプリ Mi Fit を使ってもCSVなどに落とすことはできないようです。一方、Mi Band Master というアプリは取得したデータを、SQLite形式の db.sqlite として出力し…

うーんUNIX時刻か UNIX時刻をSQLでyyyy-mm-dd 等にする UNIX時刻とは SQLiteではdatetime関数でUNIX時刻を簡単にyyyy-mm-dd h:m:s書式(JST)に変換できる MySQLの場合 うーんUNIX時刻か 先日、あるデータで Select Time1 from mydata limit 1; としたところ、…

Mi Band Master の出力データはSQLite形式DBになっている SQLite 形式のデータ SQLite を簡単に使いたい コマンドラインシェル SQLite3.exe を入手 心拍データ取得法(仮) 外部SQLを読み込んでバッチ処理する方法 正しい心拍データ取得法 1.SQLを用意する。 2…

Mi Band Master の出力データはSQLite形式DBになっている Mi Band Master からのデータ出力方法 メニューから「設定」を選び 「設定」から「Data」を選ぶ 「Data」から「エクスポート」を選ぶ 出力されるDBはSqlite3形式です Google Fit 睡眠データが反映不…

データには重複が含まれることがある 重複データの例 duplicated だと困ったことが… 重複とは出現回数が2以上ということ 出現回数を数える 出現回数>1のデータのみ数える RではなくてもSQLなら同じこと SQLの書き方 データには重複が含まれることがある 重複…

AS/400SQLではメンバを扱いにくい AS/400ではファイルを ライブラリ名/テーブル名(メンバ名) のように表しますね。 でも、SELECT * FROM ライブラリ名.テーブル名(メンバ名)としてもSQLはエラーとなってしまいます。 ()内のメンバを識別できないのが理由です…

まずは復習から AS400にも日本語対応の項目別名的なものがあるが取得するのは難しい ユーザー関数 GetASHeader()でテキスト記述を取得し手動でヘッダ置き換え データフレームのヘッダをASのテキスト記述で置き換えるユーザー関数 ReplaceASHeader() ユーザー…

ピリオドを含むテーブル名 AS400のテーブル名はAS/400端末で見ると、一般にライブラリ名/ファイル名となります。 SQLで呼び出す場合には、AS/400上のSTRSQLなどでもライブラリ名.ファイル名となるようです。 当社のシステム担当が 実績/売上.01、実績/売上.0…

※ RでなくてもSQLが使えれば SYSIBM.SYSCOLUMNS 等からの抽出部分は役立つと思います。 AS400のテーブルから項目別名を取得するのは難しい AS400にも日本語対応の項目別名的なものがあるが取得するのは難しい ASからテキスト記述を取得するユーザー関数 GetA…

AS/400のカタログ情報 AS/400のカタログ情報には表説明・列説明が日本語でも記載可能となっています。 表の説明に特定のキーワードを含むファイルを検索するSQLは select dbname,name,label from QSYS2.SYStables where label like '%キーワード%' です。 た…

RDMSのカタログは表データ RDBMS(リレーショナルデータベース)の特徴であるカタログ。DB2のカタログのうちのSYSCOLUMNSについて前回は紹介しましたが、他にも重要情報が詰まっているのがカタログです。 AS/400のDB2におけるカタログの主な内容 SQL操作 格納…

関係データベース RDMSのカタログは表データ RDBMS(リレーショナルデータベース)は、いわゆる表形式データと、それを管理するデータ(カタログ)に大別できます。表形式データを扱うための言語がSQLです。 前回紹介した、重要情報が詰まったカタログ自身も表形…

AS400からRにデータを取り込む AS400からRへのデータ読み込みは関数化しましょう ユーザー関数 GetAS400() ユーザー関数 GetAS400()の実行例 AS400からRにデータを取り込む RはRODBCというパッケージを使うことによりODBC経由でAS400からデータを取り込むこ…

AS400のフロントエンドとして使う AS400からデータを取得できるSQLツールは多いのですが、取得したデータは Excel で処理することが多いでしょう。 であれば、そもそも Excel でAS400からデータを取得すれば、フロントエンドの使用法をいくつも覚えずに済み…

sqldfライブラリの read.csv.sql() 関数はSQLでCSVを読み込める read.csv.sql()使用法 CSVからSQL(select) CSVからSQL(select以外) 前回は R に取り込んだデータフレームを SQL で取り扱う sqldf ( RデータフレームからSQLでデータを取得するsqldfライブラリ…

Rではデータフレームが主要な処理対象 R標準ではデータフレームをSQLで処理できない データフレームをSQLで処理するライブラリ sqldf sqldfはSQLite 注意 Rではデータフレームが主要な処理対象 Rではデータフレームというものが主要な処理対象となります。 …

ExcelからRへのデータ読み込みは関数化しましょう ユーザー関数 sqlExcel() ユーザー関数 sqlExcel() 使用例 最低限の指定(ファイル名のみ) ファイル名とシート名を指定 シート名を[ $]形式で引数として渡した場合のエラーの例。 ヘッダのないExcelデータを…

RでExcelデータを読み込めましたが… ExcelシートからSQLで条件にあったレコードのみ読み込む方法 応用:Excel2003以前のオートフィルタの代用 RでExcelデータを読み込めましたが… RODBC,readxl,gdata,XLConnect,xlsReadWrite,xlsx,openxlsxなどでExcelデータ…

SELECT DISTINCTでは重複判定に指定したキー項目しか返されない 指定されたカラム(列)で重複のないデータを返すSQL、SELECT DISTINCT(重複する行を削除するSELECT DISTINCT - 一所懸命に手抜きする)ですが SELECT DISTINCT 列a,列b FROM テーブルX とすると…

データは項目の内容が重複していることがある 今回はSQLについてです。 データには項目の内容が重複するものが含まれている場合があります。 そこから重複を除いてデータを抽出したいことがあります。 例えば、次のサンプルのように1月の仕入明細データとい…

Rは便利とは言っても、Rだけで業務は完結することはまずありません。Rで処理するデータはどこからか取得する必要があります。 CSVならば標準のread.table()で取得できますが、会社ではxlsやMDBなど多様なデータベースからデータを取得することがよくあります…