みなさんこんにちは。 3週間ぶりのダイズ🫘です。
気が付けば七夕も終わり、場所によってはセミの声まで聞こえるようになってきました。大学生にとってはテスト期間の幕開けなので、何かと気分が沈んでしまいます…
今週は肥料の分類をテーマに、私たちが使っているデータサイエンスの手法をいくつか紹介したいと思います。
今回用いるデータは農業経済研究所が公開している肥料特性情報検索から取得した全859件の肥料に関するデータベースです。 このデータベースには各肥料登録番号や対象作物、各成分の含有量(%)が登録されていますが、このうち今回解析に使うのは、肥料に含まれる窒素、硝酸態窒素、有機態窒素、リン酸、酸化カリウム、酸化マグネシウム、酸化ホウ素、アルカリ分、酸化ケイ素の計10項目です。
主に統計解析を扱うプログラミング言語であるRを用いて、このデータを主成分分析・MDS・UMAPの3つの方法でそれぞれ要約し、各成分の含有量から肥料の種類を分類できそうかどうかを調べてみたいと思います。
これらの手法は今回のデータのような多くの項目からなるデータをより低次元な空間に移してくることで要素の数を減らし、なるべく元のデータの情報を残したまま人間にもわかりやすい状態へと変換することを目的としています。
主成分分析(PCA)では元となるデータの分散(散らばり度合い)が最大になるように一つ目の軸を決め、それと直交する軸の中から分散が最大になるような二つ目の軸を決め、、という風にデータの変換を行います (出典:WikiPedia 主成分分析)。
多次元尺度構成法(MDS)では、各データ間の”距離”が最もよく保たれるような低次元空間を探します (出典:マクロミル MDS（多次元尺度構成法）)。
UMAP(均一マニホールド近似と投影)では重み付きk近傍グラフを用いて、データが所属する集団をもとに力学モデルと呼ばれる仕組みによって非線形な低次元化を行います (出典:odanny t-SNEより強いUMAPを（工学的に）理解したい)。
ここまで読んで、「何を説明されたのかすら分からない😵💫」という人もおられると思いますが、書いている自分もあまり理解できていないので大丈夫()です！
要約すると、データの特徴やデータ間の構造をわかりやすくする方法を3つ使ってみよう！という感じですね。
さてさて、実際の実行結果はどのなるのでしょうか?
3つの方法で作成したグラフを横につなげてみました。左から、主成分分析、MDS、UMAPです。
主成分分析とMDSではそれぞれグラフの左と上にデータが固まっていて見ずらいですが、UMAPだと比較的均等にデータが散らばっているようですね。
これらのグラフで実際にデータの特徴を要約できているかどうかを調べてみましょう。
今回用いた肥料のデータの中には、窒素、リン、カリウムの三大栄養素のうちどれか一つのみを含む単肥のデータが含まれています。グラフの中から単肥データを取り出してみて、どのような配置になっているかを確認してみました。
それぞれ、緑が窒素、青がカリウム、黒と青がリンの単肥で、黒と青はアルカリ分が含まれていないものと含まれているものです。
窒素の単肥は複数のまとまりにわかれていますが、他のデータはかなりまとまっているようです。
窒素の単肥についてはデータの項目が複数にわかれているために分離がみられたのかもしれません🧐。他のデータや項目についても今後調べていく予定ですが、今回はここまでとします。
来週もお楽しみに！