機械学習の学習データ整備でEXCELは使うな！

記事の概要

以下の記事で書いた通り機械学習のプロジェクトはデータ整備が９割です。

データ整備するにあたって使う可能性のあるツールEXCELについて書こうと思います。

機械学習のプロジェクトはデータ整備が９割！データ整備について知ろう！

目次 記事の概要対象読者機械学習のプロジェクトはデータ整備が９割！データ整備の様々な同義語データの整備って何？表記揺れのあるデータ欠損を含むデータ文字列データまとめ 記事の概要 ２〜３年前に機械学習のプロジェクトに携わっ […]

対象読者

• これから機械学習プロジェクトを委託・企画する人
• これから機械学習プロジェクトに携わる人

データ整備にEXCELは使うな！

データの整備を行うに当たって馴染みのあるEXCELを使ってデータを整備する人が大量に出てきそうなのを危惧しています。

なぜかというとEXCELさんとっても便利なのですが、時に良かれと思って、勝手なことをしてくれる存在でもあるからです。

数字の０が消される

例えば、以下のような表１が勝手に表２になったりしませんか？

社員番号くらいなら連番なので、さほど問題ありませんが、０に意味があるような数字だと０がないことで想定していない学習をしてしまう可能性もあります。

表１

表２

関数や計算式が使用されているとエラーのあるデータは文字列になる

EXCELで数式や関数を埋め込んでいると以下のようなエラーになってしまう。

以下表にあるような「電気代の割合」を機械学習の学習データとして使おうとすると

数値と文字列が混同していてプログラムがエラーになってしまう可能性が高いです。

このエラーに悩まされエンジニア泣かせとなってしまいます。

 指数も文字列認識してしまう可能性がある

以下の表の電気代の割合の最後の行は3E-15と値が小さすぎて指数になってしまっています。

これをプログラムでデータ整備しようとするとやはり文字列と認識してしまうことがあり、エラーに悩まされエンジニア泣かせとなります。

じゃあ何のツールを使ってデータ整備したらいいの！？

おすすめはプログラムでデータ整備することです。

プログラムならこちらが命令しないと余計な処理はしないためです。

おすすめは機械学習界隈でよく使われるPythonやRというプログラム言語です。

プログラム書けない人はどうしたらいいの！？

上記のようなエラーに最新の注意を払ってEXCELでデータ整備するしかないかもしれません。

おすすめのツール見つけたらご紹介します。

まとめ

機械学習の学習データの整備にEXCELは使わないことをおすすめしました。

機械学習の学習データ整備におすすめなのはPythonやRです。

プログラムが書けない方はEXCELの余計なお世話に気をつけてデータ整備をすることをおすすめします。