データ分析

データサイエンス

データサイエンスとは?どんな学問?何ができるの?活用事例・身近な例・ビジネス事例は?AI(人工知能)・機械学習との違いはあるの?

これまでに、AI(人工知能)・機械学習・DXなどについて、簡単にまとめてきました。これらとよくいっしょに話題になるのが、「データサイエンス」というワードではないでしょうか。データサイエンスってなに?データサイエンスってどんな学問なの?データ...
DX

AI(人工知能)・機械学習のためのデータとは?データセットの収集・自作方法とAIデータ活用の3つの落とし穴とは?

前回、AIシステムの性能を上げるには、データが重要だと書きました。『機械学習とは?できること、簡単な利用例、実用例、ビジネス事例、AIの性能向上にはどうすればいいの?』では、AI・人工知能の性能アップには、データがあれば多ければ多いほどいい...
IT技術

『音声処理』の『プログラミング』を学びたいあなたにおすすめの本はこちらです

音声処理は、音声を処理するための技術の総称です。音声処理は昔からある技術です。近年著しく発展している人工知能・機械学習の技術を合わせて使うことで、これまでよりも、さらに身近で面白い応用例などが可能になりつつあります。アイデア次第で面白いこと...
おすすめ

実験計画法とは?実験計画法を学びたい・やり直したいあなたにおすすめのソフトや、わかりやすい本はこちらです【書籍 フリーソフト】

実験計画法を理解したい・サクッと実行したい実験計画法とは?実験計画法を実行するためのソフトは?無料(フリー)ソフトもある?おすすめ本はある?といった点をまとめます。実験計画法を実行するためのソフトとしては以下のものがございます↓エクセルJM...
おすすめ

【前処理 クレンジング】欠損値、欠測値、不完全なデータなど、前処理に困った、うまく前処理したいあなたにおすすめの本はこちらです【データ分析 機械学習】

データ分析や機械学習の手法を身につけてみたものの、実際は、業務のデータや、現実世界のデータをデータ分析、機械学習してみたら、値がない欠損値や欠測値があり、うまくいかなかったデータ分析や機械学習の手法は、データを整えないと使えない(不完全デー...
Text Mining Studio

口コミの分析方法とは?(2) 口コミデータの1文抽出(文分割)について、オープンソースのフリーソフトなども含めて、わかりやすく、サクッとまとめました

口コミ(クチコミ)とは、口頭でのコミュニケーションによる情報伝達のことです。人と人の直接の情報伝達だけでなく、ネット上での口コミも増えています。例えば、Webサイトのコメントや掲示板、SNSなどで気軽に人と人のコミュニケーションが、成立して...
エクセル

「人工知能」について「エクセル(Excel)」で学びたいあなたにおすすめの本はこちらです

人工知能の発展が頻繁にニュースになるようになっています。人工知能が将棋や囲碁のプロを倒すといったわかりやすい事例だけでなく、人間を上回る画像の認識力人間と会話する人工知能自動で文章応答ができる対話ボットなどなど、人工知能を活用した新技術が普...
おすすめ

【音声 ソフト】音声録音、音声処理、音声編集、音声分析、音声解析を無料(フリー)でやってみたいあなたにおすすめのソフト(フリーソフト)はこちらです【おすすめ ソフト 本】

音声処理はこれまで、音楽制作の現場などプロの間で使われる技術でした。近年、音声通話アプリやユーチューブなどの動画サービスが増え、一般の方にとっても音の処理が身近なものになっています。また、音声データや動画は、5G(第5世代移動通信システム)...
C言語

C言語を学びたい・やり直したいあなたにおすすめ本や参考書ならこちらです

C言語を学びたい・やり直したいあなたにおすすめ本や参考書ならこちらですプログラミング自体の初学者の方や、C言語に苦手意識の強い方にはこちらCの絵本第2版C言語が好きになる新しい9つの扉本書はC言語を初めて学ぶ方や一度つまずいたことのある苦手...
R

医療統計をサクッとできるソフトのおすすめ「EZR」について特徴や使い方などまとめました

医療統計を学びたい医療統計のデータ分析を実行したいどんなソフトがあるの?できればフリーソフトある?といったあなたのために、本記事では、医療統計をサクッと実行できるソフトの1つ「EZR」をご紹介します。医療統計をサクッとできるソフトのおすすめ...
R

「医療統計」を基礎から入門したいあなたにおすすめの良書、8冊はこちらです

医療統計学を基礎から入門したいんだけど、どうやって学べばいいの?統計や数式が苦手でも、わかりやすい医療統計の本はある?エクセルやSPSS、Rなど、医療統計で使えるおすすめの「ソフト」ってどんなものがあるの?無料で使えるものは?など、医療統計...
R

医療統計で使える8つのソフトの特徴と違いとは?比較しました【フリーソフトもどうぞ】

医療統計を基礎から入門して学びたいんだけど、どうやって学べばいいの?統計学で使えるソフトって、エクセル、SPSS、R、SAS、JMP、EZRなどあるけど、どう違うの?医療統計で使える「ソフト」ってどれがおすすめ?など、医療統計用のソフトの比...
Python

Python でできることってなに?チャットボットやテキストマイニング、人工知能やスクレイピングなどPythonの使い方をまとめました

最近、Pythonを使う方が増えています。なぜ、増えてるの?Pythonで、できることってなにがあるの?といった疑問を持つ方も多いのではないでしょうか。 Pythonを使うメリットは初心者の方でも学びやすい高機能を低コストで実現しやすいとい...
Python

Python で Pandas に入門し、データ分析など使い方を勉強したいあなたにおすすめの本はこちらです

「Pandas(パンダス)」は、Pythonでのデータ分析をラクにしてくれるライブラリです。Python自身には、エクセルのような表計算を行う機能はとても貧弱ですが、その弱点を補うのが「Pandas」になります。普段の業務などでは、エクセル...
Python

Python で NumPy に入門し、使い方を学びたいあなたにおすすめの本はこちらです

「NumPy」は、多次元配列を扱う数値演算ライブラリです。NumPyは、Pythonと組み合わせて使うことで、数値計算などを、ラクに、高速で実行できます。NumPyは、データ分析や機械学習、人工知能だけでなく、画像処理や音声認識、自然言語処...
GIS

【ハザードマップ】ハザードマップとは?ハザードの見方、アプリや検索方法、ポータルサイト、作り方など、ハザードマップについてサクッと学びたいあなたはこちらをどうぞ【国土交通省 NHK アプリ 本】

災害は忘れた頃にやってくると言いますが、他で起こったニュースを聞いた時など、明日は我が身で、思い立った時に対策を行動に移しておくことが大事です。とはいっても、どんな対策をすればいいの?と思われる方も多いかと思います。本記事では、防災対策する...
GIS

【GIS できること】GIS をマーケティングに活用し、ビジネスを成功・拡大させたいあなたはこちらをどうぞ【GIS 国勢調査 エリアマーケティング】

ビジネスで成功するには、「どこがベストか」という場所に関する知見が重要になる場合が多いのではないでしょうか。どこで、商品を売るといいかどこに、新規顧客はいるのかどこで、ビジネスをやれば成功するのか・・・この「どこ?」に対する疑問に、「GIS...
GIS

【GIS ソフト】地理情報データの解析で使えるパッケージやツール、ソフトウェアやサービスの特徴と違いとは?比較しました【フリーソフトもどうぞ】

GIS(地理情報システム)を基礎から入門して学びたいんだけど、どうやって学べばいいの?GISで使えるソフトって、などあるけど、どう違うの?GISで使える「ソフト」ってどれがおすすめ?など、地理情報データ解析用のソフトの比較に加えて、GISと...
R

「空間統計」とは?空間データとは?Rによる空間統計解析・モデル、空間統計学の応用例など、空間統計を学びたいあなたにおすすめの本(教科書・参考書)もこちらです

最近、地図上でのデータ分析・統計解析が増えています。「空間統計学」は、場所の情報を活かした統計学がです。空間統計では、通常のデータに加え、「場所」という情報が加わったデータを「位置情報」や「地理情報」と呼び、活用することができます。「場所が...
R

「地理空間情報」とは?地理空間情報データの可視化、統計モデル作成など、「R」の使い方とともに、基礎から手を動かしながら学びたいあなたにおすすめの本はこちらです

「地理空間情報」とは、地理的情報(位置)に依存する情報のことです。例えば、病気・犯罪・公害など、地理的な位置が関係する事象です。インフルエンザの発生とコロナの発生は、空間的に関係はある?といった分析ができれば、疾病の予防や対策に有効です。「...
R

空間統計を「R」で手を動かしながら学びたいあなたにオススメの本はこちらです

空間統計とは、位置情報が付属したデータに対する統計分析・解析です。空間統計は幅広い分野で利用されています。そこで本記事では、空間統計を幅広くサクッと学びたい手を動かしならが学びたいフリーの統計解析ソフト「R」を使えるようになりたいといったあ...
おすすめ

【GIS】地理情報システム (GIS) のデータ分析とは?位置情報データを活用したいあなたにおすすめの本はこちらです【岩波データサイエンス Vol.4】

「地理情報システム(GIS)」とは、位置の情報がついたデータなどを処理し、それらのデータ管理データの検索地図上に表示といった機能を実現するシステムの総称です。(GeographicInformationSystemの略です)カーナビは現在の...
matlab

【カルマンフィルタとは】カルマンフィルタの基礎からわかりやすく、プログラミングしながらも学べるあなたにおすすめの本はこちらです【matlab python Excel おすすめ 書籍】

カルマンフィルタは、システム制御の分野で提案され、その後、時系列データの分析に使われるようになりました。カルマンにより提案されたカルマンフィルタは、アポロ計画などの宇宙計画で人工衛星の軌道の推定など、様々なところで応用されています。加えて、...
おすすめ

「時系列解析」に入門したいあなた、こちらはいかがでしょうか

「時系列解析」は、時系列データを分析する手法です。時系列データとは、気温や湿度、株価や為替など、時間変化するデータについて、時間の情報をつけて表現したものです。時系列データの関係するシステムは、複雑で、不確実な現象がほとんどです。時系列デー...
R

「時系列分析」をフリーソフトの「R」でやりたいあなた、こちらの書籍はいかがでしょうか

「時系列分析」をフリーソフトでサクッと実行したいなぁ~と思われる方も多いかと思います。また、データ分析や統計解析というと、理系の話で、文系の私には敷居が高いなぁ~と思われるかもしれません。しかし、文系の方でも、経済学部の方など、経済時系列デ...
エクセル

「時系列分析」を「エクセル」でやりたいあなた、こちらはいかがでしょうか

「時系列データ」は、あらゆるビジネスで活用可能です。流通・小売業、アパレル、製造、金融などを筆頭に、時系列データを活かすことで、経営資源の効率化をはかることが可能です。売上データを分析したい!売上や需要の予測をしたい!土地や賃料などの将来を...
Kindle

時系列分析をサクッと学べるおすすめの良書、11冊はこちらです

時系列(データ)とは、時間とともに変化するデータのことです。時系列分析と呼ばれる手法を使うことで、過去の分析や未来予測が可能です。時系列分析と関わりが深い分野には、統計解析やデータマイニング、機械学習、人工知能などがあります。しかし時系列分...
R

「データマイニング」を勉強したいあなたにチェックしてほしい良書、11冊はこちらです

「データマイニング」とは、データの中から、価値ある情報や規則性を掘り出す(マイニング)技術の総称です。コンピュータやネットワークの高性能化によって、ビッグデータと言われるように、大量のデータを集めて、手軽に分析することができるようになりまし...
Java

「機械学習」に入門したいあなたにチェックしてほしい良書、10冊はこちらで

「機械学習」は、近年注目されています。機械学習は、人工知能技術の中の1つで、人工知能の進歩に大きく貢献しています。機械学習ってうわさに聞くけど、未経験だし、機械学習ってむずかしいんでしょ?数学やアルゴリズムを使いこなさないといけないの?機械...
おすすめ

「クラスター分析(クラスタリング)」を学びたいあなたにチェックしてほしい良書、6冊はこちらです

「クラスター分析(クラスタリング)」は、似ているもの同士をまとめて、グループ(クラスターと呼びます)にする手法の総称です。クラスタリングには、階層的なものや非階層的なもの、確率分布を用いたものなど、様々な手法があり、それぞれに長所と短所があ...
アンケート

「重回帰分析」を学びたいあなたにチェックしてほしい良書、10冊はこちらです

「重回帰分析」は、複数のデータ項目(変数・変量)から、なんらかの変量に影響の大きい変量を調べたり、興味ある変量の予測式を求めたりできる手法です。具体的には、重回帰分析では、データ内の1つの変量に着目し、その変量を残りの変量を用いて(おもに)...
おすすめ

「判別分析」を学びたいあなたにチェックしてほしい良書、10冊+α はこちらです

「判別分析」とは、グループ分けされたデータを基に、新しいデータがどのグループに属するかを決める手法です。判別分析は、1936年のフィッシャーの線形判別関数による論文以降、機械学習統計的学習理論データマイニングパターン認識ニューラルネットワー...
R

「コレスポンデンス分析」を学びたいあなたにチェックしてほしい良書、9冊はこちらです

「コレスポンデンス分析(対応分析)」とは、ザックリ言うと、データの軸を変えて、別の見方をする方法です。データを別の視点でみることによって、そのデータの新たな一面を知りたい、というときに役立つ手法といえます。少し詳しくいうと、コレスポンデンス...
R

「主成分分析」を学びたいあなたにチェックしてほしい良書、12冊はこちらです

「主成分分析」とは、データの見方を変える方法です。といっても、データのもつ情報が減ってしまったらもったいないですよね。なので、主成分分析は、元のデータがもつ情報を最大限に維持した上で、扱いやすい別の見方を与えてくれる方法になります。主成分分...
アンケート

「アンケート調査」をしたいあなたにチェックしてほしい良書、9冊はこちらです

「アンケート調査」は、質問への回答を「集計・分析」して、有用な知見を見いだすための活動です。アンケート調査には、スーパーのお客様満足度アンケート調査などの、身近なアンケート調査もあり、「顧客のホンネ」を知りたいときなどに使える方法です。他に...
R

「R」で「 Webスクレイピング」や「テキストマイニング」をやりたいあなたへの実践ガイドはこちらです

質の高いデータがほしいけど、予算も時間も限られているデータは収集するだけでなく、分析して、再現可能な結果を導き、レポートにまとめたいといった悩みをもつ方も多いのではないでしょうか。Webからデータを収集(クローリング)して、必要な情報を抽出...
Python

「Python」で「クローリング」や「スクレイピング」の実践的な開発をしたいあなたはこちらをどうぞ

Webサイトから効率よくデータ収集をしたい!と思われる方は多いかと思います。毎日、多くのサイトをチェックするのは大変ですよね。この作業を「自動化」できたら、ラクですよね!それを実現するのが、「クローリング」や「スクレイピング」という技術です...
Python

「テキストマイニング」を学びたいあなたにチェックしてほしい良書、12冊はこちらです

「テキストマイニング」とは、テキスト(文書)を分析して、新しい知見を発掘する(マイニング)技術のことです。テキストマイニングは、学術やビジネスなど、さまざまなところで応用可能です。テキストマイニングってなに?どんな仕組みになってるの?テキス...
データ分析

テキストマイニングの手法とは?概要をつかみ、手法の選択ができ、自分の業務に活かしたいあなたはこちらをどうぞ

テキストマイニングとは、分析したいテキストデータから、役立つ情報を抽出することです。テキストマイニングとひとことで言っても、様々な手法があり、目的に応じて選択する必要があります。そこで本記事では、テキストマイニングをやりたい初学者の方向けに...
R

「因子分析」を学びたいあなたにチェックしてほしい良書、12冊はこちらです

「因子分析」は、データの背後にある隠れた要因を見いだしたいときに活躍する方法です。因子分析はビジネスでも活用することができます。たとえば、マーケティングでは、顧客が気づいていない潜在ニーズを見いだすことが重要です。因子分析を使うことで、潜在...
おすすめ

「多変量解析」を独学したいあなたにチェックしてほしい良書、12冊はこちらです

「多変量解析」は、複雑な現実世界のデータから、わたしたちにとって分かりやすい情報を抽出するための分析手法です。多変量解析は、学術分野だけでなく、ビジネスの世界でも役に立ちます。近年、大量のデータを集めるのが容易になり、データの中から競争力を...
R

「多変量解析」でよく使われる、7つの「ソフトウェア」をまとめました(「フリーソフト」もどうぞ)

「多変量解析」は、複雑なデータの中から分かりやすい知識をあぶりだす方法です。今回は、多変量解析を実行するための「ソフトウェア」をまとめました。各ソフトウェアには、得意な解析方法やよく使われる分野があります。それらを把握していくつか選択肢をも...
エクセル

「多変量解析」を「エクセル」でサクッと実行したいあなたにおすすめの良書、9冊はこちらです

「多変量解析」とは、多くの変数で表現されたデータから、ヒトにとってわかりやすい情報や知識をあぶりだす方法の1つです。近年データを集めることが容易になりましたが、大量のデータがあるだけでは価値はありません。実際にビジネスで応用されているように...
おすすめ

「深層学習(ディープラーニング)」など機械学習の応用にも役立つ「計算論的神経科学」をサクッと学びたいあなた、こちらはいかがでしょうか【ニューロダイナミクス】

近年の脳科学は著しく進歩しています。ブレインーコンピューターインターフェース(Brain-computer-interface)は、脳波の情報を抽出して役立てたり、脳に情報を与えたりすることができる機器の総称として使われます。これらのシステ...
データ分析

「多変量解析」とは?多変量解析に入門したいあなたが最初に読んでおくとよい、おすすめ本はこちらです【多変量解析のはなし】

世の中には複雑でサクッと理解できないことがたくさんあります。例えばあなたがスーパーの店長だとして、「お店の商品を、どのように陳列すれば売上が高くなるだろう?」といった疑問を考えてみます。多くの要素が絡み合って複雑多くの可能性があるなにが本質...
データ分析

「ロジスティック回帰分析」を学びたいあなたにおすすめの良書13冊はこちらです

「ロジスティック回帰分析」とは、ある現象の発生確率を、複数の因子の組み合わせとそれらの程度からモデル化する方法の1つです。ロジスティック回帰分析を実際にやってみたいあなたは、どうすればいいの?サクッと実行できるソフトにはどんなものがあるの?...
おすすめ

「ロジスティック回帰分析」とは?分析例やオッズ比、重回帰分析との違いなどをサクッと理解したいあなたはこちらをどうぞ

「ロジスティック回帰分析」を使うことになったんだけど、ロジスティック回帰分析ってなに?どんな例があるの?サクッと簡単にできるソフトってないの?など思われる方も多いかもしれません。ロジスティック回帰分析をサクッと簡単に実行できるソフトなどない...
おすすめ

「因果関係」とは?ウソにだまされず、真実を見抜きたいあなた、こちらはいかがでしょうか【原因と結果の経済学】

「因果関係」とは、2つの事柄の関係で、どちらかが原因でどちらかが結果という関係がある状態のことを指します。因果関係を調べるためには、「因果推論」について学ぶ必要があるのですが、そこまで詳しく学ばなくても、因果関係ってなに?具体的な例はどんな...
おすすめ

「カーネル法」とは?「サポートベクターマシン」などの基礎となるカーネル法に入門したいあなたは、こちらはいかがでしょうか【カーネル多変量解析】

データ分析をしてみたいなぁデータが複雑すぎて、データ解析できない!重回帰分析だけじゃ、うまくいかないなぁ〜なんて思われた方もおられるのではないでしょうか。データ分析の手法というと、シンプルなものとして「回帰分析」があり、変数を複数扱うには「...
アルゴリズム

「階層的クラスタリング」の「最短距離法(Single Linkage Method)」とは?初学者の方でもわかりやすいようにまとめました

前回は、クラスター分析でよく使う「類似度」を整理整頓した「距離行列」をまとめました。↓第8回『「距離行列」とは?データ分析手法全般でよく使う「類似度」の扱いをシッカリ学びたいあなたはこちらをどうぞ』今回はクラスター分析の手順の③で、実際にク...