おすすめKaggle（カグル）で Grandmaster になりたいあなたにおすすめの本はこちらです【機械学習 ディープラーニング】
Kaggle （カグル）とは、データサイエンスや機械学習に携わる方々の、 オンラインコミュニティの１つです。 自社の多くのデータを活用していきたい オープンソースのデータを利用して何かできないかな データサイエンティストや機械学習エンジニア...
自然言語処理
おすすめ
おすすめ【前処理 クレンジング】欠損値、欠測値、不完全なデータなど、前処理に困った、うまく前処理したいあなたにおすすめの本はこちらです【データ分析 機械学習】
データ分析や機械学習の手法を身につけてみたものの、実際は、 業務のデータや、現実世界のデータをデータ分析、機械学習してみたら、値がない欠損値や欠測値があり、うまくいかなかった データ分析や機械学習の手法は、データを整えないと使えない（不完全...
テキストマイニング口コミの分析方法とは？(3) 口コミデータの形態素解析（単語分割と品詞付加、原形の特定）について、オープンソースのフリーソフトなども含めて、わかりやすく、サクッとまとめました
口コミ（クチコミ）とは、口頭やネット上などでのヒトからヒトへの情報伝達のことです。 ネット上の口コミでは、情報の内容だけでなく、いつ・どこでされた会話かといった情報もともに残されています。 こういった口コミを分析することで、 世論を調べる ...
Text Mining Studio口コミの分析方法とは？(2) 口コミデータの１文抽出（文分割）について、オープンソースのフリーソフトなども含めて、わかりやすく、サクッとまとめました
口コミ（クチコミ）とは、口頭でのコミュニケーションによる情報伝達のことです。 人と人の直接の情報伝達だけでなく、ネット上での口コミも増えています。 例えば、Webサイトのコメントや掲示板、 SNSなどで気軽に人と人のコミュニケーションが、成...
IT技術「対話 ai」とは？対話と会話の違い、質問応答システムとの違い、対話システムの具体例や現状についてまとめました
人工知能は現在、非常に盛り上がっています。 文科省は、大学教育で、人工知能の教育を必須とする方針を打ち出しています。 第４次産業革命とも言われる人工知能ですが、 そのわかりやすい、身近な例の１つは、 「対話ai」ではないでしょうか。 対話a...
テキストマイニングBERT（ディープラーニング）による自然言語処理は、どんなデータで評価されたの？どんな応用ができそう？
ディープラーニングによる人工知能の進歩は、日進月歩です。 画像認識や音声認識の分野においては、 すでに人間と同等かそれ以上の性能を示すモデルができています。 しかし、自然言語処理においては、人間のスコアを超えるモデルはできていませんでした。...
Python「テキストマイニング」を学びたいあなたにチェックしてほしい良書、１２冊はこちらです
「テキストマイニング」とは、テキスト（文書）を分析して、新しい知見を発掘する（マイニング）技術のことです。 テキストマイニングは、学術やビジネスなど、さまざまなところで応用可能です。 テキストマイニングってなに？ どんな仕組みになってるの？...
おすすめ「自然言語処理」を学びたい人におすすめの良書、１０冊はこちらです
「自然言語処理」とは、コンピュータが言語を扱うようにするための技術の総称です。 コンピュータで扱えるようになることで、 大量の言語データの中から知識を獲得できる 翻訳・通訳をしてくれる コンピュータと人間が自然に会話できるようになる など、...
おすすめ自然言語処理を学びたい初学者のあなたが、最初に学ぶといいおすすめの教科書・参考書、１冊はこちらです
「自然言語」とは、私たちが日常で使っている言葉のことです。 これらは進化の過程で「自然に」出きてきた言葉です。 なので自然言語と呼ばれます。 それに対する概念としては、人工言語があり、これは人間が１から設計した言葉になります。 例えば、プロ...
アルゴリズム「階層的クラスタリング」の「完全連結法（Complete Linkage Method）」とは？初学者の方でも、わかりやすいようにまとめました
前回は、クラスター分析でよく使う「最短距離法」という階層的クラスタリングの手法についてまとめました↓ 第９回『「階層的クラスタリング」の「最短距離法（Single Linkage Method）」とは？初学者の方でもわかりやすいようにまとめ...
Python「HTML」や「XML」を「Python」で手軽に扱いたいあなた「BeautifulSoup」はいかがでしょうか
HTMLやXMLファイルを自動的に処理したり、賢く処理をしたりするときに、ラクにプログラミングできたらいいですよね。Ｗｅｂページなど、クローリングしてきたデータをスクレイピングするにも、ラクにサクッとプログラミングしたいものです。 今回は、...
XML「XMLとは？」HTMLとの違いや、どう役に立つの？ってあなたはこちらをどうぞ
今回は、XMLってなに？ってとこを、HTMLを交えながらわかりやすくまとめました。 XMLとは？から、XMLとHTMLの違いは？や、XMLはなぜ役に立つの？ってことを知りたいあなたに役立てばいいなと思います。 XMLとは？ まずは、XMLっ...
アルゴリズム「階層的クラスタリング」の「最短距離法（Single Linkage Method）」とは？初学者の方でもわかりやすいようにまとめました
前回は、クラスター分析でよく使う「類似度」を整理整頓した「距離行列」をまとめました。↓ 第８回『「距離行列」とは？データ分析手法全般でよく使う「類似度」の扱いをシッカリ学びたいあなたはこちらをどうぞ』 今回はクラスター分析の手順の③で、 実...
アルゴリズム「距離行列」とは？データ分析手法全般でよく使う「類似度」について学びたいあなたはこちらをどうぞ
前回は、クラスター分析のやり方について３つのポイントでまとめました↓ 第７回『「クラスター分析」ってどうやるの？クラスター分析のやり方、具体的な３つのステップはこちらです』 今回は、クラスター分析のやり方の2番目をさらに掘り下げようと思いま...
アルゴリズム「クラスター分析」ってどうやるの？クラスター分析のやり方、具体的な３つのステップはこちらです
前回は、「クラスター分析」で使う素性ベクトルの（特にテキストマイニングの分野で）定番であるTF-IDF法をまとめました。 第６回『テキストマイニングの「クラスター分析」などで使われる、知らないと恥ずかしい「素性ベクトル作成の定番的方法」とは...
アルゴリズムテキストマイニングの「クラスター分析」などで使われる、知らないと恥ずかしい「素性ベクトル作成の定番的方法」とは？
前回は、「クラスター分析」で必要となる「素性ベクトル（特徴ベクトル）」を洗練するための２つのテクニックをご紹介しました。 第５回『クラスター分析で必要な「素性ベクトル」を洗練する２つのテクニックとは？』 （他の過去記事は下にございます） 今...
アルゴリズムテキストマイニングなどの「クラスター分析」で必要な「素性ベクトル」を洗練する２つのテクニックとは？
前回は、クラスター分析で必要な素性ベクトル（特徴ベクトル）をつくる際のポイント 「表記ゆれ」 と、それを解決するアルゴリズムである 「ステミング」 をご紹介しました↓ 第４回『テキストマイニングなどのクラスター分析で必要な「素性ベクトル」を...
アルゴリズムテキストマイニングなどの「クラスター分析」で必要な「素性ベクトル」をつくりたいあなたが知らないと損をする必須のテクニックとは？
前回は、「クラスター分析」で必要となる「素性ベクトル（特徴ベクトル）」の作り方をまとめました。 第３回『テキストマイニングなどのクラスター分析でも重要な「素性ベクトル」を作るための３つのステップとは？』 （それ以外の過去記事は、下にございま...
アルゴリズムテキストマイニングなどのクラスター分析でも重要な「素性（そせい）ベクトル」を作るための３つのステップとは？
前回は、クラスター分析するときに必要になる「素性ベクトル（特徴ベクトル）」について、素性ベクトルとは？なぜ必要なの？をまとめました↓ 第２回『テキストマイニングの「クラスター分析」でも必要な「素性ベクトル」とは？なぜ必要なの？』 今回は、「...
アルゴリズムテキストマイニングの「クラスター分析」でも必要な「素性（そせい）ベクトル」とは？なぜ必要なの？
前回の記事で、「クラスター分析とは？」についてまとめました。 クラスター分析という言葉を初めて聞いたという方 クラスター分析ってどんなものなの？ クラスター分析はどう役に立つの？ という方は、こちらをどうぞ↓ 第１回『「クラスター分析」とは...
アルゴリズム「クラスター分析」とは？膨大な情報の内容を、ラク〜にサクッと理解したいあなたはこちらをどうぞ
インターネットの発展に伴って、膨大な文書データが比較的手軽に入手可能になりました。 情報がたくさんあることはいいことではありますが、 ヒトの能力を超えた量の情報が日々生産させている中では、情報をシンプルに取捨選択することも重要です。 膨大な...
おすすめ「ディープラーニング」を基礎からビジネス応用までサクッとつかみ、自社ビジネスに活用したい方はこちらをどうぞ【グーグルに学ぶディープラーニング】
「ディープラーニング」が囲碁のプロ棋士に勝った！ といったディープラーニング（深層学習）を活用した成果がよく報じられています。 ディープラーニングとはどんなところで活用されているのでしょうか？ また、どんな風に世界を変えるのでしょうか？ デ...
R「テキストマイニング」で経営状態や業界動向を調べるにはどうするの？
今回は、テキストマイニングの事例紹介です。 まず、「テキストマイニングってなに？」という方は、詳しくはこちらをどうぞ ↓ 「テキストマイニング」とは？知っていると理解がすすむ目的別３つのポイント 「テキストマイニング」がなにか分かると、 ...
R「テキストマイニング」とは？知っていると理解がすすむ目的別３つのポイント
ブログやＳＮＳの普及で、インターネット上には膨大な文章や文字列が日々投稿されています。 ビジネスデータもどんどん電子化がすすみ、それらのデータから役立つ知見を見出せば、ビジネスに貢献できるはずです。 そこで今回は、文章を分析する手法である「...
おすすめ「自然言語処理」の基礎から応用まで、全体像をサクッと学びたいあなた、こちらはいかがでしょうか。ディープラーニングもあります
わたしたちは普段、「言語」をやりとりすることで他人と「コミュニケーション」しています。 人類は進化の過程で、日本語、英語、ドイツ語、フランス語・・・など多くの言語を生み出してきました。 人類の進化の過程で生まれてきた日常の言語のことを「自然...