自然言語処理

おすすめ

【前処理 クレンジング】欠損値、欠測値、不完全なデータなど、前処理に困った、うまく前処理したいあなたにおすすめの本はこちらです【データ分析 機械学習】

データ分析や機械学習の手法を身につけてみたものの、実際は、 業務のデータや、現実世界のデータをデータ分析、機械学習してみたら、値がない欠損値や欠測値があり、うまくいかなかった データ分析や機械学習の手法は、データを整えないと...
2020.11.30
テキストマイニング

口コミの分析方法とは?(3) 口コミデータの形態素解析(単語分割と品詞付加、原形の特定)について、オープンソースのフリーソフトなども含めて、わかりやすく、サクッとまとめました

口コミ(クチコミ)とは、口頭やネット上などでのヒトからヒトへの情報伝達のことです。 ネット上の口コミでは、情報の内容だけでなく、いつ・どこでされた会話かといった情報もともに残されています。 こういった口コミを分析することで、 ...
2020.10.26
Text Mining Studio

口コミの分析方法とは?(2) 口コミデータの1文抽出(文分割)について、オープンソースのフリーソフトなども含めて、わかりやすく、サクッとまとめました

口コミ(クチコミ)とは、口頭でのコミュニケーションによる情報伝達のことです。 人と人の直接の情報伝達だけでなく、ネット上での口コミも増えています。 例えば、Webサイトのコメントや掲示板、 SNSなどで気軽に人と人のコミュニケー...
2020.10.26
IT技術

「対話 ai」とは?対話と会話の違い、質問応答システムとの違い、対話システムの具体例や現状についてまとめました

人工知能は現在、非常に盛り上がっています。 文科省は、大学教育で、人工知能の教育を必須とする方針を打ち出しています。 第4次産業革命とも言われる人工知能ですが、 そのわかりやすい、身近な例の1つは、 「対話ai」では...
2021.05.07
テキストマイニング

BERT(ディープラーニング)による自然言語処理は、どんなデータで評価されたの?どんな応用ができそう?

ディープラーニングによる人工知能の進歩は、日進月歩です。 画像認識や音声認識の分野においては、 すでに人間と同等かそれ以上の性能を示すモデルができています。 しかし、自然言語処理においては、人間のスコアを超えるモデ...
2021.07.25
Python

「テキストマイニング」を学びたいあなたにチェックしてほしい良書、12冊はこちらです

「テキストマイニング」とは、テキスト(文書)を分析して、新しい知見を発掘する(マイニング)技術のことです。 テキストマイニングは、学術やビジネスなど、さまざまなところで応用可能です。 テキストマイニングってなに? ...
2021.04.09
おすすめ

「自然言語処理」を学びたい人におすすめの良書、10冊はこちらです

「自然言語処理」とは、コンピュータが言語を扱うようにするための技術の総称です。 コンピュータで扱えるようになることで、 大量の言語データの中から知識を獲得できる 翻訳・通訳をしてくれる コンピュータと人間が自然に...
2020.01.27
おすすめ

自然言語処理を学びたい初学者のあなたが、最初に学ぶといいおすすめの教科書・参考書、1冊はこちらです

「自然言語」とは、私たちが日常で使っている言葉のことです。 これらは進化の過程で「自然に」出きてきた言葉です。 なので自然言語と呼ばれます。 それに対する概念としては、人工言語があり、これは人間が1から設計した言葉になりま...
2020.01.27
アルゴリズム

「階層的クラスタリング」の「完全連結法(Complete Linkage Method)」とは?初学者の方でも、わかりやすいようにまとめました

前回は、クラスター分析でよく使う「最短距離法」という階層的クラスタリングの手法についてまとめました↓ 第9回『「階層的クラスタリング」の「最短距離法(Single Linkage Method)」とは?初学者の方でもわかりやすいように...
2020.07.05
Python

「HTML」や「XML」を「Python」で手軽に扱いたいあなた「BeautifulSoup」はいかがでしょうか

HTMLやXMLファイルを自動的に処理したり、賢く処理をしたりするときに、ラクにプログラミングできたらいいですよね。Webページなど、クローリングしてきたデータをスクレイピングするにも、ラクにサクッとプログラミングしたいものです。 今...
2020.07.06
XML

「XMLとは?」HTMLとの違いや、どう役に立つの?ってあなたはこちらをどうぞ

今回は、XMLってなに?ってとこを、HTMLを交えながらわかりやすくまとめました。 XMLとは?から、XMLとHTMLの違いは?や、XMLはなぜ役に立つの?ってことを知りたいあなたに役立てばいいなと思います。 XMLとは? まずは...
2020.07.06
アルゴリズム

「階層的クラスタリング」の「最短距離法(Single Linkage Method)」とは?初学者の方でもわかりやすいようにまとめました

前回は、クラスター分析でよく使う「類似度」を整理整頓した「距離行列」をまとめました。↓ 第8回『「距離行列」とは?データ分析手法全般でよく使う「類似度」の扱いをシッカリ学びたいあなたはこちらをどうぞ』 今回はクラ...
2020.07.05
アルゴリズム

「距離行列」とは?データ分析手法全般でよく使う「類似度」について学びたいあなたはこちらをどうぞ

前回は、クラスター分析のやり方について3つのポイントでまとめました↓ 第7回『「クラスター分析」ってどうやるの?クラスター分析のやり方、具体的な3つのステップはこちらです』 今回は、クラスター分析のやり方の2番目をさらに...
2020.07.05
アルゴリズム

「クラスター分析」ってどうやるの?クラスター分析のやり方、具体的な3つのステップはこちらです

前回は、「クラスター分析」で使う素性ベクトルの(特にテキストマイニングの分野で)定番であるTF-IDF法をまとめました。 第6回『テキストマイニングの「クラスター分析」などで使われる、知らないと恥ずかしい「素性ベクトル作成の定番的方法...
2020.07.05
アルゴリズム

テキストマイニングの「クラスター分析」などで使われる、知らないと恥ずかしい「素性ベクトル作成の定番的方法」とは?

前回は、「クラスター分析」で必要となる「素性ベクトル(特徴ベクトル)」を洗練するための2つのテクニックをご紹介しました。 第5回『クラスター分析で必要な「素性ベクトル」を洗練する2つのテクニックとは?』 (他の過去記事は下にござ...
2020.07.05
アルゴリズム

テキストマイニングなどの「クラスター分析」で必要な「素性ベクトル」を洗練する2つのテクニックとは?

前回は、クラスター分析で必要な素性ベクトル(特徴ベクトル)をつくる際のポイント 「表記ゆれ」 と、それを解決するアルゴリズムである 「ステミング」 をご紹介しました↓ 第4回『テキストマイニングなどのクラスター...
2020.07.05
アルゴリズム

テキストマイニングなどの「クラスター分析」で必要な「素性ベクトル」をつくりたいあなたが知らないと損をする必須のテクニックとは?

前回は、「クラスター分析」で必要となる「素性ベクトル(特徴ベクトル)」の作り方をまとめました。 第3回『テキストマイニングなどのクラスター分析でも重要な「素性ベクトル」を作るための3つのステップとは?』 (それ以外の過去記事は、...
2020.07.05
アルゴリズム

テキストマイニングなどのクラスター分析でも重要な「素性(そせい)ベクトル」を作るための3つのステップとは?

前回は、クラスター分析するときに必要になる「素性ベクトル(特徴ベクトル)」について、素性ベクトルとは?なぜ必要なの?をまとめました↓ 第2回『テキストマイニングの「クラスター分析」でも必要な「素性ベクトル」とは?なぜ必要なの?』 ...
2020.07.05
アルゴリズム

テキストマイニングの「クラスター分析」でも必要な「素性(そせい)ベクトル」とは?なぜ必要なの?

前回の記事で、「クラスター分析とは?」についてまとめました。 クラスター分析という言葉を初めて聞いたという方 クラスター分析ってどんなものなの? クラスター分析はどう役に立つの? という方は、こちらをどうぞ↓ ...
2020.07.05
アルゴリズム

「クラスター分析」とは?膨大な情報の内容を、ラク〜にサクッと理解したいあなたはこちらをどうぞ

インターネットの発展に伴って、膨大な文書データが比較的手軽に入手可能になりました。 情報がたくさんあることはいいことではありますが、 ヒトの能力を超えた量の情報が日々生産させている中では、情報をシンプルに取捨選択することも重要で...
2020.07.05
おすすめ

「ディープラーニング」を基礎からビジネス応用までサクッとつかみ、自社ビジネスに活用したい方はこちらをどうぞ【グーグルに学ぶディープラーニング】

「ディープラーニング」が囲碁のプロ棋士に勝った! といったディープラーニング(深層学習)を活用した成果がよく報じられています。 ディープラーニングとはどんなところで活用されているのでしょうか? また、どんな風に世界を変える...
2020.03.06
R

「テキストマイニング」で経営状態や業界動向を調べるにはどうするの?

今回は、テキストマイニングの事例紹介です。 まず、「テキストマイニングってなに?」という方は、詳しくはこちらをどうぞ ↓  「テキストマイニング」とは?知っていると理解がすすむ目的別3つのポイント 「テキストマイニ...
2020.03.05
R

「テキストマイニング」とは?知っていると理解がすすむ目的別3つのポイント

ブログやSNSの普及で、インターネット上には膨大な文章や文字列が日々投稿されています。 ビジネスデータもどんどん電子化がすすみ、それらのデータから役立つ知見を見出せば、ビジネスに貢献できるはずです。 そこで今回は、文章を分析する...
2020.03.05
おすすめ

「自然言語処理」の基礎から応用まで、全体像をサクッと学びたいあなた、こちらはいかがでしょうか。ディープラーニングもあります

わたしたちは普段、「言語」をやりとりすることで他人と「コミュニケーション」しています。 人類は進化の過程で、日本語、英語、ドイツ語、フランス語・・・など多くの言語を生み出してきました。 人類の進化の過程で生まれてきた日常の言語の...
2020.03.03