MK
摩柯社区 - 一个极简的技术知识社区
AI 面试

Ruby中的自然语言处理基础

2023-11-031.8k 阅读

什么是自然语言处理

自然语言处理（Natural Language Processing，简称 NLP）是计算机科学、人工智能以及语言学领域的交叉学科。它旨在让计算机能够理解、处理和生成人类语言。自然语言处理技术广泛应用于语音识别、机器翻译、信息检索、文本分类、情感分析等诸多领域。

在日常生活中，我们使用搜索引擎查找信息，搜索引擎背后的算法就可能运用自然语言处理技术理解用户输入的查询语句，从而返回更准确的结果。智能语音助手能够理解我们的语音指令并做出相应的回应，这也离不开自然语言处理技术的支持。

Ruby 与自然语言处理

Ruby 作为一种简洁、灵活且功能强大的编程语言，在自然语言处理领域也有着一定的应用。它丰富的库和工具生态系统，使得开发者可以较为轻松地实现各种自然语言处理任务。

Ruby 有着许多优秀的 gem 库，例如 Nokogiri 可用于网页内容解析，虽然它并非专门为自然语言处理设计，但在处理包含文本的网页时非常有用。而像 NLTK（自然语言工具包）在 Python 中广为人知，Ruby 也有类似功能的库，如 Rouge，它可以用于文本摘要和相似度计算等自然语言处理任务。

Ruby 中的文本预处理

文本预处理是自然语言处理的基础步骤，它能够将原始文本转化为更易于处理的形式。以下是常见的文本预处理操作及其在 Ruby 中的实现。

文本清洗

文本清洗主要是去除文本中的噪声，如 HTML 标签、特殊字符、多余的空格等。

假设我们有一段包含 HTML 标签的文本：

text_with_html = "<p>Hello, world! This is a <b>test</b> of text cleaning.</p>"
require 'nokogiri'
cleaned_text = Nokogiri::HTML(text_with_html).text
puts cleaned_text

上述代码使用 Nokogiri 库将 HTML 文本中的标签去除，只保留纯文本内容。

去除特殊字符和多余空格可以使用正则表达式：

text_with_special_chars = "Hello!@# World...   "
cleaned_text = text_with_special_chars.gsub(/[[:punct:]]/, '').squeeze(' ').strip
puts cleaned_text

这里通过 gsub 方法使用正则表达式 /[[:punct:]]/ 匹配并替换掉所有标点符号，再使用 squeeze 方法去除多余空格，最后使用 strip 方法去除字符串两端的空白字符。

分词

分词是将文本按单词或词素进行分割的过程。在 Ruby 中，可以使用 split 方法进行简单的基于空格的分词。

text = "This is a sample sentence for tokenization"
tokens = text.split(' ')
puts tokens.inspect

然而，对于更复杂的语言，如中文，基于空格分词就不适用了。此时可以使用专门的中文分词库，如 jieba-rb。 首先安装 jieba-rb：

gem install jieba-rb

然后进行分词：

require 'jieba'
text = "这是一个用于分词的中文句子"
tokens = Jieba.cut(text)
puts tokens.inspect

词性标注

词性标注是为每个单词标记其词性，如名词、动词、形容词等。Ruby 中的 pos gem 可以用于词性标注。 先安装 pos：

gem install pos

使用示例：

require 'pos'
text = "The dog runs fast"
tagged_text = POS::Tagger.new.tag(text)
puts tagged_text.inspect

上述代码会对给定文本中的每个单词进行词性标注。

文本分类基础

文本分类是自然语言处理中的一项重要任务，它旨在将文本划分到预定义的类别中。比如将新闻文章分类为政治、体育、娱乐等类别，或者将客户评论分类为正面、负面等情感类别。

基于词频的文本分类

一种简单的文本分类方法是基于词频。我们可以统计每个类别中单词出现的频率，然后根据测试文本中单词的频率来判断其所属类别。

假设我们有两个类别“体育”和“政治”的文本数据：

sports_texts = ["The team won the game", "He scored a goal", "The players trained hard"]
politics_texts = ["The government made a decision", "The policy was debated", "The election is approaching"]

sports_word_count = Hash.new(0)
politics_word_count = Hash.new(0)

sports_texts.each do |text|
  text.split.each do |word|
    sports_word_count[word] += 1
  end
end

politics_texts.each do |text|
  text.split.each do |word|
    politics_word_count[word] += 1
  end
end

test_text = "The players made a decision"
test_word_count = Hash.new(0)
test_text.split.each do |word|
  test_word_count[word] += 1
end

sports_score = 0
politics_score = 0

test_word_count.each do |word, count|
  sports_score += sports_word_count[word] * count
  politics_score += politics_word_count[word] * count
end

if sports_score > politics_score
  puts "The test text belongs to sports category"
else
  puts "The test text belongs to politics category"
end

上述代码通过统计每个类别中单词的出现次数，构建词频字典。对于测试文本，同样统计词频，然后根据词频计算与每个类别字典的“得分”，得分高的类别即为测试文本所属类别。

使用机器学习算法进行文本分类

更复杂和准确的文本分类通常使用机器学习算法，如朴素贝叶斯算法。Ruby 中的 classifier-reborn gem 提供了朴素贝叶斯分类器的实现。 安装 classifier-reborn：

gem install classifier-reborn

示例代码：

require 'classifier-reborn'

sports_texts = ["The team won the game", "He scored a goal", "The players trained hard"]
politics_texts = ["The government made a decision", "The policy was debated", "The election is approaching"]

classifier = Classifier::NaiveBayes.new

sports_texts.each do |text|
  classifier.train('sports', text)
end

politics_texts.each do |text|
  classifier.train('politics', text)
end

test_text = "The players made a decision"
category = classifier.classify(test_text)
puts "The test text belongs to #{category} category"

这里使用 classifier-reborn 库创建了一个朴素贝叶斯分类器，通过训练数据对分类器进行训练，然后对测试文本进行分类。

命名实体识别

命名实体识别（Named Entity Recognition，简称NER）是识别文本中具有特定意义的实体，如人名、地名、组织机构名等。

在 Ruby 中，可以使用 ner gem 进行命名实体识别。 安装 ner：

gem install ner

示例代码：

require 'ner'
text = "Barack Obama was born in Hawaii. He worked for the United States government."
entities = NER.extract_entities(text)
puts entities.inspect

上述代码会从给定文本中提取出人名“Barack Obama”、地名“Hawaii”和组织机构名“United States government”。

文本相似度计算

文本相似度计算用于衡量两个文本之间的相似程度。在 Ruby 中，可以使用 Rouge gem 来计算文本相似度。 安装 Rouge：

gem install rouge

示例代码：

require 'rouge'

text1 = "This is a sample text"
text2 = "This is another sample text"

similarity = Rouge::Similarity.new(text1, text2).score
puts "The similarity score is #{similarity}"

Rouge 通过计算不同的相似度指标来衡量文本之间的相似性，这里的 score 方法返回一个综合的相似度得分。

文本摘要

文本摘要旨在从原始文本中提取出关键信息，生成简洁的摘要。Ruby 中的 Rouge 库也可以用于文本摘要。 示例代码：

require 'rouge'

original_text = "Natural language processing is a field of computer science, artificial intelligence, and linguistics concerned with the interactions between computers and human (natural) languages. It involves the development of algorithms and techniques to enable computers to understand, interpret, and generate human language. NLP has a wide range of applications, including speech recognition, machine translation, information retrieval, and text classification."

summary = Rouge::Summarizer.new.summarize(original_text, 3)
puts summary

上述代码使用 Rouge 的 Summarizer 类对给定的原始文本生成包含 3 句话的摘要。

情感分析基础

情感分析是判断文本所表达的情感倾向，如正面、负面或中性。

基于词典的情感分析

基于词典的情感分析方法是使用预定义的情感词典，将文本中的单词与词典中的情感词进行匹配，根据匹配结果判断情感倾向。 假设我们有一个简单的正面和负面情感词典：

positive_words = ["good", "excellent", "wonderful"]
negative_words = ["bad", "terrible", "awful"]

text = "The movie was excellent"
positive_count = 0
negative_count = 0

text.split.each do |word|
  if positive_words.include?(word)
    positive_count += 1
  elsif negative_words.include?(word)
    negative_count += 1
  end
end

if positive_count > negative_count
  puts "The sentiment is positive"
elsif negative_count > positive_count
  puts "The sentiment is negative"
else
  puts "The sentiment is neutral"
end

上述代码通过统计文本中正面和负面情感词的数量来判断情感倾向。

使用机器学习进行情感分析

使用机器学习算法可以实现更准确的情感分析。同样可以使用 classifier-reborn gem，这次我们用它来进行情感分类（正面或负面）。 假设我们有正面和负面评论的训练数据：

require 'classifier-reborn'

positive_reviews = ["This product is great", "I love this service"]
negative_reviews = ["This is a bad experience", "The product is awful"]

classifier = Classifier::NaiveBayes.new

positive_reviews.each do |review|
  classifier.train('positive', review)
end

negative_reviews.each do |review|
  classifier.train('negative', review)
end

test_review = "The service was good"
sentiment = classifier.classify(test_review)
puts "The sentiment of the review is #{sentiment}"

这里使用朴素贝叶斯分类器对训练数据进行学习，然后对测试评论进行情感分类。

结语

通过上述内容，我们对 Ruby 中的自然语言处理基础有了较为全面的了解。从文本预处理到各种自然语言处理任务，如文本分类、命名实体识别、文本相似度计算、文本摘要和情感分析等，Ruby 凭借其丰富的库和简洁的语法为开发者提供了便利的实现途径。在实际应用中，可以根据具体需求选择合适的方法和库，进一步深入和优化自然语言处理的效果。同时，自然语言处理领域不断发展，新的技术和方法层出不穷，开发者需要持续学习和跟进，以更好地应用这些技术解决实际问题。