练习题 - 基于快速文本标题匹配的知识问答实现(二,实现篇)

机器学习︱R+python 专栏收录该内容
75 篇文章 6 订阅

承接练习题 - 基于快速文本标题匹配的知识问答实现(一,基础篇),前篇主要把qdr这个项目解剖了一下,现在开始应用做一下问答。
可以看到qdr这个项目的特点是:可以快速比对两个文本之间的相似性,而且计算tfidf、bm25、lm三款模型的速度很快。
那么本轮知识问答的设计源于此:

  • 先储备一批问答语料,一问一答比较合适;
  • 把问题进行分词,变为文本序列;
  • 载入qdr模型之中,进行训练;
    • 先trainer,统计词条频次 / 单词存在的文档数量两个数据;
    • Scoring,把trainer的统计数据QueryDocumentRelevance载入,变为文本集合;
  • 新查询句,分词;
  • 分词之后的查询句在model中比对,得到最大相似的query对,
  • 从query找到对应的answer

接下来会演示:一个极其简单的demo + 一部分百度问答语料的demo.

相关code + 数据集,可见笔者github:mattzheng/qdrQA
其中,baidu_demo.py是基于一部分百度问答语料;demo1.py是简单示范案例


目录


1 知识问答简单demo

import os
import unittest
import numpy as np
from qdr import ranker,trainer
from tempfile import mkstemp 
from qdr import QueryDocumentRelevance

class qdrQA(object):
    def __init__(self, query, document):
        self.query = query
        self.document = document
        assert len(self.query)==len(self.document), "Inconsistent length on both query and document."
        self.qd = self.TrainModel()
        self.scorer = QueryDocumentRelevance(self.qd._counts,self.qd._total_docs)

    def TrainModel(self):
    # 模型统计词条频次 / 单词存在的文档数量两个数据
        qd = trainer.Trainer()
        qd.train(self.query)
        return qd

    def update(self,query_update,document_update):
        # 模型update
        qd2 = trainer.Trainer()
        qd2.train(query_update)
        self.qd.update_counts_from_trained(qd2)   # 合并两个容器的训练集
        self.query = self.query + query_update
        self.document = self.document + document_update

    def QueryAnswer(self,input_sentence,select_model = 'tfidf',limit = 0):
    # 查询语句
        #query_scores = np.array([self.scorer.score(input_sentence,qu)[select_model] for qu in self.query])
        query_scores = np.array([qu[select_model] for qu in self.scorer.score_batch(input_sentence,self.query)])

        if query_scores.max() > limit:
            answer = self.document[query_scores.argmax()]
        else:
            answer = 'sorry,no match sentence.'
        return answer

以上就是基于qdr进行简单的封装,其中

  • TrainModel()是训练模块;
  • update()是如果有新的语料可以随机更新(非常方便!);
  • QueryAnswer(),问答匹对。

进行简单测试:

# 数据集
query = [['信用积分','在','哪里','查询'],['蚂蚁积分','可以','兑换','什么','东西'],['信用积分','兑换','什么','性价比','比较','高']]
document = ['可以在首页查询','蚂蚁积分可以兑换商城中很多东西','信用积分性价比最高兑换物品是苹果手机']
# 建模
qdr = qdrQA(query,document)
# 问答
select_model = 'tfidf'
input_sentence = ['信用积分','查询']
limit = 0
print qdr.QueryAnswer(input_sentence,limit = 0)
>>> 可以在首页查询

以上是输入文字序列,其中query对需要分词,因为这样可以增加匹配概率。
那么如果新加语料,如何训练:

# 模型更新
query_update = [['信用积分','与','蚂蚁积分','的','区别']]
document_update = ['区别主要集中在商城兑换品']
qdr.update(query_update,document_update)

# 问答
select_model = 'tfidf'
input_sentence = ['信用积分','与','蚂蚁积分','区别']
print(qdr.QueryAnswer(input_sentence))
>>> 区别主要集中在商城兑换品

很方便的直接更新,只要与训练语料格式保持一致。


2 部分百度问答语料的问答

该百度问答语料截取自:【语料】百度的中文问答数据集WebQA

import json 
import jieba


# 问答
def qaPrint(input_sentence,select_model = 'tfidf',limit = 0):
    query_scores = np.array([qu[select_model] for qu in qdr.scorer.score_batch(input_sentence,qdr.query)])
    similar_answer = ''.join(qdr.query[query_scores.argmax()])
    print 'query is : ', ''.join(input_sentence) 
    print 'most similar query is : ', similar_answer
    print 'answer is :',qdr.QueryAnswer(input_sentence,limit = 0) 

def QueryJieba(input_sen):
    return [i.encode('utf-8') for i in list(jieba.cut(input_sen))]

# 数据准备
qa = open("/mnt/qdr/me_test.ann.json", "r").read()
qa = eval(qa)

query_bd = []
answer_bd = []
for qa_ in qa.values():
    if (qa_['question']!='') and (qa_['evidences'].values()[0]['evidence']!=''):
        query_bd.append(qa_['question'])
        answer_bd.append(qa_['evidences'].values()[0]['evidence'])

# jieba
query_bd_jieba = [list(jieba.cut(wo.decode('unicode-escape'))) for wo in query_bd]

# format processing
query_bd_jieba = [[i.encode('utf-8') for i in q]  for q in query_bd_jieba]
answer_bd = [q.encode('utf-8')  for q in answer_bd]

# 模型训练
qdr = qdrQA(query_bd_jieba,answer_bd)

# 提问
input_sen = '沙漠最大的叫什么?'
qaPrint(QueryJieba(input_sen))

>>> query is :  沙漠最大的叫什么?
>>> most similar query is :  世界上最大的沙漠叫什么名字?
>>> answer is : 撒哈拉沙漠撒哈拉沙漠面积为860万平方公里,是世界上最大的沙漠,占据了北非大部分地区。

# 提问2
input_sen = '最浅的海是哪里'
qaPrint(QueryJieba(input_sen))

>>> query is :  最浅的海是哪里
>>> most similar query is :  世界上最浅的海叫什么?
>>> answer is : 亚速海平均深度8米,最深处也只有14米,是世界上最浅的海记得采纳啊

加载数据,把问题数据进行jieba分词,其中,qdr模型接受utf-8格式,需要转化一下格式。
这边简单写了一下,提问之后,返回给你最相似的问题以及对应的答案。


延伸:单独来看,一些小模块的应用:

1、 获得该批语料单词的idf值

qdr.scorer.get_idf('沙漠')
>>> 7.321188556739478

2、单独的文本匹配模块

qdr.scorer.score_batch(QueryJieba('沙漠最大的叫什么?'),[QueryJieba('最浅的海是哪里')])
>>> [{'bm25': 0.43801802356073943,
  'lm_ad': -28.28692876400435,
  'lm_dirichlet': -27.58677603082954,
  'lm_jm': -33.64719347947683,
  'tfidf': 0.014088049093832688}]
  • 1
    点赞
  • 1
    评论
  • 2
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

相关推荐
©️2020 CSDN 皮肤主题: 游动-白 设计师:白松林 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值