91网首页-91网页版-91网在线观看-91网站免费观看-91网站永久视频-91网站在线播放

這個(gè)比較文本用到的主要是余弦定理比較文本相似度，具體原理右轉(zhuǎn)某度，主要適用場(chǎng)景是在考試系統(tǒng)中的簡(jiǎn)答題概述，可根據(jù)權(quán)重自動(dòng)打分，感覺(jué)實(shí)用性蠻廣的。

先說(shuō)下思路：

1. 文本分詞，中文于英文不同，規(guī)范的英文每個(gè)都有空格自動(dòng)分詞，中文則是連成長(zhǎng)串，我們只有一一比對(duì)每個(gè)詞出現(xiàn)的頻率做簡(jiǎn)單的比較，在這里使用到了SCWS的一個(gè)分詞api接口http://www.ftphp.com/scws/api.php（僅支持POST，因?yàn)橐MHttp請(qǐng)求，所以請(qǐng)求時(shí)間也是根據(jù)具體環(huán)境而定，所以可以自己手寫(xiě)一些字典，本地分詞要來(lái)的快）。但是用此接口分詞過(guò)程中，標(biāo)點(diǎn)符號(hào)不會(huì)被去掉，所以需要自己手動(dòng)寫(xiě)方法去掉標(biāo)點(diǎn)。

2. 獲取兩個(gè)文本的去重復(fù)并集

3. 比較每個(gè)詞出現(xiàn)的頻率

4. 根據(jù)余弦定理計(jì)算權(quán)重

下面是具體的代碼段（請(qǐng)求是在網(wǎng)上找的，原鏈接找不到了。。）

class Program
{
    static void Main(string[] args)
    {
        Console.Write(Sim("床前明月光，疑是地上霜", "床前明月光，疑是地上霜"));
    }
    public static double Sim(string txt1, string txt2)
    {
        List<string> sl1 = Segment(txt1);
        List<string> sl2 = Segment(txt2);
        //去重
        List<string> sl = sl1.union(sl2).ToList<string>();
        //獲取重復(fù)次數(shù)
        List<int> arrA = new List<int>();
        List<int> arrB = new List<int>();


        foreach (var str in sl)
        {
            arrA.Add(sl1.where(x => x == str).Count());
            arrB.Add(sl2.where(x => x == str).Count());
        }
        //計(jì)算商
        double num = 0;
        //被除數(shù)
        double numA = 0;
        double numB = 0;
        for (int i = 0; i < sl.Count; i++)
        {
            num += arrA[i] * arrB[i];
            numA += Math.Pow(arrA[i], 2);
            numB += Math.Pow(arrB[i], 2);
        }
        double cos = num / (Math.Sqrt(numA)* Math.Sqrt(numB));
        return cos;
    }
    public static List<string> Segment(string str)
    {
        List<string> sl = new List<string>();
        try
        {
            string s = string.Empty;
            System.Net.CookieContainer cookieContainer = new System.Net.CookieContainer();
            // 將提交的字符串?dāng)?shù)據(jù)轉(zhuǎn)換成字節(jié)數(shù)組
            byte[] postData = System.Text.Encoding.ASCII.GetBytes("data=" + System.Web.HttpUtility.UrlEncode(str) + "&respond=json&charset=utf8&ignore=yes&duality=no&traditional=no&multi=0");


            // 設(shè)置提交的相關(guān)參數(shù)
            System.Net.HttpWebRequest request = System.Net.WebRequest.create("http://www.ftphp.com/scws/api.php") as System.Net.HttpWebRequest;
            request.Method = "POST";
            request.KeepAlive = false;
            request.ContentType = "application/x-www-form-urlencoded";
            request.CookieContainer = cookieContainer;
            request.ContentLength = postData.Length;


            // 提交請(qǐng)求數(shù)據(jù)
            System.IO.Stream outputStream = request.GetRequestStream();
            outputStream.Write(postData, 0, postData.Length);
            outputStream.Close();


            // 接收返回的頁(yè)面
            System.Net.HttpWebResponse response = request.GetResponse() as System.Net.HttpWebResponse;
            System.IO.Stream responseStream = response.GetResponseStream();
            System.IO.StreamReader reader = new System.IO.StreamReader(responseStream, System.Text.Encoding.GetEncoding("utf-8"));
            string val = reader.ReadToEnd();


            Newtonsoft.Json.Linq.JObject results = Newtonsoft.Json.Linq.JObject.Parse(val);
            foreach (var item in results["words"].Children())
            {
                Newtonsoft.Json.Linq.JObject word = Newtonsoft.Json.Linq.JObject.Parse(item.ToString());
                var sss = word["word"].ToString();
                //判斷是否為標(biāo)點(diǎn)符
                bool offom = false;
                foreach (char t in sss)
                {
                    if (t >= 0x4e00 && t <= 0x9fbb)
                    {
                        offom = true;
                    }
                    else
                    {
                        offom = false;
                    }
                }
                if (offom)
                {
                    sl.Add(sss);
                }
            }
        }
        catch
        {
        }


        return sl;
    }
}

　　以上感覺(jué)很多地方都可以?xún)?yōu)化，以后想到更好的再重新來(lái)一遍。