diff -r d4d56f5e7c55 -r 65456528cac2 searchengine/oss/loc/analysisunittest/data/analysisunittest/evaluation/chinese_2gram_exp_out.txt --- /dev/null Thu Jan 01 00:00:00 1970 +0000 +++ b/searchengine/oss/loc/analysisunittest/data/analysisunittest/evaluation/chinese_2gram_exp_out.txt Fri Oct 15 12:09:28 2010 +0530 @@ -0,0 +1,453 @@ +Q 'E' - 'e' +i:................................................................................................................... +j:................................................................................................................... +c:................................................................................................................... +ok + +Q '逗' - '逗' +i:.....X............................................................................................................. +j:.....X............................................................................................................. +c:.....!............................................................................................................. +more errors! + +Q '台湾' - '台湾' +i:..X................................................................................................................ +j:..X................................................................................................................ +c:................................................................................................................... +ok + +Q '国家' - '国家' +i:............X.X...........................................X........................................................ +j:............X.X...........................................X........................................................ +c:................................................................................................................... +ok + +Q '中国' - '中国' +i:X...X..X................X.......XX........X..X.............................X.........................X.XX........X. +j:X...X..X................X.......XX........X..X.............................X.........................X.XX........X. +c:................................................................................................................... +ok + +Q '重' - '重' +i:.........................................................X...........................X....................X........ +j:.........................................................X...........................X....................X........ +c:.........................................................!...........................!....................!........ +more errors! + +Q '北京' - '北京' +i:........................................XX......................................................................... +j:........................................XX......................................................................... +c:................................................................................................................... +ok + +Q '年' - '年' +i:X..X................X............X....................X...........................................X................ +j:X..X................X............X....................X...........................................X................ +c:!..!................!............!....................!...........................................!................ +more errors! + +Q '东盟' - '东盟' +i:....................................................XX....XX.....................X...........XXXXX.XX..X.....X..... +j:....................................................XX....XX.....................X...........XXXXX.XX..X.....X..... +c:................................................................................................................... +ok + +Q '缅甸' - '缅甸' +i:....................................................X.X....X.........X..X.......X.X..X..XX.X.XX.............X.X..X. +j:....................................................X.X....X.........X..X.......X.X..X..XX.X.XX.............X.X..X. +c:................................................................................................................... +ok + +Q '中' - '中' +i:X.X.X..XXX..............X.......XXX.......X..X........X...........X....X...XX....XXX..............X..X.XX..X.....X. +j:X.X.X..XXX..............X.......XXX.......X..X........X...........X....X...XX....XXX..............X..X.XX..X.....X. +c:!.!.!..!!!..............!.......!!!.......!..!........!...........!....!...!!....!!!..............!..!.!!..!.....!. +more errors! + +Q '亚洲' - '亚洲' +i:.......................................................X...............................X.................X......... +j:.......................................................X...............................X.................X......... +c:................................................................................................................... +ok + +Q '奥巴马' - '奥巴' '巴马' +i:X..X....X..............X.........X...X..X....XXX....X.......X..X.......X.......X..X...X..................X......... +j:X..X....X..............X.........X...X..X....XXX....X.......X..X.......X.......X..X...X..................X......... +c:................................................................................................................... +ok + +Q '昂' - '昂' +i:..............................................X.......X......X..X.....XX..........X.X.....X........................ +j:..............................................X.......X......X..X.....XX..........X.X.....X........................ +c:..............................................!.......!......!..!.....!!..........!.!.....!........................ +more errors! + +Q '日本' - '日本' +i:......................................................................................X............................ +j:......................................................................................X............................ +c:................................................................................................................... +ok + +Q '笑容' - '笑容' +i:.................................................X.............X................................................... +j:.................................................X.............X................................................... +c:................................................................................................................... +ok + +Q '儿' - '儿' +i:..............................................................X....................X..................X............ +j:..............................................................X....................X..................X............ +c:..............................................................!....................!..................!............ +more errors! + +Q '友好关系' - '友好' '好关' '关系' +i:.................................................................................................................X. +j:.................................................................................................................X. +c:................................................................................................................... +ok + +Q '现场' - '现场' +i:.X................................................................................................................. +j:.X................................................................................................................. +c:................................................................................................................... +ok + +Q '局面' - '局面' +i:................................................................................................................... +j:................................................................................................................... +c:................................................................................................................... +ok + +Q '事务' - '事务' +i:..................................................................................................X................ +j:..................................................................................................X................ +c:................................................................................................................... +ok + +Q 'er' - 'er' +i:...........................XX..X................................................................................... +j:................................................................................................................... +c:................................................................................................................... +ok + +Q 'facebook' - 'facebook' +i:...............................X................................................................................... +j:...............................X................................................................................... +c:................................................................................................................... +ok + +Q 'TWITTER' - 'twitter' +i:...........................XX..X................................................................................... +j:...........................XX..X................................................................................... +c:................................................................................................................... +ok + +Q '月' - '月' +i:X..................................................X......X........................................................ +j:X..................................................X......X........................................................ +c:..........................................................!........................................................ +more errors! + +Q 'APEC' - 'apec' +i:................................................X..X.......X...............X....X.................................. +j:................................................X..X.......X...............X....X.................................. +c:................................................................................................................... +ok + +Q 'AP' - 'ap' +i:................................................................................................................... +j:................................................................................................................... +c:................................................................................................................... +ok + +Q 'book' - 'book' +i:................................................................................................................... +j:................................................................................................................... +c:................................................................................................................... +ok + +Q 'face*' - 'face' +i:...............................X................................................................................... +j:...............................X................................................................................... +c:................................................................................................................... +ok + +Q 'A*' - 'a' +i:................................................X..X.......X...............X....X.................................. +j:................................................X..X.......X...............X....X.................................. +c:................................................................................................................... +ok + +Q '喜*' - '喜' +i:..................................................X................................................................ +j:..................................................X................................................................ +c:..................................................!................................................................ +more errors! + +Q '合*' - '合' +i:.........X......................................XX.................................X.........X..................... +j:.........X......................................XX.................................X.........X..................... +c:................................................................................................................... +ok + +Q '年*' - '年' +i:X..X................X............X....................X...........................................X................ +j:X..X................X............X....................X...........................................X................ +c:...!............................................................................................................... +more errors! + +Q '使用*' - '使用' +i:....X.............................................................................................................. +j:................................................................................................................... +c:....+...........................!.................................................................................. +ok + +Q '玩*' - '玩' +i:...................X............................................................................................... +j:...................X............................................................................................... +c:................................................................................................................... +ok + +Q '美*' - '美' +i:X.X....X.X.X..........X.X...................X..X.....X...XX.X.X...XXX...X..X.....X......X...XXX..X...XX....X...XX.. +j:X.X....X.X.X..........X.X...................X..X.....X...XX.X.X...XXX...X..X.....X......X...XXX..X...XX....X...XX.. +c:............................................!...................................................................... +more errors! + +Q '听*' - '听' +i:.X................................................................................................................. +j:.X................................................................................................................. +c:................................................................................................................... +ok + +Q '以及*' - '以及' +i:..X.X..........................X.......X..................................................X........................ +j:................................................................................................................... +c:..+.+..........................+.......+..................................................+........................ +improved + +Q '1' - '1' +i:X..................................................X..X............................................................ +j:................................................................................................................... +c:................................................................................................................... +ok + +Q '正*' - '正' +i:......................................XX........X................X....................................X............ +j:......................................XX........X................X....................................X............ +c:......................................!............................................................................ +more errors! + +Q '加*' - '加' +i:..........X....................................X............X...................X............X...X.....X........... +j:..........X....................................X............X...................X............X...X.....X........... +c:................................................................................................................... +ok + +Q '采*' - '采' +i:................................................................................................X.................. +j:................................................................................................X.................. +c:................................................................................................................... +ok + +Q '现在' - '现在' +i:...........................................................................................................X....... +j:...........................................................................................................X....... +c:................................................................................................................... +ok + +Q '月*' - '月' +i:X..................................................X......X........................................................ +j:X..................................................X......X........................................................ +c:................................................................................................................... +ok + +Q '什么*' - '什么' +i:................................................................................................................... +j:................................................................................................................... +c:..........................................................................!........................................ +more errors! + +Q '什么*' - '什么' +i:..........................................................................X........................................ +j:................................................................................................................... +c:..........................................................................+........................................ +improved + +Q '呼*' - '呼' +i:..............................................X.......X....................X...X..X................................ +j:..............................................X.......X....................X...X..X................................ +c:................................................................................................................... +ok + +Q '不*' - '不' +i:............XX.........X............X...................X.....................................X.X...X..X....X.X.... +j:............XX.........X............X...................X.....................................X.X...X..X....X.X.... +c:................................................................................................................... +ok + +Q '提问' - '提问' +i:.X..................XX.....X....................................................................................... +j:.X..................XX.....X....................................................................................... +c:................................................................................................................... +ok + +Q '任*' - '任' +i:............X............................................................................................XX.X...... +j:............X............................................................................................XX.X...... +c:................................................................................................................... +ok + +Q '另*' - '另' +i:.....................X...........................................................X..............................X.. +j:.....................X...........................................................X..............................X.. +c:................................................................................................................... +ok + +Q '问*' - '问' +i:.XX..X..............XXX....X.................X...............................................X................X.... +j:.XX..X..............XXX....X.................X...............................................X................X.... +c:.....................!.......................!..................................................................... +more errors! + +Q '"美国总统"' - '美国' '国总' '总统' +i:X..............................................X................................................................... +j:X..............................................X................................................................... +c:................................................................................................................... +ok + +Q '"有关美国对台"' - '有关' '关美' '美国' '国对' '对台' +i:......................X............................................................................................ +j:......................X............................................................................................ +c:................................................................................................................... +ok + +Q '"少数民族"问' - '少数' '数民' '民族' '问' +i:.XX..X............X.XXX....X.................X...............................................X................X.... +j:.XX..X............X.XXX....X.................X...............................................X................X.... +c:.!!..!..............!!!....!.................!...............................................!................!.... +more errors! + +Q '"自由信息流通"' - '自由' '由信' '信息' '息流' '流通' +i:.........................X......................................................................................... +j:.........................X......................................................................................... +c:................................................................................................................... +ok + +Q '"让美国着急"' - '让美' '美国' '国着' '着急' +i:................................................................................................................X.. +j:................................................................................................................X.. +c:................................................................................................................... +ok + +Q '"中国与缅甸"' - '中国' '国与' '与缅' '缅甸' +i:.................................................................................................................X. +j:.................................................................................................................X. +c:................................................................................................................... +ok + +Q '“亚洲政策演讲”' - '亚洲' '洲政' '政策' '策演' '演讲' +i:.......................................................................................X........................... +j:.......................................................................................X........................... +c:................................................................................................................... +ok + +Q '“美国对缅甸的制裁”' - '美国' '国对' '对缅' '缅甸' '甸的' '的制' '制裁' +i:........................................................................................X.......................... +j:........................................................................................X.......................... +c:................................................................................................................... +ok + +Q '“所有政治犯”' - '所有' '有政' '政治' '治犯' +i:..........................................................................................X........................ +j:..........................................................................................X........................ +c:................................................................................................................... +ok + +Q '“与东盟的关系”' - '与东' '东盟' '盟的' '的关' '关系' +i:.......................................................................................................X.....X..... +j:.......................................................................................................X.....X..... +c:................................................................................................................... +ok + +Q '“建立更友好的关系”' - '建立' '立更' '更友' '友好' '好的' '的关' '关系' +i:............................................................................................X...................... +j:............................................................................................X...................... +c:................................................................................................................... +ok + +Q '“东盟峰会”' - '东盟' '盟峰' '峰会' +i:.....................................................X...........................X...............X................. +j:.....................................................X...........................X...............X................. +c:................................................................................................................... +ok + +Q '“不干预他国政策”' - '不干' '干预' '预他' '他国' '国政' '政策' +i:................................................................................................X.................. +j:................................................................................................X.................. +c:................................................................................................................... +ok + +Q '“认真作出回应”' - '认真' '真作' '作出' '出回' '回应' +i:...............................................................................X................................... +j:...............................................................................X................................... +c:................................................................................................................... +ok + +Q '“美国外交举动没劲儿”' - '美国' '国外' '外交' '交举' '举动' '动没' '没劲' '劲儿' +i:..............................................................X.................................................... +j:..............................................................X.................................................... +c:................................................................................................................... +ok + +Q '“穿上传统服装与大家合照，笑容灿烂”' - '穿上' '上传' '传统' '统服' '服装' '装与' '与大' '大家' '家合' '合照' '照，' '，笑' '笑容' '容灿' '灿烂' +i:.................................................X................................................................. +j:.................................................X................................................................. +c:................................................................................................................... +ok + +Q '“11月15日”' - '11' '月' '15' '日' +i:...................................................X............................................................... +j:X..................................................X............................................................... +c:+..................................................!............................................................... +ok + +Q '“在7月份，”' - '在' '7' '月份' '份，' +i:..........................................................X........................................................ +j:..........................................................X........................................................ +c:................................................................................................................... +ok + +Q '“Twitter以及Facebook”' - 'twitter' '以及' 'facebook' +i:...............................X................................................................................... +j:...............................X................................................................................... +c:................................................................................................................... +ok + +Q '“这些表达自由、 宗教崇拜自由”' - '这些' '些表' '表达' '达自' '自由' '宗教' '教崇' '崇拜' '拜自' '自由' +i:..............XX................................................................................................... +j:..............XX................................................................................................... +c:................................................................................................................... +ok + +Q 'twitt*' - 'twitt' +i:...........................XX..X................................................................................... +j:...........................XX..X................................................................................... +c:................................................................................................................... +ok + +Q 'ap*' - 'ap' +i:................................................X..X.......X...............X....X.................................. +j:................................................X..X.......X...............X....X.................................. +c:................................................................................................................... +ok + +Q '以*' - '以' +i:..X.X..........................X.......X..................................................X........................ +j:..X.X..........................X.......X..................................................X........................ +c:................................................................................................................... +ok + +Index size was 17 KB +Improved in 2 / 75 +Deteriorated in 14 / 75