8
|
1 |
Analyzer "natural":
|
|
2 |
File !:\data\cpixunittestcorpus\stem\en\1.txt tokenized:
|
|
3 |
'i' 'am' 'happy'
|
|
4 |
File !:\data\cpixunittestcorpus\stem\en\2.txt tokenized:
|
|
5 |
'oh' 'happiness'
|
|
6 |
File !:\data\cpixunittestcorpus\stem\en\3.txt tokenized:
|
|
7 |
'nothing' 'important' 'here' 'so' 'don't' 'even' 'look' 'because' 'you' 'shall' 'find' 'nothing' 'whatsoever'
|
|
8 |
File !:\data\cpixunittestcorpus\stem\en\4.txt tokenized:
|
|
9 |
'what' 'happening' 'here'
|
|
10 |
File !:\data\cpixunittestcorpus\stem\fi\1.txt tokenized:
|
|
11 |
'juon' 'nyt' 'teetä'
|
|
12 |
File !:\data\cpixunittestcorpus\stem\fi\2.txt tokenized:
|
|
13 |
'tee' 'näin'
|
|
14 |
File !:\data\cpixunittestcorpus\loc\th\1.txt tokenized:
|
|
15 |
'ปรากฏการณ์ฝนดาวตก' '7' '-18' 'พ' 'ยนี้' 'นายวรวิทย์' 'ตันวุฒิบัณฑิต' 'ปราชญ์ภูมิปัญญาท้องถิ่นด้านดาราศาสตร์ไทยกล่าวว่า' '17' '-18' 'พฤศจิกายน' '2552'
|
|
16 |
File !:\data\cpixunittestcorpus\loc\th\2.txt tokenized:
|
|
17 |
'จะมีปรากฏการณ์ดาราศาสตร์ครั้งสำคัญที่ชาวไทยเคยประทับใจมาแล้วเมื่อปี' '2541' '-2544' 'คือในคืนวันที่' '17' 'ต่อเนื่องวันที่' '18' 'พฤศจิกายน' '2552'
|
|
18 |
|