|
24
|
1 |
Analyzer "natural":
|
|
|
2 |
File ./cpixunittestcorpus/text/en/1.txt tokenized:
|
|
|
3 |
'i' 'am' 'happy'
|
|
|
4 |
File ./cpixunittestcorpus/text/en/2.txt tokenized:
|
|
|
5 |
'oh' 'happiness'
|
|
|
6 |
File ./cpixunittestcorpus/text/en/3.txt tokenized:
|
|
|
7 |
'nothing' 'important' 'in' 'here' 'so' 'don't' 'even' 'look' 'because' 'you' 'shall' 'find' 'nothing' 'whatsoever'
|
|
|
8 |
File ./cpixunittestcorpus/text/en/4.txt tokenized:
|
|
|
9 |
'what' 'is' 'happening' 'here'
|
|
|
10 |
|
|
|
11 |
Analyzer "natural":
|
|
|
12 |
File ./cpixunittestcorpus/text/he/1.txt tokenized:
|
|
|
13 |
'שפעת'|'פעת' 'החזירים'|'חזירים' 'תושבת'|'ושבת'|'שבת'|'בת'|'ת' 'נצרת'|'צרת' 'עילית' 'בת'|'ת' '51' 'ללא'|'לא'|'א' 'מחלות'|'חלות' 'רקע' 'מתה'|'תה'|'ה'
|
|
|
14 |
File ./cpixunittestcorpus/text/he/2.txt tokenized:
|
|
|
15 |
'בבית'|'בית'|'ית'|'ת' 'החולים'|'חולים' 'העמק'|'עמק' 'החולה'|'חולה' 'טופלה' 'אתמול'|'תמול'|'מול'|'ול'|'ל' 'בתרופה'|'תרופה'|'רופה' 'הניסיונית'|'ניסיונית'|'יסיונית'|'סיונית'
|
|
|
16 |
File ./cpixunittestcorpus/text/he/3.txt tokenized:
|
|
|
17 |
'פרהמיביר' 'אולם'|'ולם'|'לם'|'ם' 'מצבה'|'צבה' 'הוסיף'|'וסיף'|'סיף' 'להידרדר'|'הידרדר'|'ידרדר'|'דרדר'
|
|
|
18 |
File ./cpixunittestcorpus/text/he/4.txt tokenized:
|
|
|
19 |
'והבוקר'|'הבוקר'|'בוקר'|'וקר'|'קר' 'נקבע'|'קבע' 'מותה'|'ותה'|'תה'|'ה' 'החולה'|'חולה' 'תושבת'|'ושבת'|'שבת'|'בת'|'ת' 'נצרת'|'צרת' 'עילית'
|
|
|
20 |
|