locale=en:
Analyzer "
locale_switch {
    case 'en':       stdtokens>stdfilter>lowercase>stop(en);
    case 'th':       stdtokens>stdfilter>lowercase>thai>stop(en);
    case 'ca':       stdtokens>stdfilter>lowercase>accent;
    default:         stdtokens>stdfilter>lowercase;
}":
File !:\data\cpixunittestcorpus\stem\en\1.txt tokenized:
 'i' 'am' 'happy'
File !:\data\cpixunittestcorpus\stem\en\2.txt tokenized:
 'oh' 'happiness'
File !:\data\cpixunittestcorpus\stem\en\3.txt tokenized:
 'nothing' 'important' 'here' 'so' 'don't' 'even' 'look' 'because' 'you' 'shall' 'find' 'nothing' 'whatsoever'
File !:\data\cpixunittestcorpus\stem\en\4.txt tokenized:
 'what' 'happening' 'here'
File !:\data\cpixunittestcorpus\stem\fi\1.txt tokenized:
 'juon' 'nyt' 'teetä'
File !:\data\cpixunittestcorpus\stem\fi\2.txt tokenized:
 'tee' 'näin'
File !:\data\cpixunittestcorpus\loc\th\1.txt tokenized:
 'ปรากฏการณ์ฝนดาวตก' '7' '-18พ' 'ยนี้' 'นายวรวิทย์' 'ตันวุฒิบัณฑิต' 'ปราชญ์ภูมิปัญญาท้องถิ่นด้านดาราศาสตร์ไทยกล่าวว่า' '17' '-18' 'พฤศจิกายน' '2552'
File !:\data\cpixunittestcorpus\loc\th\2.txt tokenized:
 'จะมีปรากฏการณ์ดาราศาสตร์ครั้งสำคัญที่ชาวไทยเคยประทับใจมาแล้วเมื่อปี' '2541' '-2544' 'คือในคืนวันที่' '17' 'ต่อเนื่องวันที่' '18' 'พฤศจิกายน' '2552'


locale=th:
Analyzer "
locale_switch {
    case 'en':       stdtokens>stdfilter>lowercase>stop(en);
    case 'th':       stdtokens>stdfilter>lowercase>thai>stop(en);
    case 'ca':       stdtokens>stdfilter>lowercase>accent;
    default:         stdtokens>stdfilter>lowercase;
}":
File !:\data\cpixunittestcorpus\stem\en\1.txt tokenized:
 'i' 'am' 'happy'
File !:\data\cpixunittestcorpus\stem\en\2.txt tokenized:
 'oh' 'happiness'
File !:\data\cpixunittestcorpus\stem\en\3.txt tokenized:
 'nothing' 'important' 'here' 'so' 'don't' 'even' 'look' 'because' 'you' 'shall' 'find' 'nothing' 'whatsoever'
File !:\data\cpixunittestcorpus\stem\en\4.txt tokenized:
 'what' 'happening' 'here'
File !:\data\cpixunittestcorpus\stem\fi\1.txt tokenized:
 'juon' 'nyt' 'teetä'
File !:\data\cpixunittestcorpus\stem\fi\2.txt tokenized:
 'tee' 'näin'
File !:\data\cpixunittestcorpus\loc\th\1.txt tokenized:
 'ปรากฏการณ์' 'ฝน' 'ดาวตก' '7' '-18พ' 'ยนี' '้' 'นาย' 'วรวิท' 'ย์' 'ตัน' 'วุฒิ' 'บัณฑิต' 'ปราชญ์' 'ภูมิปัญญา' 'ท้อง' 'ถิ่น' 'ด้าน' 'ดาราศาสตร์' 'ไทย' 'กล่าว' 'ว่า' '17' '-18' 'พฤศจิกายน' '2552'
File !:\data\cpixunittestcorpus\loc\th\2.txt tokenized:
 'จะ' 'มี' 'ปรากฏการณ์' 'ดาราศาสตร์' 'ครั้ง' 'สำคัญ' 'ที่' 'ชาว' 'ไทย' 'เคย' 'ประทับ' 'ใจมา' 'แล้ว' 'เมื่อ' 'ปี' '2541' '-2544' 'คือ' 'ใน' 'คืน' 'วัน' 'ที่' '17' 'ต่อ' 'เนื่อง' 'วัน' 'ที่' '18' 'พฤศจิกายน' '2552'


locale=ca:
Analyzer "
locale_switch {
    case 'en':       stdtokens>stdfilter>lowercase>stop(en);
    case 'th':       stdtokens>stdfilter>lowercase>thai>stop(en);
    case 'ca':       stdtokens>stdfilter>lowercase>accent;
    default:         stdtokens>stdfilter>lowercase;
}":
File !:\data\cpixunittestcorpus\stem\en\1.txt tokenized:
 'i' 'am' 'happy'
File !:\data\cpixunittestcorpus\stem\en\2.txt tokenized:
 'oh' 'happiness'
File !:\data\cpixunittestcorpus\stem\en\3.txt tokenized:
 'nothing' 'important' 'in' 'here' 'so' 'don't' 'even' 'look' 'because' 'you' 'shall' 'find' 'nothing' 'whatsoever'
File !:\data\cpixunittestcorpus\stem\en\4.txt tokenized:
 'what' 'is' 'happening' 'here'
File !:\data\cpixunittestcorpus\stem\fi\1.txt tokenized:
 'juon' 'nyt' 'teeta'
File !:\data\cpixunittestcorpus\stem\fi\2.txt tokenized:
 'tee' 'nain'
File !:\data\cpixunittestcorpus\loc\th\1.txt tokenized:
 'ปรากฏการณ์ฝนดาวตก' '7' '-18พ' 'ยนี้' 'นายวรวิทย์' 'ตันวุฒิบัณฑิต' 'ปราชญ์ภูมิปัญญาท้องถิ่นด้านดาราศาสตร์ไทยกล่าวว่า' '17' '-18' 'พฤศจิกายน' '2552'
File !:\data\cpixunittestcorpus\loc\th\2.txt tokenized:
 'จะมีปรากฏการณ์ดาราศาสตร์ครั้งสำคัญที่ชาวไทยเคยประทับใจมาแล้วเมื่อปี' '2541' '-2544' 'คือในคืนวันที่' '17' 'ต่อเนื่องวันที่' '18' 'พฤศจิกายน' '2552'


default locale:
Analyzer "
locale_switch {
    case 'en':       stdtokens>stdfilter>lowercase>stop(en);
    case 'th':       stdtokens>stdfilter>lowercase>thai>stop(en);
    case 'ca':       stdtokens>stdfilter>lowercase>accent;
    default:         stdtokens>stdfilter>lowercase;
}":
File !:\data\cpixunittestcorpus\stem\en\1.txt tokenized:
 'i' 'am' 'happy'
File !:\data\cpixunittestcorpus\stem\en\2.txt tokenized:
 'oh' 'happiness'
File !:\data\cpixunittestcorpus\stem\en\3.txt tokenized:
 'nothing' 'important' 'in' 'here' 'so' 'don't' 'even' 'look' 'because' 'you' 'shall' 'find' 'nothing' 'whatsoever'
File !:\data\cpixunittestcorpus\stem\en\4.txt tokenized:
 'what' 'is' 'happening' 'here'
File !:\data\cpixunittestcorpus\stem\fi\1.txt tokenized:
 'juon' 'nyt' 'teetä'
File !:\data\cpixunittestcorpus\stem\fi\2.txt tokenized:
 'tee' 'näin'
File !:\data\cpixunittestcorpus\loc\th\1.txt tokenized:
 'ปรากฏการณ์ฝนดาวตก' '7' '-18พ' 'ยนี้' 'นายวรวิทย์' 'ตันวุฒิบัณฑิต' 'ปราชญ์ภูมิปัญญาท้องถิ่นด้านดาราศาสตร์ไทยกล่าวว่า' '17' '-18' 'พฤศจิกายน' '2552'
File !:\data\cpixunittestcorpus\loc\th\2.txt tokenized:
 'จะมีปรากฏการณ์ดาราศาสตร์ครั้งสำคัญที่ชาวไทยเคยประทับใจมาแล้วเมื่อปี' '2541' '-2544' 'คือในคืนวันที่' '17' 'ต่อเนื่องวันที่' '18' 'พฤศจิกายน' '2552'