Update README.md

README.md

@@ -39,6 +39,7 @@ Huggingface doesn't support inference token classification for Thai and It will
 ```python
 from transformers import AutoTokenizer
 from transformers import AutoModelForTokenClassification
+from pythainlp.tokenize import word_tokenize # pip install pythainlp
 import torch
 
 name="pythainlp/thainer-corpus-v2-base-model"
@@ -46,6 +47,7 @@ tokenizer = AutoTokenizer.from_pretrained(name)
 model = AutoModelForTokenClassification.from_pretrained(name)
 
 sentence="ฉันชื่อ นางสาวมะลิวา บุญสระดี อาศัยอยู่ที่อำเภอนางรอง จังหวัดบุรีรัมย์ อายุ 23 ปี เพิ่งเรียนจบจาก มหาวิทยาลัยขอนแก่น และนี่คือข้อมูลปลอมชื่อคนไม่มีอยู่จริง อายุ 23 ปี"
+cut=word_tokenize(sentence.replace(" ", "<_>"))
 inputs=tokenizer(cut,is_split_into_words=True,return_tensors="pt")
 
 ids = inputs["input_ids"]