ทำไมจำนวนคำใน Microsoft Word กับเครื่องมือนับคำออนไลน์ถึงไม่เท่ากัน? เจาะลึกการตัดคำภาษาไทย

1. ความขัดแย้งในการนับคำระหว่างโปรแกรมประมวลผลคำ

นักเขียน นักแปล และนักศึกษาหลายคนมักพบปัญหาเมื่อส่งงาน: จำนวนคำที่นับได้ใน Microsoft Word กลับไม่ตรงกับ Google Docs หรือเครื่องมือนับคำบนเว็บไซต์ ความแตกต่างนี้มักไม่ได้เกิดจากข้อผิดพลาดของซอฟต์แวร์ แต่เกิดจาก ความแตกต่างของนิยามคำและอัลกอริทึมการตัดคำ (Word Segmentation)

2. จุดแตกต่างสำคัญในภาษาอังกฤษและภาษาตะวันตก

• คำที่มีเครื่องหมายยัติภังค์ (Hyphenated Words): เช่น state-of-the-art Microsoft Word จะนับเป็น 1 คำ ในขณะที่เครื่องมือออนไลน์บางตัวนับเป็น 4 คำ
• ตัวเลขและเครื่องหมายวรรคตอน: เช่น 1,234.50 หรือ [email protected] บางโปรแกรมนับสัญลักษณ์แยกส่วน
• คำย่อที่มี Apostrophe: เช่น don't หรือ they're การนับอาจแตกต่างกันเป็น 1 หรือ 2 คำ

3. ความท้าทายพิเศษในภาษาไทย: อักษรที่ไม่มีการเคาะเว้นวรรคระหว่างคำ

ในภาษาตระกูลละติน คำจะถูกคั่นด้วยช่องว่าง (Whitespace) การนับคำจึงทำได้ง่ายๆ ด้วยการแยกคำผ่านช่องว่าง แต่ใน ภาษาไทย (รวมถึงภาษาจีนและญี่ปุ่น) ประโยคจะเขียนติดต่อกันเป็นพืดโดยไม่มีการเว้นวรรคระหว่างคำ เครื่องมือนับคำออนไลน์ทั่วไปที่ใช้คำสั่งพื้นฐานอย่าง text.split(/\s+/) จะนับประโยคภาษาไทยยาวๆ ทั้งประโยคเป็นเพียง "1 คำ" ซึ่งผิดพลาดอย่างสิ้นเชิง

เครื่องมือนับคำของ GoToolstack แก้ปัญหานี้ด้วยการใช้ API มาตรฐานสากล Intl.Segmenter('th', { granularity: 'word' }) ซึ่งผสานพจนานุกรมและกฎเกณฑ์ตามมาตรฐาน Unicode Text Segmentation (UAX #29) ทำให้สามารถตรวจจับขอบเขตคำภาษาไทยได้อย่างถูกต้องและเป็นธรรมชาติ เช่น ประโยค "ยินดีต้อนรับสู่เว็บไซต์ของเรา" จะถูกตัดเป็น 5 คำอย่างแม่นยำ