ওয়ার্ড ও অনলাইন কাউন্টারে শব্দের সংখ্যা পার্থক্যের কারণ: ইউনিকোড ও হাইফেন নিয়ম
সূচিপত্র
১. দুটি ভিন্ন কাউন্টারে শব্দের সংখ্যা আলাদা কেন হয়?
অনলাইন কনটেন্ট রাইটার, অনুবাদক ও গবেষকরা প্রায়শই লক্ষ্য করেন যে মাইক্রোসফট ওয়ার্ড বা গুগল ডক্সে যে লেখার মোট শব্দসংখ্যা ১,০০০ দেখানো হচ্ছে, ব্রাউজারের কোনো অনলাইন কাউন্টারে তা ৯৭৫ বা ১,০২৫ দেখাচ্ছে। এটি কোনো সফটওয়্যার ত্রুটি নয়, বরং শব্দ বিভাজনের (Word Boundary) অ্যালগরিদমিক নিয়মের পার্থক্য।
২. প্রধান ৩টি বৈজ্ঞানিক কারণ
১. হাইফেনযুক্ত যৌগিক শব্দ (Hyphenated Words)
উদাহরণস্বরূপ state-of-the-art শব্দটিকে মাইক্রোসফট ওয়ার্ড একটি মাত্র শব্দ হিসেবে গণনা করে। কিন্তু সাধারণ অনলাইন কাউন্টার যা কেবল স্পেস দিয়ে শব্দ ভাগ করে, সেটি এটিকে ৪টি আলাদা শব্দ হিসেবে গণনা করে।
২. অ্যাপোস্ট্রফি ও সংক্ষিপ্ত রূপ (Contractions)
ইংরেজি don't বা ফরাসি c'est এর মতো শব্দগুলোতে অ্যাপোস্ট্রফির কারণে কিছু অ্যালগরিদম এক শব্দ এবং কিছু দুই শব্দ হিসেবে গণ্য করে।
৩. বাংলা ও এশীয় ইউনিকোড অক্ষরের জটিলতা
বাংলা ভাষায় যুক্তবর্ণ (যেমন: ক্ষ, জ্ঞ), হসন্ত এবং য-ফলা ইউনিকোডে একাধিক কোড পয়েন্ট দ্বারা গঠিত হয়। উন্নত ইউনিকোড কাউন্টার (যেমন Intl.Segmenter) সঠিক গ্রাফিম ক্লাস্টার হিসাব করতে পারে।
৩. পেশাদার কাজের জন্য সমাধান
GoToolstack ওয়ার্ড কাউন্টারে আন্তর্জাতিক ইউনিকোড স্ট্যান্ডার্ড (UAX #29) ব্যবহৃত হয়, যা বাংলা ও ইংরেজি উভয় ভাষার ক্ষেত্রেই সঠিক শব্দ ও অক্ষর সংখ্যা প্রদান করে।