Merge pull request #207 from PyThaiNLP/dev

2.0.4 is a new stable release

Author: bact

README-pypi.md

@@ -1,28 +1,27 @@
 ![PyThaiNLP Logo](https://avatars0.githubusercontent.com/u/32934255?s=200&v=4)
 
-# PyThaiNLP 2.0.3
+# PyThaiNLP
 
 PyThaiNLP is a Python library for natural language processing (NLP) of Thai language.
 
 PyThaiNLP includes Thai word tokenizers, transliterators, soundex converters, part-of-speech taggers, and spell checkers.
 
 📫 follow us on Facebook [PyThaiNLP](https://www.facebook.com/pythainlp/)
 
-## What's new in version 2.0 ?
+## What's new in 2.0 ?
 
-- New NorvigSpellChecker spell checker class, which can be initialized with custom dictionary.
 - Terminate Python 2 support. Remove all Python 2 compatibility code.
-- Remove old, obsolated, deprecated, and experimental code.
-- Thai2fit (Upgrade ULMFiT-related codes to fastai 1.0)
-- ThaiNER 1.0
-- Remove sentiment analysis
-- Improved word_tokenize (newmm, mm) and dict_word_tokenize
-- Improved POS-tagging
-- See examples in [Get Started notebook](https://github.com/PyThaiNLP/pythainlp/blob/dev/notebooks/pythainlp-get-started.ipynb)
+- Improved `word_tokenize` ("newmm" and "mm" engine), a `custom_dict` dictionary can be provided
+- Improved `pos_tag` Part-Of-Speech tagging
+- New `NorvigSpellChecker` spell checker class, which can be initialized with custom dictionary.
+- New `thai2fit` (replacing `thai2vec`, upgrade ULMFiT-related code to fastai 1.0)
+- Updated ThaiNER to 1.0
+  - You may need to [update your existing ThaiNER models from PyThaiNLP 1.7](https://github.com/PyThaiNLP/pythainlp/wiki/Upgrade-ThaiNER-from-PyThaiNLP-1.7-to-PyThaiNLP-2.0)
+- Remove old, obsolated, deprecated, duplicated, and experimental code.
+  - Sentiment analysis is no longer part of the library, but rather [a text classification example](https://github.com/PyThaiNLP/pythainlp/blob/dev/notebooks/sentiment_analysis.ipynb).
+- See more examples in [Get Started notebook](https://github.com/PyThaiNLP/pythainlp/blob/dev/notebooks/pythainlp-get-started.ipynb)
 - [Full change log](https://github.com/PyThaiNLP/pythainlp/issues/118)
 - [Upgrading from 1.7](https://thainlp.org/pythainlp/docs/2.0/notes/pythainlp-1_7-2_0.html)
-- [Upgrade ThaiNER from 1.7](https://github.com/PyThaiNLP/pythainlp/wiki/Upgrade-ThaiNER-from-PyThaiNLP-1.7-to-PyThaiNLP-2.0)
-
 
 ## Install
 

README.md

@@ -16,7 +16,7 @@ PyThaiNLP is a Python package for text processing and linguistic analysis, simil
 
 **This is a document for development branch (post 2.0). Things will break.**
 
-- The latest stable release is [2.0.3](https://github.com/PyThaiNLP/pythainlp/tree/master)
+- The latest stable release is [2.0.4](https://github.com/PyThaiNLP/pythainlp/tree/master)
 - PyThaiNLP 2 supports Python 3.6+. Some functions may work with older version of Python 3, but it is not well-tested and will not be supported. See [change log](https://github.com/PyThaiNLP/pythainlp/issues/118).
   - [Upgrading from 1.7](https://thainlp.org/pythainlp/docs/2.0/notes/pythainlp-1_7-2_0.html)
   - [Upgrade ThaiNER from 1.7](https://github.com/PyThaiNLP/pythainlp/wiki/Upgrade-ThaiNER-from-PyThaiNLP-1.7-to-PyThaiNLP-2.0)
@@ -26,15 +26,15 @@ PyThaiNLP is a Python package for text processing and linguistic analysis, simil
 
 ## Capabilities
 
-- Convenient character and word classes, like Thai consonants (```pythainlp.thai_consonants```), vowels (```pythainlp.thai_vowels```), digits (```pythainlp.thai_digits```), and stop words (```pythainlp.corpus.thai_stopwords```) -- comparable to constants like ```string.letters```, ```string.digits```, and ```string.punctuation```
-- Thai word segmentation (```word_tokenize```), including subword segmentation based on Thai Character Cluster (```tcc```) and ETCC (```etcc```)
-- Thai romanization and transliteration (```romanize```, ```transliterate```)
-- Thai part-of-speech taggers (```pos_tag```)
-- Read out number to Thai words (```bahttext```, ```num_to_thaiword```)
-- Thai collation (sort by dictionoary order) (```collate```)
-- Thai-English keyboard misswitched fix (```eng_to_thai```, ```thai_to_eng```)
-- Thai misspellings detection and spelling correction (```spell```)
-- Thai soundex (```lk82```, ```udom83```, ```metasound```)
+- Convenient character and word classes, like Thai consonants (`pythainlp.thai_consonants`), vowels (`pythainlp.thai_vowels`), digits (`pythainlp.thai_digits`), and stop words (`pythainlp.corpus.thai_stopwords`) -- comparable to constants like `string.letters`, `string.digits`, and `string.punctuation`
+- Thai word segmentation (`word_tokenize`), including subword segmentation based on Thai Character Cluster (`subword_tokenize`)
+- Thai transliteration (`transliterate`)
+- Thai part-of-speech taggers (`pos_tag`)
+- Read out number to Thai words (`bahttext`, `num_to_thaiword`)
+- Thai collation (sort by dictionoary order) (`collate`)
+- Thai-English keyboard misswitched fix (`eng_to_thai`, `thai_to_eng`)
+- Thai spelling suggestion and correction (`spell` and `correct`)
+- Thai soundex (`soundex`) with three engines (`lk82`, `udom83`, `metasound`)
 - Thai WordNet wrapper
 - and much more - see examples in [PyThaiNLP Get Started notebook](https://github.com/PyThaiNLP/pythainlp/blob/dev/notebooks/pythainlp-get-started.ipynb).
 
@@ -62,20 +62,20 @@ For some advanced functionalities, like word vector, extra packages may be neede
 $ pip install pythainlp[extra1,extra2,...]
 ```
 
-where ```extras``` can be
-  - ```artagger``` (to support artagger part-of-speech tagger)*
-  - ```deepcut``` (to support deepcut machine-learnt tokenizer)
-  - ```icu``` (for ICU support in transliteration and tokenization)
-  - ```ipa``` (for International Phonetic Alphabet support in transliteration)
-  - ```ml``` (to support fastai 1.0.22 ULMFiT models)
-  - ```ner``` (for named-entity recognizer)
-  - ```thai2fit``` (for Thai word vector)
-  - ```thai2rom``` (for machine-learnt romanization)
-  - ```full``` (install everything)
+where `extras` can be
+  - `artagger` (to support artagger part-of-speech tagger)*
+  - `deepcut` (to support deepcut machine-learnt tokenizer)
+  - `icu` (for ICU, International Components for Unicode, support in transliteration and tokenization)
+  - `ipa` (for IPA, International Phonetic Alphabet, support in transliteration)
+  - `ml` (to support fastai 1.0.22 ULMFiT models)
+  - `ner` (for named-entity recognizer)
+  - `thai2fit` (for Thai word vector)
+  - `thai2rom` (for machine-learnt romanization)
+  - `full` (install everything)
 
-* Note: standard ```artagger``` package from PyPI will not work on Windows, please ```pip install https://github.com/wannaphongcom/artagger/tarball/master#egg=artagger``` instead.
+* Note: standard `artagger` package from PyPI will not work on Windows, please ```pip install https://github.com/wannaphongcom/artagger/tarball/master#egg=artagger``` instead.
 
-** see ```extras``` and ```extras_require``` in [```setup.py```](https://github.com/PyThaiNLP/pythainlp/blob/dev/setup.py) for package details.
+** see `extras` and `extras_require` in [`setup.py`](https://github.com/PyThaiNLP/pythainlp/blob/dev/setup.py) for package details.
 
 ## Documentation
 
@@ -106,24 +106,23 @@ PyThaiNLP เป็นไลบารีภาษาไพทอนเพื่
 
 **เอกสารนี้สำหรับรุ่นพัฒนา อาจมีการเปลี่ยนแปลงได้ตลอด**
 
-- รุ่นเสถียรล่าสุดคือรุ่น [2.0.3](https://github.com/PyThaiNLP/pythainlp/tree/master)
+- รุ่นเสถียรล่าสุดคือรุ่น [2.0.4](https://github.com/PyThaiNLP/pythainlp/tree/master)
 - PyThaiNLP 2 รองรับ Python 3.6 ขึ้นไป
 - ผู้ใช้ Python 2.7+ ยังสามารถใช้ PyThaiNLP 1.6 ได้
 
 📫 ติดตามข่าวสารได้ที่ Facebook [Pythainlp](https://www.facebook.com/pythainlp/)
 
 ## ความสามารถ
 
-- ชุดค่าคงที่ตัวอักษระและคำไทยที่เรียกใช้ได้สะดวก เช่น พยัญชนะ (```pythainlp.thai_consonants```), สระ (```pythainlp.thai_vowels```), ตัวเลขไทย (```pythainlp.thai_digits```), และ stop word (```pythainlp.corpus.thai_stopwords```) -- เหมือนกับค่าคงที่อย่าง ```string.letters```, ```string.digits```, และ ```string.punctuation```
-- Thai word segmentation (```word_tokenize```), including subword segmentation based on Thai Character Cluster (```tcc```) and ETCC (```etcc```)
-- ตัดคำภาษาไทย (```word_tokenize```) และรองรับ Thai Character Clusters (```tcc```) และ ETCC (```etcc```)
-- ถอดเสียงภาษาไทยเป็นอักษรละตินและสัทอักษร (```romanize```, ```transliterate```)
-- ระบุชนิดคำ (part-of-speech) ภาษาไทย (```pos_tag```)
-- อ่านตัวเลขเป็นข้อความภาษาไทย (```bahttext```, ```num_to_thaiword```)
-- เรียงลำดับคำตามพจนานุกรมไทย (```collate```)
-- แก้ไขปัญหาการพิมพ์ลืมเปลี่ยนภาษา (```eng_to_thai```, ```thai_to_eng```)
-- ตรวจคำสะกดผิดในภาษาไทย (```spell```)
-- soundex ภาษาไทย (```lk82```, ```udom83```, ```metasound```)
+- ชุดค่าคงที่ตัวอักษระและคำไทยที่เรียกใช้ได้สะดวก เช่น พยัญชนะ (`pythainlp.thai_consonants`), สระ (`pythainlp.thai_vowels`), ตัวเลขไทย (`pythainlp.thai_digits`), และ stop word (`pythainlp.corpus.thai_stopwords`) -- เหมือนกับค่าคงที่อย่าง `string.letters`, `string.digits`, และ `string.punctuation`
+- ตัดคำภาษาไทย (`word_tokenize`) และรองรับการตัดระดับต่ำกว่าคำโดยใช้ Thai Character Clusters (`subword_tokenize`)
+- ถอดเสียงภาษาไทยเป็นอักษรละตินและสัทอักษร (`transliterate`)
+- ระบุชนิดคำ (part-of-speech) ภาษาไทย (`pos_tag`)
+- อ่านตัวเลขเป็นข้อความภาษาไทย (`bahttext`, `num_to_thaiword`)
+- เรียงลำดับคำตามพจนานุกรมไทย (`collate`)
+- แก้ไขปัญหาการพิมพ์ลืมเปลี่ยนภาษา (`eng_to_thai`, `thai_to_eng`)
+- ตรวจคำสะกดผิดในภาษาไทย (`spell`, `correct`)
+- soundex ภาษาไทย (`soundex`) 3 วิธีการ (`lk82`, `udom83`, `metasound`)
 - Thai WordNet wrapper
 - และอื่น ๆ ดูตัวอย่างได้ใน [PyThaiNLP Get Started notebook](https://github.com/PyThaiNLP/pythainlp/blob/dev/notebooks/pythainlp-get-started.ipynb)
 
@@ -147,20 +146,20 @@ $ pip install https://github.com/PyThaiNLP/pythainlp/archive/dev.zip
 $ pip install pythainlp[extra1,extra2,...]
 ```
 
-โดยที่ ```extras``` คือ
-  - ```artagger``` (สำหรับตัวติดป้ายกำกับชนิดคำ artagger)*
-  - ```deepcut``` (สำหรับตัวตัดคำ deepcut)
-  - ```icu``` (สำหรับการถอดตัวสะกดเป็นสัทอักษรและการตัดคำด้วย ICU)
-  - ```ipa``` (สำหรับการถอดตัวสะกดเป็นสัทอักษรสากล (IPA))
-  - ```ml``` (สำหรับการรองรับโมเดล ULMFiT)
-  - ```ner``` (สำหรับการติดป้ายชื่อเฉพาะ (named-entity))
-  - ```thai2fit``` (สำหรับ word vector)
-  - ```thai2rom``` (สำหรับการถอดตัวสะกดเป็นอักษรละติน)
-  - ```full``` (ติดตั้งทุกอย่าง)
+โดยที่ `extras` คือ
+  - `artagger` (สำหรับตัวติดป้ายกำกับชนิดคำ artagger)*
+  - `deepcut` (สำหรับตัวตัดคำ deepcut)
+  - `icu` (สำหรับการถอดตัวสะกดเป็นสัทอักษรและการตัดคำด้วย ICU)
+  - `ipa` (สำหรับการถอดตัวสะกดเป็นสัทอักษรสากล (IPA))
+  - `ml` (สำหรับการรองรับโมเดล ULMFiT)
+  - `ner` (สำหรับการติดป้ายชื่อเฉพาะ (named-entity))
+  - `thai2fit` (สำหรับ word vector)
+  - `thai2rom` (สำหรับการถอดตัวสะกดเป็นอักษรละติน)
+  - `full` (ติดตั้งทุกอย่าง)
 
-* หมายเหตุ: แพคเกจ ```artagger``` มาตรฐานจาก PyPI อาจมีปัญหาการถอดรหัสข้อความบน Windows กรุณาติดตั้ง artagger รุ่นแก้ไขด้วยคำสั่ง ```pip install https://github.com/wannaphongcom/artagger/tarball/master#egg=artagger``` แทน ก่อนจะติดตั้ง PyThaiNLP
+* หมายเหตุ: แพคเกจ `artagger` มาตรฐานจาก PyPI อาจมีปัญหาการถอดรหัสข้อความบน Windows กรุณาติดตั้ง artagger รุ่นแก้ไขด้วยคำสั่ง ```pip install https://github.com/wannaphongcom/artagger/tarball/master#egg=artagger``` แทน ก่อนจะติดตั้ง PyThaiNLP
 
-** นักพัฒนาสามารถดู ```extras``` และ ```extras_require``` ใน [```setup.py```](https://github.com/PyThaiNLP/pythainlp/blob/dev/setup.py) สำหรับรายละเอียดแพคเกจของเสริม
+** สามารถดู `extras` และ `extras_require` ใน [`setup.py`](https://github.com/PyThaiNLP/pythainlp/blob/dev/setup.py) สำหรับรายละเอียดแพคเกจของเสริม
 
 ## เอกสารการใช้งาน
 

bin/pythainlp

@@ -1,7 +1,7 @@
 #!python3
 # -*- coding: utf-8 -*-
 
-_VERSION = "2.0.3"
+_VERSION = "2.0.4"
 
 import argparse
 

conda.recipe/meta.yaml

@@ -1,4 +1,4 @@
-{% set version = "2.0.3" %}
+{% set version = "2.0.4" %}
 
 package:
   name: pythainlp

docs/api/tokenize.rst

@@ -8,10 +8,10 @@ The :class:`pythainlp.tokenize` contains multiple functions for tokenizing a chu
 Modules
 -------
 
+.. autofunction:: sent_tokenize
 .. autofunction:: word_tokenize
-.. autofunction:: dict_word_tokenize
+.. autofunction:: syllable_tokenize
 .. autofunction:: subword_tokenize
-.. autofunction:: sent_tokenize
 .. autofunction:: dict_trie
 .. autoclass:: Tokenizer
    :members: word_tokenize, set_tokenize_engine