python实现分词算法代码
.
├── L3.Words.Segmentation.ipynb
├── icwb2-data
│ ├── README
│ ├── doc
│ │ ├── instructions.txt
│ │ └── result_instructions.txt
│ ├── gold
│ │ ├── as_testing_gold.txt
│ │ ├── as_testing_gold.utf8
│ │ ├── as_training_words.txt
│ │ ├── as_training_words.utf8
│ │ ├── cityu_test_gold.txt
│ │ ├── cityu_test_gold.utf8
│ │ ├── cityu_training_words.txt
│ │ ├── cityu_training_words.utf8
│ │ ├── msr_test_gold.txt
│ │ ├── msr_test_gold.utf8
│ │ ├── msr_training_words.txt
│ │ ├── msr_training_words.utf8
│ │ ├── pku_test_gold.txt
│ │ ├── pku_test_gold.utf8
│ │ ├── pku_training_words.txt
│ │ └── pku_training_words.utf8
│ ├── scripts
│ │ ├── mwseg.pl
│ │ └── score
│ ├── testing
│ │ ├── as_test.txt
│ │ ├── as_test.utf8
│ │ ├── cityu_test.txt
│ │ ├── cityu_test.utf8
│ │ ├── msr_test.txt
│ │ ├── msr_test.utf8
│ │ ├── pku_test.txt
│ │ └── pku_test.utf8
│ └── training
│ ├── as_training.b5
│ ├── as_training.utf8
│ ├── cityu_training.txt
│ ├── cityu_training.utf8
│ ├── msr_training.txt
│ ├── msr_training.utf8
│ ├── pku_training.txt
│ └── pku_training.utf8
├── icwb2-data.zip
├── tests
│ ├── __init__.py
│ ├── __pycache__
│ │ ├── __init__.cpython-37.pyc
│ │ ├── __init__.cpython-38.pyc
│ │ ├── test_utility.cpython-37.pyc
│ │ └── test_utility.cpython-38.pyc
│ ├── book
│ │ ├── __init__.py
│ │ ├── __pycache__
│ │ │ ├── __init__.cpython-37.pyc
│ │ │ └── __init__.cpython-38.pyc
│ │ ├── ch01
│ │ │ ├── __init__.py
│ │ │ └── hello_word.py
│ │ ├── ch02
│ │ │ ├── __pycache__
│ │ │ │ ├── backward_segment.cpython-37.pyc
│ │ │ │ ├── backward_segment.cpython-38.pyc
│ │ │ │ ├── forward_segment.cpython-37.pyc
│ │ │ │ ├── forward_segment.cpython-38.pyc
│ │ │ │ ├── utility.cpython-37.pyc
│ │ │ │ └── utility.cpython-38.pyc
│ │ │ ├── aho_corasick.py
│ │ │ ├── aho_corasick_double_array_trie.py
│ │ │ ├── backward_segment.py
│ │ │ ├── bidirectional_segment.py
│ │ │ ├── dat.py
│ │ │ ├── demo_acdat_segment.py
│ │ │ ├── demo_dat_segment.py
│ │ │ ├── demo_stopwords.py
│ │ │ ├── evaluate_cws.py
│ │ │ ├── forward_segment.py
│ │ │ ├── fully_segment.py
│ │ │ ├── speed_benchmark.py
│ │ │ ├── trie.py
│ │ │ ├── utility.py
│ │ │ └── zipf_law.py
│ │ ├── ch03
│ │ │ ├── __init__.py
│ │ │ ├── __pycache__
│ │ │ │ ├── __init__.cpython-37.pyc
│ │ │ │ ├── __init__.cpython-38.pyc
│ │ │ │ ├── demo_corpus_loader.cpython-37.pyc
│ │ │ │ ├── demo_corpus_loader.cpython-38.pyc
│ │ │ │ ├── msr.cpython-37.pyc
│ │ │ │ ├── msr.cpython-38.pyc
│ │ │ │ ├── ngram_segment.cpython-37.pyc
│ │ │ │ └── ngram_segment.cpython-38.pyc
│ │ │ ├── adjust_model.py
│ │ │ ├── demo_corpus_loader.py
│ │ │ ├── demo_custom_dict.py
│ │ │ ├── eval_bigram_cws.py
│ │ │ ├── japanese_segment.py
│ │ │ ├── msr.py
│ │ │ ├── ngram_segment.py
│ │ │ └── sighan05_statistics.py
│ │ ├── ch04
│ │ │ ├── __init__.py
│ │ │ ├── doctor_hmm.py
│ │ │ └── hmm_cws.py
│ │ ├── ch05
│ │ │ ├── __init__.py
│ │ │ ├── classify_name.py
│ │ │ ├── eval_perceptron_cws.py
│ │ │ ├── online_learning.py
│ │ │ ├── perceptron_cws.py
│ │ │ ├── plot_2d_sgd.py
│ │ │ ├── plot_3d_sgd.py
│ │ │ ├── plot_compressed_f1.py
│ │ │ ├── plot_corpus_ratio_f1.py
│ │ │ └── plot_name.py
│ │ ├── ch06
│ │ │ ├── __init__.py
│ │ │ ├── crfpp_train_hanlp_load.py
│ │ │ ├── evaluate_crf_cws.py
│ │ │ ├── plot_2d_newton.py
│ │ │ └── plot_3d_sgd_newton.py
│ │ ├── ch07
│ │ │ ├── __init__.py
│ │ │ ├── custom_corpus_pos.py
│ │ │ ├── custom_pos.py
│ │ │ ├── demo_crf_pos.py
│ │ │ ├── demo_hmm_pos.py
│ │ │ ├── demo_perceptron_pos.py
│ │ │ ├── evaluate_pos.py
│ │ │ └── pku.py
│ │ ├── ch08
│ │ │ ├── __init__.py
│ │ │ ├── demo_crf_ner.py
│ │ │ ├── demo_hmm_ner.py
│ │ │ ├── demo_msra_ner.py
│ │ │ ├── demo_num_eng.py
│ │ │ ├── demo_plane.py
│ │ │ ├── demo_role_tag_nr.py
│ │ │ ├── demo_role_tag_ns.py
│ │ │ ├── demo_role_tag_nt.py
│ │ │ ├── demo_sp_ner.py
│ │ │ └── msra_ner.py
│ │ ├── ch09
│ │ │ ├── __init__.py
│ │ │ ├── demo_extract_word.py
│ │ │ ├── demo_term_freq.py
│ │ │ └── demo_tfidf.py
│ │ ├── ch10
│ │ │ ├── __init__.py
│ │ │ ├── demo_clustering_f.py
│ │ │ ├── demo_get_bow_vec.py
│ │ │ └── demo_text_clustering.py
│ │ ├── ch11
│ │ │ ├── __init__.py
│ │ │ ├── demo_load_text_classification_corpus.py
│ │ │ ├── demo_svm_text_classification.py
│ │ │ ├── demo_text_classification.py
│ │ │ └── demo_text_classification_evaluation.py
│ │ ├── ch12
│ │ │ ├── __init__.py
│ │ │ ├── demo_train_parser.py
│ │ │ └── opinion_mining.py
│ │ ├── ch13
│ │ │ ├── __init__.py
│ │ │ ├── demo_neual_parser.py
│ │ │ ├── demo_word2vec.py
│ │ │ └── sigmoid.py
│ │ └── index.ipynb
│ ├── demos
│ │ ├── README.md
│ │ ├── demo_CRF_lexical_analyzer.py
│ │ ├── demo_NLP_segment.py
│ │ ├── demo_NShort_segment.py
│ │ ├── demo_URL_recognition.py
│ │ ├── demo_at_first_sight.py
│ │ ├── demo_basic_tokenizer.py
│ │ ├── demo_chinese_name_recognition.py
│ │ ├── demo_custom_dictionary.py
│ │ ├── demo_custom_nature.py
│ │ ├── demo_dependency_parser.py
│ │ ├── demo_download_again.py
│ │ ├── demo_high_speed_segment.py
│ │ ├── demo_index_segment.py
│ │ ├── demo_japanese_name_recognition.py
│ │ ├── demo_keyword.py
│ │ ├── demo_normalization.py
│ │ ├── demo_notional_tokenizer.py
│ │ ├── demo_number_and_quantifier_recognition.py
│ │ ├── demo_occurrence.py
│ │ ├── demo_organization_recognition.py
│ │ ├── demo_perceptron_lexical_analyzer.py
│ │ ├── demo_phrase_extractor.py
│ │ ├── demo_pinyin.py
│ │ ├── demo_pinyin_to_chinese.py
│ │ ├── demo_place_recognition.py
│ │ ├── demo_pos_tagging.py
│ │ ├── demo_rewrite_text.py
│ │ ├── demo_sentiment_analysis.py
│ │ ├── demo_stopword.py
│ │ ├── demo_suggester.py
│ │ ├── demo_summary.py
│ │ ├── demo_text_classification.py
│ │ ├── demo_text_clustering.py
│ │ ├── demo_tokenizer_config.py
│ │ ├── demo_traditional_chinese2simplified_chinese.py
│ │ ├── demo_translated_name_recognition.py
│ │ ├── demo_use_AhoCorasickDoubleArrayTrieSegment.py
│ │ └── demo_word_distance.py
│ ├── find_and_import_my_tests.py
│ ├── test_custom_dict.py
│ ├── test_hanlp.py
│ ├── test_multithread.py
│ ├── test_utility.py
│ └── test_word2vec.py
└── 找例子网_L3.Words.Segmentation (1).zip
26 directories, 191 files
评论