rename patterns to BCP-47, add zulu test, etc.

1 files changed, 400 insertions, 0 deletions

diff --git a/langclass/LM/el.lm b/langclass/LM/el.lm
new file mode 100644
index 0000000..6dff6cd
--- /dev/null
+++ b/langclass/LM/el.lm
@@ -0,0 +1,400 @@
+_	 89284
+α	 19666
+τ	 16086
+ο	 15826
+ε	 14848
+ι	 12766
+ν	 12189
+π	 8776
+σ	 8653
+ρ	 8399
+κ	 7761
+μ	 7529
+υ	 6850
+ά	 6284
+_τ	 5918
+λ	 5802
+ς	 5371
+α_	 5272
+η	 5236
+έ	 4739
+ί	 4609
+ό	 4489
+το	 4461
+ς_	 4111
+ου	 4075
+ι_	 4033
+ε_	 4019
+.	 3916
+_κ	 3897
+ο_	 3836
+._	 3810
+ν_	 3661
+_π	 3414
+_σ	 3333
+"	 3247
+_μ	 3242
+_το	 3118
+,	 3106
+,_	 3068
+γ	 3058
+_α	 2912
+ω	 2689
+να	 2593
+δ	 2455
+τα	 2420
+χ	 2411
+κα	 2406
+στ	 2406
+_ε	 2353
+-	 2335
+-_	 2192
+ύ	 2171
+αν	 2162
+τη	 2151
+ή	 2141
+υ_	 2133
+αι	 2100
+θ	 2053
+φ	 1989
+ου_	 1974
+ει	 1889
+_κα	 1882
+εί	 1864
+το_	 1802
+πο	 1771
+αι_	 1727
+σε	 1709
+_ν	 1647
+_"	 1619
+η_	 1609
+ια	 1602
+να_	 1518
+τι	 1501
+ον	 1501
+του	 1495
+με	 1460
+_του	 1407
+_έ	 1405
+_στ	 1396
+ώ	 1364
+πε	 1359
+τε	 1300
+μα	 1298
+β	 1274
+ρι	 1252
+ό_	 1241
+_δ	 1231
+ξ	 1223
+ντ	 1220
+_το_	 1196
+απ	 1187
+ρο	 1184
+_γ	 1183
+_τη	 1177
+ζ	 1158
+_εί	 1150
+ά_	 1150
+_να	 1124
+έν	 1115
+και	 1110
+_και	 1093
+αν_	 1082
+ρα	 1078
+και_	 1061
+_να_	 1060
+_και_	 1053
+μπ	 1049
+νο	 1048
+ατ	 1036
+ιο	 1024
+ια_	 1018
+ερ	 1003
+ού	 993
+_απ	 984
+σε_	 974
+ικ	 973
+_ο	 967
+εν	 947
+ος	 936
+ει_	 935
+πό	 901
+λο	 892
+_με	 890
+νε	 884
+του_	 871
+ον_	 869
+ας	 865
+_του_	 854
+ασ	 841
+με_	 840
+σα	 834
+κο	 833
+αρ	 832
+πρ	 824
+ίν	 820
+κά	 808
+_πο	 804
+πι	 796
+Κ	 796
+μέ	 783
+μο	 777
+έρ	 772
+αλ	 766
+ην	 762
+Μ	 759
+ισ	 745
+κε	 742
+τα_	 740
+στο	 738
+ω_	 730
+ην_	 728
+Ο	 717
+Τ	 714
+_φ	 711
+ετ	 705
+δε	 704
+πα	 697
+ας_	 688
+τά	 684
+ος_	 683
+_ό	 680
+_Κ	 675
+οι	 671
+_χ	 670
+την	 663
+την_	 658
+_στο	 647
+ή_	 645
+πό_	 638
+_θ	 633
+_ο_	 631
+",	 630
+_πρ	 626
+_Μ	 624
+ίπ	 624
+άν	 623
+",_	 623
+από	 620
+που	 619
+ότ	 618
+λα	 617
+τον	 617
+_από	 616
+μι	 612
+Ο_	 611
+ρε	 607
+υτ	 604
+λε	 595
+_λ	 594
+ρό	 590
+_με_	 586
+ιά	 580
+τον_	 577
+γι	 577
+_Ο	 575
+από_	 572
+άρ	 570
+πά	 570
+_από_	 569
+ρά	 562
+ταν	 554
+ένα	 553
+υν	 552
+που_	 551
+δι	 547
+τρ	 547
+τό	 544
+_β	 540
+χε	 536
+εν_	 534
+ησ	 528
+_Ο_	 525
+ης	 520
+".	 519
+_που	 516
+_Τ	 515
+"._	 513
+τη_	 512
+ς.	 510
+είπ	 508
+ταν_	 504
+_είπ	 503
+ς._	 501
+_τα	 500
+ξε	 497
+στο_	 496
+λλ	 493
+ακ	 492
+Α	 491
+_που_	 490
+άλ	 489
+ίπε	 489
+είπε	 485
+_είπε	 483
+_την	 483
+τι_	 482
+_την_	 481
+άτ	 480
+λι	 480
+_δε	 479
+άμ	 477
+_στο_	 475
+σο	 473
+_ά	 468
+"_	 463
+μέν	 463
+ιν	 461
+ις	 452
+_αν	 452
+κό	 451
+αυ	 451
+_τον	 450
+_γι	 449
+θα	 447
+ες	 446
+ση	 446
+_μι	 445
+_τον_	 443
+ε.	 441
+ε._	 441
+ους	 439
+λά	 439
+υς	 439
+ολ	 438
+πιο	 437
+ορ	 432
+_πα	 428
+_κά	 427
+τε_	 427
+αμ	 423
+;	 423
+_μο	 422
+σκ	 421
+της	 421
+_ξ	 418
+στη	 415
+Κά	 411
+νη	 408
+για	 405
+α.	 403
+κρ	 402
+κι	 402
+ς,	 402
+ς,_	 401
+α._	 398
+ηκ	 397
+_Κά	 397
+ελ	 396
+_έν	 395
+_ή	 393
+_μα	 392
+ία	 391
+ως	 391
+λη	 390
+ίνα	 389
+πί	 389
+μου	 388
+μά	 388
+_αυ	 387
+ης_	 386
+συ	 384
+ναι	 384
+Π	 383
+αυτ	 382
+ί_	 376
+μπι	 375
+ίσ	 372
+_της	 370
+_τα_	 367
+_για	 365
+_ένα	 362
+_μπ	 361
+θε	 361
+ιον	 359
+ις_	 358
+τή	 358
+_θα	 354
+_αυτ	 354
+άμπ	 352
+κ.	 352
+κ._	 351
+είν	 351
+ομ	 350
+ίναι	 348
+ντα	 348
+ναι_	 348
+ως_	 347
+χα	 346
+Ε	 346
+υ.	 346
+για_	 346
+υ._	 345
+δεν	 345
+ένα_	 345
+α,	 344
+α,_	 344
+δεν_	 344
+ύρ	 343
+όν	 343
+α-	 342
+ύσ	 341
+_κ.	 340
+στε	 339
+Κάμ	 339
+_κ._	 339
+τέ	 339
+α-_	 338
+ευ	 338
+ιλ	 338
+ρί	 338
+Κάμπ	 338
+_μου	 338
+_Κάμ	 338
+_Κάμπ	 337
+υμ	 336
+σει	 336
+πιον	 336
+μπιον	 336
+μπιο	 336
+_κο	 334
+Κάμπι	 334
+_η	 334
+άμπι	 334
+θα_	 333
+νι	 332
+της_	 331
+ψ	 331
+όμ	 330
+ησε	 330
+_σα	 329
+μα_	 328
+ός	 328
+Σ	 326
+_δεν	 325
+_δεν_	 325
+σμ	 324
+ες_	 324
+περ	 324
+ίχ	 323
+ίναι_	 323
+τικ	 322
+_ρ	 321
+άμπιο	 321
+υς_	 321
+ους_	 321
+_πε	 321
+σω	 320
+_για_	 320
+προ	 320
+γε	 318
+;"	 316
+;"_	 316
+Δ	 315
+τυ	 314
+ρα_	 313
+_συ	 312
+ρω	 312
+_θα_	 310
+όσ	 309
+ου.	 309