Adds stopwords and ngram-range to tfidf-vectorizer
This commit is contained in:
parent
4f4af74259
commit
804f966a00
3 changed files with 642 additions and 168 deletions
|
|
@ -1,164 +0,0 @@
|
||||||
Polizei Account Name Typ Bundesland Stadt LAT LONG
|
|
||||||
bpol_11 Bundespolizei Spezialkräfte Bundespolizei - - -
|
|
||||||
bpol_bepo Bundesbereitschaftspolizei Bundesbereitschaftspolizei - - - -
|
|
||||||
bpol_air_fra Bundespolizei Flughafen Frankfurt am Main Bundespolizei Hessen Frankfurt am Main 50.1109221 8.6821267
|
|
||||||
bpol_b Bundespolizei Berlin Bundespolizei Berlin Berlin 52.520007 13.404954
|
|
||||||
bpol_b_einsatz Bundespolizei Berlin Einsatz Bundespolizei Berlin Berlin 52.520007 13.404954
|
|
||||||
bpol_bw Bundespolizei Baden-Württemberg Bundespolizei Baden-Württemberg Böblingen 48.681331 9.008830
|
|
||||||
bpol_by Bundespolizei Bayern Bundespolizei Bayern München 48.135125 11.581981
|
|
||||||
bpol_koblenz Bundespolizei Koblenz Bundespolizei Rheinland-Pfalz Koblenz 50.356943 7.588996
|
|
||||||
bpol_kueste Bundespolizei Küste Bundespolizei Schleswig-Holstein Bad Bramstedt 53.919582 9.882173
|
|
||||||
bpol_nord Bundespolizei Nord Bundespolizei Niedersachsen Hannover 52.3744779 9.7385532
|
|
||||||
bpol_nrw Bundespolizei NRW Bundespolizei Nordrhein-Westfalen Sankt Augustin 50.769478 7.187579
|
|
||||||
bpol_pir Bundespolizei Mitteldeutschland Bundespolizei Sachsen-Anhalt Magdeburg 52.120533 11.627624
|
|
||||||
bremenpolizei Polizei Bremen Polizei Bremen Bremen 53.079296 8.801694
|
|
||||||
lkabawue Landeskriminalamt BW Landeskriminalamt Baden-Württemberg Stuttgart 48.775846 9.182932
|
|
||||||
lka_bayern Bayerisches Landeskriminalamt Landeskriminalamt Bayern München 48.135125 11.581981
|
|
||||||
lka_hessen Hessisches Landeskriminalamt Landeskriminalamt Hessen Wiesbaden 50.0820384 8.2416556
|
|
||||||
lka_rlp Landeskriminalamt Rheinland-Pfalz Landeskriminalamt Rheinland-Pfalz Mainz 49.992862 8.247253
|
|
||||||
pol_grafschaft Polizei Grf Bentheim Polizei Niedersachsen Nordhorn 52.429580 7.068571
|
|
||||||
polizeiaalen Polizei Aalen Polizei Baden-Württemberg Aalen 48.836689 10.097116
|
|
||||||
polizei_aur_wtm Polizei Aurich / WTM Polizei Niedersachsen Aurich 53.470839 7.484831
|
|
||||||
polizei_badn Polizei Bad Nenndorf Polizei Niedersachsen Bad Nenndorf 52.336191 9.374258
|
|
||||||
polizeibayern Polizei Bayern Polizei Bayern München 48.135125 11.581981
|
|
||||||
polizeibb Polizei Brandenburg Polizei Brandenburg Potsdam 52.390569 13.064473
|
|
||||||
polizeibb_e PolizeiBrandenburg_E Polizei Brandenburg Potsdam 52.390569 13.064473
|
|
||||||
polizei_bbg Polizei Bückeburg Polizei Niedersachsen Bückeburg 52.259276 9.052123
|
|
||||||
polizeiberlin Polizei Berlin Polizei Berlin Berlin 52.520007 13.404954
|
|
||||||
polizeiberlin_e Polizei Berlin Einsatz Polizei Berlin Berlin 52.520007 13.404954
|
|
||||||
polizeibhv Polizei Bremerhaven Polizei Bremen Bremerhaven 53.539584 8.580942
|
|
||||||
polizei_bs Polizei Braunschweig Polizei Niedersachsen Braunschweig 52.268874 10.526770
|
|
||||||
polizei_ce Polizei Celle Polizei Niedersachsen Celle 52.617596 10.062852
|
|
||||||
polizei_clp_vec Polizei Cloppenburg/Vechta Polizei Niedersachsen Cloppenburg 52.844198 8.053016
|
|
||||||
polizei_cux Polizei Cuxhaven Polizei Niedersachsen Cuxhaven 53.859336 8.687906
|
|
||||||
polizei_del Polizei Delmenhorst/Oldenburg-Land/Wesermarsch Polizei Niedersachsen Delmenhorst 53.052189 8.635593
|
|
||||||
polizei_dero Polizei Dessau-Roßlau Polizei Sachsen-Anhalt Dessau-Roßlau 51.842828 12.230393
|
|
||||||
polizei_dh Polizei Diepholz Polizei Niedersachsen Diepholz 52.605646 8.370788
|
|
||||||
polizei_el Polizei Emsland Polizei Niedersachsen Lingen 52.540308 7.329286
|
|
||||||
polizei_ffm Polizei Frankfurt Polizei Hessen Frankfurt am Main 50.110922 8.682127
|
|
||||||
polizeifr Polizei Freiburg Polizei Baden-Württemberg Freiburg 47.999008 7.842104
|
|
||||||
polizei_ft Polizei Frankenthal Polizei Rheinland-Pfalz Frankenthal 49.533333 8.350000
|
|
||||||
polizei_ger Polizei Germersheim Polizei Rheinland-Pfalz Germersheim 49.214024 8.366815
|
|
||||||
polizei_gf Polizei Gifhorn Polizei Niedersachsen Gifhorn 52.480909 10.550783
|
|
||||||
polizei_goe Polizei Göttingen Polizei Niedersachsen Göttingen 51.541280 9.915804
|
|
||||||
polizei_gs Polizei Goslar Polizei Niedersachsen Goslar 51.905953 10.428996
|
|
||||||
polizei_h Polizei Hannover Polizei Niedersachsen Hannover 52.3744779 9.7385532
|
|
||||||
polizei_hal Polizei Halle (Saale) Polizei Sachsen-Anhalt Halle (Saale) 51.4825041 11.9705452
|
|
||||||
polizeihamburg Polizei Hamburg Polizei Hamburg Hamburg 53.550341 10.000654
|
|
||||||
polizei_hi Polizei Hildesheim Polizei Niedersachsen Hildesheim 52.1521636 9.9513046
|
|
||||||
polizei_hk Polizei Heidekreis Polizei Niedersachsen Soltau 52.9859666 9.8433909
|
|
||||||
polizei_hm Polizei Hameln Polizei Niedersachsen Hameln-Pyrmont 52.0895789 9.3875409
|
|
||||||
polizeihn Polizei Heilbronn Polizei Baden-Württemberg Heilbronn 49.142291 9.218655
|
|
||||||
polizei_hol Polizei Holzminden Polizei Niedersachsen Holzminden 51.828835 9.4466591
|
|
||||||
polizei_hst Polizei Stralsund Polizei Mecklenburg-Vorpommern Stralsund 54.3096314 13.0820846
|
|
||||||
polizei_ka Polizei Karlsruhe Polizei Baden-Württemberg Karlsruhe 49.0068705 8.4034195
|
|
||||||
polizei_kl Polizei Kaiserslautern Polizei Rheinland-Pfalz Kaiserslautern 49.4432174 7.7689951
|
|
||||||
polizei_ko Polizei Koblenz Polizei Rheinland-Pfalz Koblenz 50.3533278 7.5943951
|
|
||||||
polizeikonstanz Polizei Konstanz Polizei Baden-Württemberg Konstanz 47.659216 9.1750718
|
|
||||||
polizeilb Polizei Ludwigsburg Polizei Baden-Württemberg Ludwigsburg 48.8953937 9.1895147
|
|
||||||
polizei_ler_emd Polizei Leer / Emden Polizei Niedersachsen Leer 53.2327625 7.4577265
|
|
||||||
polizei_lg Polizei Lüneburg Polizei Niedersachsen Lüneburg 53.248706 10.407855
|
|
||||||
polizeimainz Polizei Mainz Polizei Rheinland-Pfalz Mainz 50.0012314 8.2762513
|
|
||||||
polizeimannheim Polizei Mannheim Polizei Baden-Württemberg Mannheim 49.4892913 8.4673098
|
|
||||||
polizei_md Polizei Magdeburg Polizei Sachsen-Anhalt Magdeburg 52.1315889 11.6399609
|
|
||||||
polizeimfr Polizei Mittelfranken Polizei Bayern Nürnberg 49.453872 11.077298
|
|
||||||
polizei_mh Polizei Mittelhessen Polizei Hessen Gießen 50.5862066 8.6742306
|
|
||||||
polizei_mse Polizei Mecklenburgische Seenplatte Polizei Mecklenburg-Vorpommern Neubrandenburg 53.5574458 13.2602781
|
|
||||||
polizeimuenchen Polizei München Polizei Bayern München 48.135125 11.581981
|
|
||||||
polizeinb Polizei Niederbayern Polizei Bayern Straubing 48.8819801 12.569716
|
|
||||||
polizei_nbg Polizei Nienburg Polizei Niedersachsen Nienburg (Weser) 52.6487602 9.2578105
|
|
||||||
polizeineustadt Polizei Neustadt Polizei Rheinland-Pfalz Neustadt an der Weinstraße 49.3539802 8.1350021
|
|
||||||
polizei_nh Polizei Nordhessen Polizei Hessen Kassel 51.3154546 9.4924096
|
|
||||||
polizeini_lka LKA Niedersachsen Landeskriminalamt Niedersachsen Hannover 52.3744779 9.7385532
|
|
||||||
polizei_nom Polizei Northeim Polizei Niedersachsen Northeim 51.705401 9.9972782
|
|
||||||
polizei_nrw_ac Polizei NRW AC Polizei Nordrhein-Westfalen Aachen 50.776351 6.083862
|
|
||||||
polizei_nrw_bi Polizei NRW BI Polizei Nordrhein-Westfalen Bielefeld 52.0191005 8.531007
|
|
||||||
polizei_nrw_bn Polizei NRW BN Polizei Nordrhein-Westfalen Bonn 50.735851 7.10066
|
|
||||||
polizei_nrw_bo Polizei NRW BO Polizei Nordrhein-Westfalen Bochum 51.4818111 7.2196635
|
|
||||||
polizei_nrw_bor Polizei NRW BOR Polizei Nordrhein-Westfalen Borken 51.8443183 6.8582247
|
|
||||||
polizei_nrw_coe Polizei NRW COE Polizei Nordrhein-Westfalen Coesfeld 51.9458943 7.1691108
|
|
||||||
polizei_nrw_d Polizei NRW D Polizei Nordrhein-Westfalen Düsseldorf 51.2254018 6.7763137
|
|
||||||
polizei_nrw_dn Polizei NRW DN Polizei Nordrhein-Westfalen Düren 50.8031684 6.4820806
|
|
||||||
polizei_nrw_do Polizei NRW DO Polizei Nordrhein-Westfalen Dortmund 51.5142273 7.4652789
|
|
||||||
polizei_nrw_du Polizei NRW DU Polizei Nordrhein-Westfalen Duisburg 51.434999 6.759562
|
|
||||||
polizei_nrw_e Polizei NRW E Polizei Nordrhein-Westfalen Essen 51.4582235 7.0158171
|
|
||||||
polizei_nrw_en Polizei NRW EN Polizei Nordrhein-Westfalen Ennepe-Ruhr-Kreis 51.3481444 7.3351844
|
|
||||||
polizei_nrw_eu Polizei NRW EU Polizei Nordrhein-Westfalen Euskirchen 50.6612623 6.7871219
|
|
||||||
polizei_nrw_ge Polizei NRW GE Polizei Nordrhein-Westfalen Gelsenkirchen 51.5110321 7.0960124
|
|
||||||
polizei_nrw_gm Polizei NRW GM Polizei Nordrhein-Westfalen Gummersbach 51.0277658 7.5630545
|
|
||||||
polizei_nrw_gt Polizei NRW GT Polizei Nordrhein-Westfalen Gütersloh 51.9063997 8.3782078
|
|
||||||
polizei_nrw_ha Polizei NRW HA Polizei Nordrhein-Westfalen Hagen 51.3582945 7.473296
|
|
||||||
polizei_nrw_ham Polizei NRW HAM Polizei Nordrhein-Westfalen Hamm 51.6804093 7.815197
|
|
||||||
polizei_nrw_hf Polizei NRW HF Polizei Nordrhein-Westfalen Herford 52.1152245 8.6711118
|
|
||||||
polizei_nrw_hs Polizei NRW HS Polizei Nordrhein-Westfalen Heinsberg 51.0654268 6.0984461
|
|
||||||
polizei_nrw_hsk Polizei NRW HSK Polizei Nordrhein-Westfalen Hochsauerlandkreis 51.3208247 8.2684925
|
|
||||||
polizei_nrw_hx Polizei NRW HX Polizei Nordrhein-Westfalen Höxter 51.7747369 9.3816877
|
|
||||||
polizei_nrw_k Polizei NRW K Polizei Nordrhein-Westfalen Köln 50.938361 6.959974
|
|
||||||
polizei_nrw_kle Polizei NRW KLE Polizei Nordrhein-Westfalen Kleve 51.7854839 6.1313674
|
|
||||||
polizei_nrw_kr Polizei NRW KR Polizei Nordrhein-Westfalen Krefeld 51.3331205 6.5623343
|
|
||||||
polizei_nrw_lip Polizei NRW LIP Polizei Nordrhein-Westfalen Detmold 51.936284 8.8791526
|
|
||||||
polizei_nrw_lka Polizei NRW LKA Landeskriminalamt Nordrhein-Westfalen Düsseldorf 51.2254018 6.7763137
|
|
||||||
polizei_nrw_me polizei_nrw_me Polizei Nordrhein-Westfalen Mettmann 51.2527778 6.9777778
|
|
||||||
polizei_nrw_mg Polizei NRW MG Polizei Nordrhein-Westfalen Mönchengladbach 51.1946983 6.4353641
|
|
||||||
polizei_nrw_mi Polizei NRW MI Polizei Nordrhein-Westfalen Minden 52.2881045 8.9168852
|
|
||||||
polizei_nrw_mk Polizei NRW MK Polizei Nordrhein-Westfalen Märkischer Kreis 51.2734857 7.7274266
|
|
||||||
polizei_nrw_ms Polizei NRW MS Polizei Nordrhein-Westfalen Münster 51.9625101 7.6251879
|
|
||||||
polizei_nrw_ob Polizei NRW OB Polizei Nordrhein-Westfalen Oberhausen 51.4696137 6.8514435
|
|
||||||
polizei_nrw_oe Polizei NRW OE Polizei Nordrhein-Westfalen Olpe 51.0297603 7.8424193
|
|
||||||
polizei_nrw_pb Polizei NRW PB Polizei Nordrhein-Westfalen Paderborn 51.7189596 8.7648698
|
|
||||||
polizei_nrw_rbk Polizei NRW RBK Polizei Nordrhein-Westfalen Rheinisch-Bergischer-Kreis 51.0139774 7.1715584
|
|
||||||
polizei_nrw_re Polizei NRW RE Polizei Nordrhein-Westfalen Recklinghausen 51.6143815 7.1978546
|
|
||||||
polizei_nrw_rek Polizei NRW REK Polizei Nordrhein-Westfalen Rhein-Erft-Kreis 50.90334 6.763334
|
|
||||||
polizei_nrw_rkn Polizei NRW RKN Polizei Nordrhein-Westfalen Rhein-Kreis Neuss 51.1758799 6.6600606
|
|
||||||
polizei_nrw_si Polizei NRW SI Polizei Nordrhein-Westfalen Siegen-Wittgenstein 50.97444 8.23972
|
|
||||||
polizei_nrw_so Polizei NRW SO Polizei Nordrhein-Westfalen Soest 51.5725501 8.1061259
|
|
||||||
polizei_nrw_st Polizei NRW ST Polizei Nordrhein-Westfalen Steinfurt 52.1294289 7.3903454
|
|
||||||
polizei_nrw_su Polizei NRW SU Polizei Nordrhein-Westfalen Rhein-Sieg-Kreis 50.7527986 7.3813038
|
|
||||||
polizei_nrw_un Polizei NRW UN Polizei Nordrhein-Westfalen Unna 51.5348835 7.689014
|
|
||||||
polizei_nrw_vie Polizei NRW VIE Polizei Nordrhein-Westfalen Viersen 51.2562118 6.3905476
|
|
||||||
polizei_nrw_w Polizei NRW W Polizei Nordrhein-Westfalen Wuppertal 51.264018 7.1780374
|
|
||||||
polizei_nrw_waf Polizei NRW WAF Polizei Nordrhein-Westfalen Warendorf 51.9532449 7.9912335
|
|
||||||
polizei_nrw_wes Polizei NRW WES Polizei Nordrhein-Westfalen Wesel 51.6576909 6.617087
|
|
||||||
polizeiobn Polizei Oberbayern N Polizei Bayern Ingolstadt 48.7630165 11.4250395
|
|
||||||
polizeiobs PolizeiOberbayernSüd Polizei Bayern Rosenheim 47.8539273 12.127262
|
|
||||||
polizeiofr Polizei Oberfranken Polizei Bayern Oberfranken 50.0553084 11.5455233
|
|
||||||
polizeiog Polizei Offenburg Polizei Baden-Württemberg Offenburg 48.4716556 7.944378
|
|
||||||
polizei_oh Polizei Osthessen Polizei Hessen Fulda 50.5521486 9.676511
|
|
||||||
polizei_oha Polizei Osterode Polizei Niedersachsen Osterode am Harz 51.72784 10.2508204
|
|
||||||
polizei_ol Polizei Oldenburg-Stadt/Ammerland Polizei Niedersachsen Oldenburg 53.1389753 8.2146017
|
|
||||||
polizeiopf Polizei Oberpfalz Polizei Bayern Regensburg 49.0195333 12.0974869
|
|
||||||
polizei_os Polizei Osnabrück Polizei Niedersachsen Osnabrück 52.266837 8.049741
|
|
||||||
polizei_pf Polizei Pforzheim Polizei Baden-Württemberg Pforzheim 48.8908846 8.7029532
|
|
||||||
polizei_pp_nb Polizeipräsidium NB Polizeipräsidium Mecklenburg-Vorpommern Neubrandenburg 53.5574458 13.2602781
|
|
||||||
polizei_pp_ros Polizeipräsidium Rostock Polizeipräsidium Mecklenburg-Vorpommern Rostock 54.0924445 12.1286127
|
|
||||||
polizei_ps Polizei Pirmasens Polizei Rheinland-Pfalz Pirmasens 49.1996961 7.6087847
|
|
||||||
polizei_rostock Polizei Rostock Polizei Mecklenburg-Vorpommern Rostock 54.0924445 12.1286127
|
|
||||||
polizei_row Polizei Rotenburg Polizei Niedersachsen Rotenburg (Wümme) 53.2520924 9.3151133
|
|
||||||
polizeirt Polizei Reutlingen Polizei Baden-Württemberg Reutlingen 48.4919508 9.2114144
|
|
||||||
polizeirv Polizei Ravensburg Polizei Baden-Württemberg Ravensburg 47.7811014 9.612468
|
|
||||||
polizeisaarland Polizei Saarland Polizei Saarland Saarbrücken 49.234362 6.996379
|
|
||||||
polizeisachsen Polizei Sachsen Polizei Sachsen Dresden 51.0493286 13.7381437
|
|
||||||
polizei_sdl Polizei Stendal Polizei Sachsen-Anhalt Stendal 52.6050782 11.8594279
|
|
||||||
polizei_sn Polizei Schwerin Polizei Mecklenburg-Vorpommern Schwerin 53.6288297 11.4148038
|
|
||||||
polizei_soh Polizei Südosthessen Polizei Hessen Offenbach am Main 50.1055002 8.7610698
|
|
||||||
polizei_std Polizei Stade Polizei Niedersachsen Stade 53.599794 9.475438
|
|
||||||
polizei_sth Polizei Stadthagen Polizei Niedersachsen Stadthagen 52.3289688 9.2053496
|
|
||||||
polizei_suedhe Polizei Südhessen Polizei Hessen Darmstadt 49.872775 8.651177
|
|
||||||
polizeiswn Polizei Schwaben Nord Polizei Bayern Augsburg 48.3668041 10.8986971
|
|
||||||
polizeisws Polizei Schwaben S/W Polizei Bayern Kempten (Allgäu) 47.7267063 10.3168835
|
|
||||||
polizei_sz Polizei SZ / PE / WF Polizei Niedersachsen Salzgitter 52.1503721 10.3593147
|
|
||||||
polizei_thuer Polizei Thüringen Polizei Thüringen Erfurt 50.9777974 11.0287364
|
|
||||||
polizeitrier Polizei Trier Polizei Rheinland-Pfalz Trier 49.7596208 6.6441878
|
|
||||||
polizeiufr Polizei Unterfranken Polizei Bayern Würzburg 49.79245 9.932966
|
|
||||||
polizeiul Polizei Ulm Polizei Baden-Württemberg Ulm 48.3974003 9.9934336
|
|
||||||
polizei_ver_ohz Polizei Verden/Osterholz Polizei Niedersachsen Verden 52.922341 9.228153
|
|
||||||
polizeivg Polizei Vorpommern-Greifswald Polizei Mecklenburg-Vorpommern Anklam 53.8560526 13.688091
|
|
||||||
polizei_wh Polizei Westhessen Polizei Hessen Wiesbaden 50.0820384 8.2416556
|
|
||||||
polizei_whv_fri Polizei Wilhelmshaven/Friesland Polizei Niedersachsen Wilhelmshaven 53.5278793 8.106301
|
|
||||||
polizeiwittlich Polizei Wittlich Polizei Rheinland-Pfalz Wittlich 49.9850353 6.88844
|
|
||||||
polizei_wl Polizei LK Harburg Polizei Niedersachsen Harburg 53.3172237 9.9084936
|
|
||||||
polizei_wob Polizei Wolfsburg Polizei Niedersachsen Wolfsburg 52.4205588 10.7861682
|
|
||||||
polizei_zpd_ni Polizei ZPD NI Polizei Niedersachsen Hannover 52.3744779 9.7385532
|
|
||||||
pp_rheinpfalz Polizei Rheinpfalz Polizei Rheinland-Pfalz Ludwigshafen am Rhein 49.4704113 8.4381568
|
|
||||||
pp_stuttgart Polizei Stuttgart Polizei Baden-Württemberg Stuttgart 48.7784485 9.1800132
|
|
||||||
sh_polizei Polizei SH Polizei Schleswig-Holstein Kiel 54.3227085 10.135555
|
|
||||||
|
622
data/stopwords-de.txt
Normal file
622
data/stopwords-de.txt
Normal file
|
|
@ -0,0 +1,622 @@
|
||||||
|
a
|
||||||
|
ab
|
||||||
|
aber
|
||||||
|
ach
|
||||||
|
acht
|
||||||
|
achte
|
||||||
|
achten
|
||||||
|
achter
|
||||||
|
achtes
|
||||||
|
ag
|
||||||
|
alle
|
||||||
|
allein
|
||||||
|
allem
|
||||||
|
allen
|
||||||
|
aller
|
||||||
|
allerdings
|
||||||
|
alles
|
||||||
|
allgemeinen
|
||||||
|
als
|
||||||
|
also
|
||||||
|
am
|
||||||
|
an
|
||||||
|
ander
|
||||||
|
andere
|
||||||
|
anderem
|
||||||
|
anderen
|
||||||
|
anderer
|
||||||
|
anderes
|
||||||
|
anderm
|
||||||
|
andern
|
||||||
|
anderr
|
||||||
|
anders
|
||||||
|
au
|
||||||
|
auch
|
||||||
|
auf
|
||||||
|
aus
|
||||||
|
ausser
|
||||||
|
ausserdem
|
||||||
|
außer
|
||||||
|
außerdem
|
||||||
|
b
|
||||||
|
bald
|
||||||
|
bei
|
||||||
|
beide
|
||||||
|
beiden
|
||||||
|
beim
|
||||||
|
beispiel
|
||||||
|
bekannt
|
||||||
|
bereits
|
||||||
|
besonders
|
||||||
|
besser
|
||||||
|
besten
|
||||||
|
bin
|
||||||
|
bis
|
||||||
|
bisher
|
||||||
|
bist
|
||||||
|
c
|
||||||
|
d
|
||||||
|
d.h
|
||||||
|
da
|
||||||
|
dabei
|
||||||
|
dadurch
|
||||||
|
dafür
|
||||||
|
dagegen
|
||||||
|
daher
|
||||||
|
dahin
|
||||||
|
dahinter
|
||||||
|
damals
|
||||||
|
damit
|
||||||
|
danach
|
||||||
|
daneben
|
||||||
|
dank
|
||||||
|
dann
|
||||||
|
daran
|
||||||
|
darauf
|
||||||
|
daraus
|
||||||
|
darf
|
||||||
|
darfst
|
||||||
|
darin
|
||||||
|
darum
|
||||||
|
darunter
|
||||||
|
darüber
|
||||||
|
das
|
||||||
|
dasein
|
||||||
|
daselbst
|
||||||
|
dass
|
||||||
|
dasselbe
|
||||||
|
davon
|
||||||
|
davor
|
||||||
|
dazu
|
||||||
|
dazwischen
|
||||||
|
daß
|
||||||
|
dein
|
||||||
|
deine
|
||||||
|
deinem
|
||||||
|
deinen
|
||||||
|
deiner
|
||||||
|
deines
|
||||||
|
dem
|
||||||
|
dementsprechend
|
||||||
|
demgegenüber
|
||||||
|
demgemäss
|
||||||
|
demgemäß
|
||||||
|
demselben
|
||||||
|
demzufolge
|
||||||
|
den
|
||||||
|
denen
|
||||||
|
denn
|
||||||
|
denselben
|
||||||
|
der
|
||||||
|
deren
|
||||||
|
derer
|
||||||
|
derjenige
|
||||||
|
derjenigen
|
||||||
|
dermassen
|
||||||
|
dermaßen
|
||||||
|
derselbe
|
||||||
|
derselben
|
||||||
|
des
|
||||||
|
deshalb
|
||||||
|
desselben
|
||||||
|
dessen
|
||||||
|
deswegen
|
||||||
|
dich
|
||||||
|
die
|
||||||
|
diejenige
|
||||||
|
diejenigen
|
||||||
|
dies
|
||||||
|
diese
|
||||||
|
dieselbe
|
||||||
|
dieselben
|
||||||
|
diesem
|
||||||
|
diesen
|
||||||
|
dieser
|
||||||
|
dieses
|
||||||
|
dir
|
||||||
|
doch
|
||||||
|
dort
|
||||||
|
drei
|
||||||
|
drin
|
||||||
|
dritte
|
||||||
|
dritten
|
||||||
|
dritter
|
||||||
|
drittes
|
||||||
|
du
|
||||||
|
durch
|
||||||
|
durchaus
|
||||||
|
durfte
|
||||||
|
durften
|
||||||
|
dürfen
|
||||||
|
dürft
|
||||||
|
e
|
||||||
|
eben
|
||||||
|
ebenso
|
||||||
|
ehrlich
|
||||||
|
ei
|
||||||
|
ei,
|
||||||
|
eigen
|
||||||
|
eigene
|
||||||
|
eigenen
|
||||||
|
eigener
|
||||||
|
eigenes
|
||||||
|
ein
|
||||||
|
einander
|
||||||
|
eine
|
||||||
|
einem
|
||||||
|
einen
|
||||||
|
einer
|
||||||
|
eines
|
||||||
|
einig
|
||||||
|
einige
|
||||||
|
einigem
|
||||||
|
einigen
|
||||||
|
einiger
|
||||||
|
einiges
|
||||||
|
einmal
|
||||||
|
eins
|
||||||
|
elf
|
||||||
|
en
|
||||||
|
ende
|
||||||
|
endlich
|
||||||
|
entweder
|
||||||
|
er
|
||||||
|
ernst
|
||||||
|
erst
|
||||||
|
erste
|
||||||
|
ersten
|
||||||
|
erster
|
||||||
|
erstes
|
||||||
|
es
|
||||||
|
etwa
|
||||||
|
etwas
|
||||||
|
euch
|
||||||
|
euer
|
||||||
|
eure
|
||||||
|
eurem
|
||||||
|
euren
|
||||||
|
eurer
|
||||||
|
eures
|
||||||
|
f
|
||||||
|
folgende
|
||||||
|
früher
|
||||||
|
fünf
|
||||||
|
fünfte
|
||||||
|
fünften
|
||||||
|
fünfter
|
||||||
|
fünftes
|
||||||
|
für
|
||||||
|
g
|
||||||
|
gab
|
||||||
|
ganz
|
||||||
|
ganze
|
||||||
|
ganzen
|
||||||
|
ganzer
|
||||||
|
ganzes
|
||||||
|
gar
|
||||||
|
gedurft
|
||||||
|
gegen
|
||||||
|
gegenüber
|
||||||
|
gehabt
|
||||||
|
gehen
|
||||||
|
geht
|
||||||
|
gekannt
|
||||||
|
gekonnt
|
||||||
|
gemacht
|
||||||
|
gemocht
|
||||||
|
gemusst
|
||||||
|
genug
|
||||||
|
gerade
|
||||||
|
gern
|
||||||
|
gesagt
|
||||||
|
geschweige
|
||||||
|
gewesen
|
||||||
|
gewollt
|
||||||
|
geworden
|
||||||
|
gibt
|
||||||
|
ging
|
||||||
|
gleich
|
||||||
|
gott
|
||||||
|
gross
|
||||||
|
grosse
|
||||||
|
grossen
|
||||||
|
grosser
|
||||||
|
grosses
|
||||||
|
groß
|
||||||
|
große
|
||||||
|
großen
|
||||||
|
großer
|
||||||
|
großes
|
||||||
|
gut
|
||||||
|
gute
|
||||||
|
guter
|
||||||
|
gutes
|
||||||
|
h
|
||||||
|
hab
|
||||||
|
habe
|
||||||
|
haben
|
||||||
|
habt
|
||||||
|
hast
|
||||||
|
hat
|
||||||
|
hatte
|
||||||
|
hatten
|
||||||
|
hattest
|
||||||
|
hattet
|
||||||
|
heisst
|
||||||
|
her
|
||||||
|
heute
|
||||||
|
hier
|
||||||
|
hin
|
||||||
|
hinter
|
||||||
|
hoch
|
||||||
|
hätte
|
||||||
|
hätten
|
||||||
|
i
|
||||||
|
ich
|
||||||
|
ihm
|
||||||
|
ihn
|
||||||
|
ihnen
|
||||||
|
ihr
|
||||||
|
ihre
|
||||||
|
ihrem
|
||||||
|
ihren
|
||||||
|
ihrer
|
||||||
|
ihres
|
||||||
|
im
|
||||||
|
immer
|
||||||
|
in
|
||||||
|
indem
|
||||||
|
infolgedessen
|
||||||
|
ins
|
||||||
|
irgend
|
||||||
|
ist
|
||||||
|
j
|
||||||
|
ja
|
||||||
|
jahr
|
||||||
|
jahre
|
||||||
|
jahren
|
||||||
|
je
|
||||||
|
jede
|
||||||
|
jedem
|
||||||
|
jeden
|
||||||
|
jeder
|
||||||
|
jedermann
|
||||||
|
jedermanns
|
||||||
|
jedes
|
||||||
|
jedoch
|
||||||
|
jemand
|
||||||
|
jemandem
|
||||||
|
jemanden
|
||||||
|
jene
|
||||||
|
jenem
|
||||||
|
jenen
|
||||||
|
jener
|
||||||
|
jenes
|
||||||
|
jetzt
|
||||||
|
k
|
||||||
|
kam
|
||||||
|
kann
|
||||||
|
kannst
|
||||||
|
kaum
|
||||||
|
kein
|
||||||
|
keine
|
||||||
|
keinem
|
||||||
|
keinen
|
||||||
|
keiner
|
||||||
|
keines
|
||||||
|
kleine
|
||||||
|
kleinen
|
||||||
|
kleiner
|
||||||
|
kleines
|
||||||
|
kommen
|
||||||
|
kommt
|
||||||
|
konnte
|
||||||
|
konnten
|
||||||
|
kurz
|
||||||
|
können
|
||||||
|
könnt
|
||||||
|
könnte
|
||||||
|
l
|
||||||
|
lang
|
||||||
|
lange
|
||||||
|
leicht
|
||||||
|
leide
|
||||||
|
lieber
|
||||||
|
los
|
||||||
|
m
|
||||||
|
machen
|
||||||
|
macht
|
||||||
|
machte
|
||||||
|
mag
|
||||||
|
magst
|
||||||
|
mahn
|
||||||
|
mal
|
||||||
|
man
|
||||||
|
manche
|
||||||
|
manchem
|
||||||
|
manchen
|
||||||
|
mancher
|
||||||
|
manches
|
||||||
|
mann
|
||||||
|
mehr
|
||||||
|
mein
|
||||||
|
meine
|
||||||
|
meinem
|
||||||
|
meinen
|
||||||
|
meiner
|
||||||
|
meines
|
||||||
|
mensch
|
||||||
|
menschen
|
||||||
|
mich
|
||||||
|
mir
|
||||||
|
mit
|
||||||
|
mittel
|
||||||
|
mochte
|
||||||
|
mochten
|
||||||
|
morgen
|
||||||
|
muss
|
||||||
|
musst
|
||||||
|
musste
|
||||||
|
mussten
|
||||||
|
muß
|
||||||
|
mußt
|
||||||
|
möchte
|
||||||
|
mögen
|
||||||
|
möglich
|
||||||
|
mögt
|
||||||
|
müssen
|
||||||
|
müsst
|
||||||
|
müßt
|
||||||
|
n
|
||||||
|
na
|
||||||
|
nach
|
||||||
|
nachdem
|
||||||
|
nahm
|
||||||
|
natürlich
|
||||||
|
neben
|
||||||
|
nein
|
||||||
|
neue
|
||||||
|
neuen
|
||||||
|
neun
|
||||||
|
neunte
|
||||||
|
neunten
|
||||||
|
neunter
|
||||||
|
neuntes
|
||||||
|
nicht
|
||||||
|
nichts
|
||||||
|
nie
|
||||||
|
niemand
|
||||||
|
niemandem
|
||||||
|
niemanden
|
||||||
|
noch
|
||||||
|
nun
|
||||||
|
nur
|
||||||
|
o
|
||||||
|
ob
|
||||||
|
oben
|
||||||
|
oder
|
||||||
|
offen
|
||||||
|
oft
|
||||||
|
ohne
|
||||||
|
ordnung
|
||||||
|
p
|
||||||
|
q
|
||||||
|
r
|
||||||
|
recht
|
||||||
|
rechte
|
||||||
|
rechten
|
||||||
|
rechter
|
||||||
|
rechtes
|
||||||
|
richtig
|
||||||
|
rund
|
||||||
|
s
|
||||||
|
sa
|
||||||
|
sache
|
||||||
|
sagt
|
||||||
|
sagte
|
||||||
|
sah
|
||||||
|
satt
|
||||||
|
schlecht
|
||||||
|
schluss
|
||||||
|
schon
|
||||||
|
sechs
|
||||||
|
sechste
|
||||||
|
sechsten
|
||||||
|
sechster
|
||||||
|
sechstes
|
||||||
|
sehr
|
||||||
|
sei
|
||||||
|
seid
|
||||||
|
seien
|
||||||
|
sein
|
||||||
|
seine
|
||||||
|
seinem
|
||||||
|
seinen
|
||||||
|
seiner
|
||||||
|
seines
|
||||||
|
seit
|
||||||
|
seitdem
|
||||||
|
selbst
|
||||||
|
sich
|
||||||
|
sie
|
||||||
|
sieben
|
||||||
|
siebente
|
||||||
|
siebenten
|
||||||
|
siebenter
|
||||||
|
siebentes
|
||||||
|
sind
|
||||||
|
so
|
||||||
|
solang
|
||||||
|
solche
|
||||||
|
solchem
|
||||||
|
solchen
|
||||||
|
solcher
|
||||||
|
solches
|
||||||
|
soll
|
||||||
|
sollen
|
||||||
|
sollst
|
||||||
|
sollt
|
||||||
|
sollte
|
||||||
|
sollten
|
||||||
|
sondern
|
||||||
|
sonst
|
||||||
|
soweit
|
||||||
|
sowie
|
||||||
|
später
|
||||||
|
startseite
|
||||||
|
statt
|
||||||
|
steht
|
||||||
|
suche
|
||||||
|
t
|
||||||
|
tag
|
||||||
|
tage
|
||||||
|
tagen
|
||||||
|
tat
|
||||||
|
teil
|
||||||
|
tel
|
||||||
|
tritt
|
||||||
|
trotzdem
|
||||||
|
tun
|
||||||
|
u
|
||||||
|
uhr
|
||||||
|
um
|
||||||
|
und
|
||||||
|
uns
|
||||||
|
unse
|
||||||
|
unsem
|
||||||
|
unsen
|
||||||
|
unser
|
||||||
|
unsere
|
||||||
|
unserer
|
||||||
|
unses
|
||||||
|
unter
|
||||||
|
v
|
||||||
|
vergangenen
|
||||||
|
viel
|
||||||
|
viele
|
||||||
|
vielem
|
||||||
|
vielen
|
||||||
|
vielleicht
|
||||||
|
vier
|
||||||
|
vierte
|
||||||
|
vierten
|
||||||
|
vierter
|
||||||
|
viertes
|
||||||
|
vom
|
||||||
|
von
|
||||||
|
vor
|
||||||
|
w
|
||||||
|
wahr
|
||||||
|
wann
|
||||||
|
war
|
||||||
|
waren
|
||||||
|
warst
|
||||||
|
wart
|
||||||
|
warum
|
||||||
|
was
|
||||||
|
weg
|
||||||
|
wegen
|
||||||
|
weil
|
||||||
|
weit
|
||||||
|
weiter
|
||||||
|
weitere
|
||||||
|
weiteren
|
||||||
|
weiteres
|
||||||
|
welche
|
||||||
|
welchem
|
||||||
|
welchen
|
||||||
|
welcher
|
||||||
|
welches
|
||||||
|
wem
|
||||||
|
wen
|
||||||
|
wenig
|
||||||
|
wenige
|
||||||
|
weniger
|
||||||
|
weniges
|
||||||
|
wenigstens
|
||||||
|
wenn
|
||||||
|
wer
|
||||||
|
werde
|
||||||
|
werden
|
||||||
|
werdet
|
||||||
|
weshalb
|
||||||
|
wessen
|
||||||
|
wie
|
||||||
|
wieder
|
||||||
|
wieso
|
||||||
|
will
|
||||||
|
willst
|
||||||
|
wir
|
||||||
|
wird
|
||||||
|
wirklich
|
||||||
|
wirst
|
||||||
|
wissen
|
||||||
|
wo
|
||||||
|
woher
|
||||||
|
wohin
|
||||||
|
wohl
|
||||||
|
wollen
|
||||||
|
wollt
|
||||||
|
wollte
|
||||||
|
wollten
|
||||||
|
worden
|
||||||
|
wurde
|
||||||
|
wurden
|
||||||
|
während
|
||||||
|
währenddem
|
||||||
|
währenddessen
|
||||||
|
wäre
|
||||||
|
würde
|
||||||
|
würden
|
||||||
|
x
|
||||||
|
y
|
||||||
|
z
|
||||||
|
z.b
|
||||||
|
zehn
|
||||||
|
zehnte
|
||||||
|
zehnten
|
||||||
|
zehnter
|
||||||
|
zehntes
|
||||||
|
zeit
|
||||||
|
zu
|
||||||
|
zuerst
|
||||||
|
zugleich
|
||||||
|
zum
|
||||||
|
zunächst
|
||||||
|
zur
|
||||||
|
zurück
|
||||||
|
zusammen
|
||||||
|
zwanzig
|
||||||
|
zwar
|
||||||
|
zwei
|
||||||
|
zweite
|
||||||
|
zweiten
|
||||||
|
zweiter
|
||||||
|
zweites
|
||||||
|
zwischen
|
||||||
|
zwölf
|
||||||
|
über
|
||||||
|
überhaupt
|
||||||
|
übrigens
|
||||||
|
http
|
||||||
|
https
|
||||||
|
|
@ -2,16 +2,30 @@ import pandas as pd
|
||||||
import numpy as np
|
import numpy as np
|
||||||
from sklearn.feature_extraction.text import TfidfVectorizer
|
from sklearn.feature_extraction.text import TfidfVectorizer
|
||||||
import pickle
|
import pickle
|
||||||
|
import sys
|
||||||
|
|
||||||
tweet_path = "data/tweets_all_combined.csv"
|
tweet_path = "data/tweets_all_combined.csv"
|
||||||
tfidf_matrix_path = "data/tfidf_matrix.pckl"
|
tfidf_matrix_path = "data/tfidf_matrix.pckl"
|
||||||
tfidf_vectorizer_path = "data/tfidf_vectorizer.pckl"
|
tfidf_vectorizer_path = "data/tfidf_vectorizer.pckl"
|
||||||
relevancy_score_path = "data/tweet_relevance.json"
|
relevancy_score_path = "data/tweet_relevance.json"
|
||||||
|
stopwords_path = "data/stopwords-de.txt"
|
||||||
|
|
||||||
|
print("Reading in stopwords")
|
||||||
|
with open(stopwords_path, "r") as f:
|
||||||
|
stopwords = f.read()
|
||||||
|
|
||||||
|
stopword_list = stopwords.split("\n")
|
||||||
|
stopword_list = list(filter(lambda x: len(x) > 0, stopword_list))
|
||||||
|
|
||||||
|
|
||||||
print("Creating TFIDF Matrix")
|
print("Creating TFIDF Matrix")
|
||||||
tweets = pd.read_csv(tweet_path)
|
tweets = pd.read_csv(tweet_path)
|
||||||
vectorizer = TfidfVectorizer()
|
vectorizer = TfidfVectorizer(lowercase=True,
|
||||||
# TODO: we could stem or lemma the words as preprocessing, but maybe this is not needed?
|
analyzer="word",
|
||||||
|
stop_words=stopword_list,
|
||||||
|
ngram_range=(1, 3),
|
||||||
|
max_df=0.8)
|
||||||
|
|
||||||
model = vectorizer.fit_transform([x.lower() for x in tweets["tweet_text"]])
|
model = vectorizer.fit_transform([x.lower() for x in tweets["tweet_text"]])
|
||||||
|
|
||||||
print("Saving TFIDF Matrix")
|
print("Saving TFIDF Matrix")
|
||||||
|
|
@ -27,9 +41,11 @@ like_count_weight = 1.0
|
||||||
retweet_count_weight = 1.0
|
retweet_count_weight = 1.0
|
||||||
reply_count_weight = 1.0
|
reply_count_weight = 1.0
|
||||||
quote_count_weight = 1.0
|
quote_count_weight = 1.0
|
||||||
tweets["relevance_score"] = np.log(1 + (tweets["like_count"] * like_count_weight) + (tweets["retweet_count"] * retweet_count_weight) + (tweets["reply_count"] * reply_count_weight) + (tweets["quote_count"] * quote_count_weight))
|
tweets["relevance_score"] = np.log(1 + (tweets["like_count"] * like_count_weight) + (tweets["retweet_count"] *
|
||||||
|
retweet_count_weight) + (tweets["reply_count"] * reply_count_weight) + (tweets["quote_count"] * quote_count_weight))
|
||||||
|
|
||||||
print("Saving relevance_scores as csv")
|
print("Saving relevance_scores as csv")
|
||||||
with open(relevancy_score_path, "w") as f:
|
with open(relevancy_score_path, "w") as f:
|
||||||
# we have the case that some metrics like like_count can be -1, the relevancy score therefore is NaN -> so we store it as '1.0'
|
# we have the case that some metrics like like_count can be -1, the relevancy score therefore is NaN -> so we store it as '1.0'
|
||||||
tweets[["tweet_id", "relevance_score"]].to_csv(relevancy_score_path, header=True, index=False, na_rep=1.0)
|
tweets[["tweet_id", "relevance_score"]].to_csv(
|
||||||
|
relevancy_score_path, header=True, index=False, na_rep=1.0)
|
||||||
|
|
|
||||||
Loading…
Reference in a new issue