stopwords.py 16 KB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211212213214215216217218219220221222223224225226227228229230231232233234235236237238239240241242243244245246247248249250251252253254255256257258259260261262263264265266267268269270271272273274275276277278279280281282283284285
  1. # coding=utf-8
  2. from __future__ import unicode_literals
  3. # Stopwords Corpus
  4. #
  5. # This module contains lists of stop words for several languages. These
  6. # are high-frequency grammatical words which are usually ignored in text
  7. # retrieval applications.
  8. #
  9. # They were obtained from:
  10. # anoncvs.postgresql.org/cvsweb.cgi/pgsql/src/backend/snowball/stopwords/
  11. # =====
  12. # This module was generated from the original files using the following script
  13. #import os.path
  14. #import textwrap
  15. #
  16. #names = os.listdir("stopwords")
  17. #for name in names:
  18. # f = open("stopwords/" + name)
  19. # wordls = [line.strip() for line in f]
  20. # words = " ".join(wordls)
  21. # print '"%s": frozenset(u"""' % name
  22. # print textwrap.fill(words, 72)
  23. # print '""".split())'
  24. # print
  25. stoplists = {
  26. "da": frozenset("""
  27. og i jeg det at en den til er som på de med han af for ikke der var mig
  28. sig men et har om vi min havde ham hun nu over da fra du ud sin dem os
  29. op man hans hvor eller hvad skal selv her alle vil blev kunne ind når
  30. være dog noget ville jo deres efter ned skulle denne end dette mit
  31. også under have dig anden hende mine alt meget sit sine vor mod disse
  32. hvis din nogle hos blive mange ad bliver hendes været thi jer sådan
  33. """.split()),
  34. "nl": frozenset("""
  35. de en van ik te dat die in een hij het niet zijn is was op aan met als
  36. voor had er maar om hem dan zou of wat mijn men dit zo door over ze zich
  37. bij ook tot je mij uit der daar haar naar heb hoe heeft hebben deze u
  38. want nog zal me zij nu ge geen omdat iets worden toch al waren veel meer
  39. doen toen moet ben zonder kan hun dus alles onder ja eens hier wie werd
  40. altijd doch wordt wezen kunnen ons zelf tegen na reeds wil kon niets uw
  41. iemand geweest andere
  42. """.split()),
  43. "en": frozenset("""
  44. i me my myself we our ours ourselves you your yours yourself yourselves
  45. he him his himself she her hers herself it its itself they them their
  46. theirs themselves what which who whom this that these those am is are
  47. was were be been being have has had having do does did doing a an the
  48. and but if or because as until while of at by for with about against
  49. between into through during before after above below to from up down in
  50. out on off over under again further then once here there when where why
  51. how all any both each few more most other some such no nor not only own
  52. same so than too very s t can will just don should now
  53. """.split()),
  54. "fi": frozenset("""
  55. olla olen olet on olemme olette ovat ole oli olisi olisit olisin
  56. olisimme olisitte olisivat olit olin olimme olitte olivat ollut olleet
  57. en et ei emme ette eivät minä minun minut minua minussa minusta minuun
  58. minulla minulta minulle sinä sinun sinut sinua sinussa sinusta sinuun
  59. sinulla sinulta sinulle hän hänen hänet häntä hänessä hänestä
  60. häneen hänellä häneltä hänelle me meidän meidät meitä meissä
  61. meistä meihin meillä meiltä meille te teidän teidät teitä teissä
  62. teistä teihin teillä teiltä teille he heidän heidät heitä heissä
  63. heistä heihin heillä heiltä heille tämä tämän tätä tässä
  64. tästä tähän tallä tältä tälle tänä täksi tuo tuon tuotä
  65. tuossa tuosta tuohon tuolla tuolta tuolle tuona tuoksi se sen sitä
  66. siinä siitä siihen sillä siltä sille sinä siksi nämä näiden
  67. näitä näissä näistä näihin näillä näiltä näille näinä
  68. näiksi nuo noiden noita noissa noista noihin noilla noilta noille noina
  69. noiksi ne niiden niitä niissä niistä niihin niillä niiltä niille
  70. niinä niiksi kuka kenen kenet ketä kenessä kenestä keneen kenellä
  71. keneltä kenelle kenenä keneksi ketkä keiden ketkä keitä keissä
  72. keistä keihin keillä keiltä keille keinä keiksi mikä minkä minkä
  73. mitä missä mistä mihin millä miltä mille minä miksi mitkä joka
  74. jonka jota jossa josta johon jolla jolta jolle jona joksi jotka joiden
  75. joita joissa joista joihin joilla joilta joille joina joiksi että ja
  76. jos koska kuin mutta niin sekä sillä tai vaan vai vaikka kanssa mukaan
  77. noin poikki yli kun niin nyt itse
  78. """.split()),
  79. "fr": frozenset("""
  80. au aux avec ce ces dans de des du elle en et eux il je la le leur lui ma
  81. mais me même mes moi mon ne nos notre nous on ou par pas pour qu que
  82. qui sa se ses son sur ta te tes toi ton tu un une vos votre vous c d j l
  83. à m n s t y été étée étées étés étant étante étants étantes
  84. suis es est sommes êtes sont serai seras sera serons serez seront
  85. serais serait serions seriez seraient étais était étions étiez
  86. étaient fus fut fûmes fûtes furent sois soit soyons soyez soient
  87. fusse fusses fût fussions fussiez fussent ayant ayante ayantes ayants
  88. eu eue eues eus ai as avons avez ont aurai auras aura aurons aurez
  89. auront aurais aurait aurions auriez auraient avais avait avions aviez
  90. avaient eut eûmes eûtes eurent aie aies ait ayons ayez aient eusse
  91. eusses eût eussions eussiez eussent
  92. """.split()),
  93. "de": frozenset("""
  94. aber alle allem allen aller alles als also am an ander andere anderem
  95. anderen anderer anderes anderm andern anderr anders auch auf aus bei bin
  96. bis bist da damit dann der den des dem die das daß derselbe derselben
  97. denselben desselben demselben dieselbe dieselben dasselbe dazu dein
  98. deine deinem deinen deiner deines denn derer dessen dich dir du dies
  99. diese diesem diesen dieser dieses doch dort durch ein eine einem einen
  100. einer eines einig einige einigem einigen einiger einiges einmal er ihn
  101. ihm es etwas euer eure eurem euren eurer eures für gegen gewesen hab
  102. habe haben hat hatte hatten hier hin hinter ich mich mir ihr ihre ihrem
  103. ihren ihrer ihres euch im in indem ins ist jede jedem jeden jeder jedes
  104. jene jenem jenen jener jenes jetzt kann kein keine keinem keinen keiner
  105. keines können könnte machen man manche manchem manchen mancher manches
  106. mein meine meinem meinen meiner meines mit muss musste nach nicht nichts
  107. noch nun nur ob oder ohne sehr sein seine seinem seinen seiner seines
  108. selbst sich sie ihnen sind so solche solchem solchen solcher solches
  109. soll sollte sondern sonst über um und uns unse unsem unsen unser unses
  110. unter viel vom von vor während war waren warst was weg weil weiter
  111. welche welchem welchen welcher welches wenn werde werden wie wieder will
  112. wir wird wirst wo wollen wollte würde würden zu zum zur zwar zwischen
  113. """.split()),
  114. "hu": frozenset("""
  115. a ahogy ahol aki akik akkor alatt által általában amely amelyek
  116. amelyekben amelyeket amelyet amelynek ami amit amolyan amíg amikor át
  117. abban ahhoz annak arra arról az azok azon azt azzal azért aztán
  118. azután azonban bár be belül benne cikk cikkek cikkeket csak de e
  119. eddig egész egy egyes egyetlen egyéb egyik egyre ekkor el elég ellen
  120. elõ elõször elõtt elsõ én éppen ebben ehhez emilyen ennek erre ez
  121. ezt ezek ezen ezzel ezért és fel felé hanem hiszen hogy hogyan igen
  122. így illetve ill. ill ilyen ilyenkor ison ismét itt jó jól jobban
  123. kell kellett keresztül keressünk ki kívül között közül legalább
  124. lehet lehetett legyen lenne lenni lesz lett maga magát majd majd már
  125. más másik meg még mellett mert mely melyek mi mit míg miért milyen
  126. mikor minden mindent mindenki mindig mint mintha mivel most nagy nagyobb
  127. nagyon ne néha nekem neki nem néhány nélkül nincs olyan ott össze
  128. õ õk õket pedig persze rá s saját sem semmi sok sokat sokkal
  129. számára szemben szerint szinte talán tehát teljes tovább továbbá
  130. több úgy ugyanis új újabb újra után utána utolsó vagy vagyis
  131. valaki valami valamint való vagyok van vannak volt voltam voltak
  132. voltunk vissza vele viszont volna
  133. """.split()),
  134. "it": frozenset("""
  135. ad al allo ai agli all agl alla alle con col coi da dal dallo dai dagli
  136. dall dagl dalla dalle di del dello dei degli dell degl della delle in
  137. nel nello nei negli nell negl nella nelle su sul sullo sui sugli sull
  138. sugl sulla sulle per tra contro io tu lui lei noi voi loro mio mia miei
  139. mie tuo tua tuoi tue suo sua suoi sue nostro nostra nostri nostre vostro
  140. vostra vostri vostre mi ti ci vi lo la li le gli ne il un uno una ma ed
  141. se perché anche come dov dove che chi cui non più quale quanto quanti
  142. quanta quante quello quelli quella quelle questo questi questa queste si
  143. tutto tutti a c e i l o ho hai ha abbiamo avete hanno abbia abbiate
  144. abbiano avrò avrai avrà avremo avrete avranno avrei avresti avrebbe
  145. avremmo avreste avrebbero avevo avevi aveva avevamo avevate avevano ebbi
  146. avesti ebbe avemmo aveste ebbero avessi avesse avessimo avessero avendo
  147. avuto avuta avuti avute sono sei è siamo siete sia siate siano sarò
  148. sarai sarà saremo sarete saranno sarei saresti sarebbe saremmo sareste
  149. sarebbero ero eri era eravamo eravate erano fui fosti fu fummo foste
  150. furono fossi fosse fossimo fossero essendo faccio fai facciamo fanno
  151. faccia facciate facciano farò farai farà faremo farete faranno farei
  152. faresti farebbe faremmo fareste farebbero facevo facevi faceva facevamo
  153. facevate facevano feci facesti fece facemmo faceste fecero facessi
  154. facesse facessimo facessero facendo sto stai sta stiamo stanno stia
  155. stiate stiano starò starai starà staremo starete staranno starei
  156. staresti starebbe staremmo stareste starebbero stavo stavi stava stavamo
  157. stavate stavano stetti stesti stette stemmo steste stettero stessi
  158. stesse stessimo stessero stando
  159. """.split()),
  160. "no": frozenset("""
  161. og i jeg det at en et den til er som på de med han av ikke ikkje der
  162. så var meg seg men ett har om vi min mitt ha hadde hun nå over da ved
  163. fra du ut sin dem oss opp man kan hans hvor eller hva skal selv sjøl
  164. her alle vil bli ble blei blitt kunne inn når være kom noen noe ville
  165. dere som deres kun ja etter ned skulle denne for deg si sine sitt mot å
  166. meget hvorfor dette disse uten hvordan ingen din ditt blir samme hvilken
  167. hvilke sånn inni mellom vår hver hvem vors hvis både bare enn fordi
  168. før mange også slik vært være båe begge siden dykk dykkar dei deira
  169. deires deim di då eg ein eit eitt elles honom hjå ho hoe henne hennar
  170. hennes hoss hossen ikkje ingi inkje korleis korso kva kvar kvarhelst
  171. kven kvi kvifor me medan mi mine mykje no nokon noka nokor noko nokre si
  172. sia sidan so somt somme um upp vere vore verte vort varte vart
  173. """.split()),
  174. "pt": frozenset("""
  175. de a o que e do da em um para com não uma os no se na por mais as dos
  176. como mas ao ele das à seu sua ou quando muito nos já eu também só
  177. pelo pela até isso ela entre depois sem mesmo aos seus quem nas me esse
  178. eles você essa num nem suas meu às minha numa pelos elas qual nós lhe
  179. deles essas esses pelas este dele tu te vocês vos lhes meus minhas teu
  180. tua teus tuas nosso nossa nossos nossas dela delas esta estes estas
  181. aquele aquela aqueles aquelas isto aquilo estou está estamos estão
  182. estive esteve estivemos estiveram estava estávamos estavam estivera
  183. estivéramos esteja estejamos estejam estivesse estivéssemos estivessem
  184. estiver estivermos estiverem hei há havemos hão houve houvemos
  185. houveram houvera houvéramos haja hajamos hajam houvesse houvéssemos
  186. houvessem houver houvermos houverem houverei houverá houveremos
  187. houverão houveria houveríamos houveriam sou somos são era éramos
  188. eram fui foi fomos foram fora fôramos seja sejamos sejam fosse
  189. fôssemos fossem for formos forem serei será seremos serão seria
  190. seríamos seriam tenho tem temos tém tinha tínhamos tinham tive teve
  191. tivemos tiveram tivera tivéramos tenha tenhamos tenham tivesse
  192. tivéssemos tivessem tiver tivermos tiverem terei terá teremos terão
  193. teria teríamos teriam
  194. """.split()),
  195. "ru": frozenset("""
  196. и в во не что он на я с со как а то все она
  197. так его но да ты к у же вы за бы по только
  198. ее мне было вот от меня еще нет о из ему
  199. теперь когда даже ну вдруг ли если уже
  200. или ни быть был него до вас нибудь опять
  201. уж вам ведь там потом себя ничего ей
  202. может они тут где есть надо ней для мы
  203. тебя их чем была сам чтоб без будто чего
  204. раз тоже себе под будет ж тогда кто этот
  205. того потому этого какой совсем ним
  206. здесь этом один почти мой тем чтобы нее
  207. сейчас были куда зачем всех никогда
  208. можно при наконец два об другой хоть
  209. после над больше тот через эти нас про
  210. всего них какая много разве три эту моя
  211. впрочем хорошо свою этой перед иногда
  212. лучше чуть том нельзя такой им более
  213. всегда конечно всю между
  214. """.split()),
  215. "es": frozenset("""
  216. de la que el en y a los del se las por un para con no una su al lo como
  217. más pero sus le ya o este sí porque esta entre cuando muy sin sobre
  218. también me hasta hay donde quien desde todo nos durante todos uno les
  219. ni contra otros ese eso ante ellos e esto mí antes algunos qué unos yo
  220. otro otras otra él tanto esa estos mucho quienes nada muchos cual poco
  221. ella estar estas algunas algo nosotros mi mis tú te ti tu tus ellas
  222. nosotras vosostros vosostras os mío mía míos mías tuyo tuya tuyos
  223. tuyas suyo suya suyos suyas nuestro nuestra nuestros nuestras vuestro
  224. vuestra vuestros vuestras esos esas estoy estás está estamos estáis
  225. están esté estés estemos estéis estén estaré estarás estará
  226. estaremos estaréis estarán estaría estarías estaríamos estaríais
  227. estarían estaba estabas estábamos estabais estaban estuve estuviste
  228. estuvo estuvimos estuvisteis estuvieron estuviera estuvieras
  229. estuviéramos estuvierais estuvieran estuviese estuvieses estuviésemos
  230. estuvieseis estuviesen estando estado estada estados estadas estad he
  231. has ha hemos habéis han haya hayas hayamos hayáis hayan habré habrás
  232. habrá habremos habréis habrán habría habrías habríamos habríais
  233. habrían había habías habíamos habíais habían hube hubiste hubo
  234. hubimos hubisteis hubieron hubiera hubieras hubiéramos hubierais
  235. hubieran hubiese hubieses hubiésemos hubieseis hubiesen habiendo habido
  236. habida habidos habidas soy eres es somos sois son sea seas seamos seáis
  237. sean seré serás será seremos seréis serán sería serías seríamos
  238. seríais serían era eras éramos erais eran fui fuiste fue fuimos
  239. fuisteis fueron fuera fueras fuéramos fuerais fueran fuese fueses
  240. fuésemos fueseis fuesen sintiendo sentido sentida sentidos sentidas
  241. siente sentid tengo tienes tiene tenemos tenéis tienen tenga tengas
  242. tengamos tengáis tengan tendré tendrás tendrá tendremos tendréis
  243. tendrán tendría tendrías tendríamos tendríais tendrían tenía
  244. tenías teníamos teníais tenían tuve tuviste tuvo tuvimos tuvisteis
  245. tuvieron tuviera tuvieras tuviéramos tuvierais tuvieran tuviese
  246. tuvieses tuviésemos tuvieseis tuviesen teniendo tenido tenida tenidos
  247. tenidas tened
  248. """.split()),
  249. "sv": frozenset("""
  250. och det att i en jag hon som han på den med var sig för så till är
  251. men ett om hade de av icke mig du henne då sin nu har inte hans honom
  252. skulle hennes där min man ej vid kunde något från ut när efter upp
  253. vi dem vara vad över än dig kan sina här ha mot alla under någon
  254. eller allt mycket sedan ju denna själv detta åt utan varit hur ingen
  255. mitt ni bli blev oss din dessa några deras blir mina samma vilken er
  256. sådan vår blivit dess inom mellan sådant varför varje vilka ditt vem
  257. vilket sitta sådana vart dina vars vårt våra ert era vilkas
  258. """.split()),
  259. "tr": frozenset("""
  260. acaba ama aslında az bazı belki biri birkaç birşey biz bu çok
  261. çünkü da daha de defa diye eğer en gibi hem hep hepsi her hiç için
  262. ile ise kez ki kim mı mu mü nasıl ne neden nerde nerede nereye niçin
  263. niye o sanki şey siz şu tüm ve veya ya yani
  264. """.split()),
  265. }