Göm menyn

729G09 Språkvetenskaplig databehandling

Laboration 1


Obs! Kom ihåg att registrera er på kursens WebReg senast vid första labtillfället.

 

729G09 Laboration 1

Laboration 1 - Textbearbetning med reguljära uttryck i Python

Inledning

I denna laboration kommer ni få göra enklare bearbetningar av text. En textbearbetning kan vara något så enkelt som att välja ut alla rader i en text som innehåller ett givet ord, eller att dela upp en text så att varje ord kommer på en egen rad.

Att bearbeta stora textmassor är ofta ett bra sätt att lära sig mer om språket. Det är först när man tar text från verkliga sammanhang, som man ser hur språket faktiskt används, och man måste ta stora textmassor för att kunna se några upprepade mönster.

Efter Laboration 1 ska du:

  • kunna skriva och använda reguljära uttryck,
  • bearbeta och söka i textuella data genom att använda reguljära uttryck i Python

 

Förberedelser

Vi kommer att använda Python-modulen re för att bearbeta text med reguljära uttryck. re-modulen innehåller många användbara funktioner men vi koncentrerar oss här på tre funktioner:

regex = re.compile(r'reguljärt uttryck', re.L)

Skapar ett mönster från ett reguljärt uttryck.

regex.findall(text) och regex.finditer(text)

Returnernar en lista på alla matchningar av mönstret regex i strängen text.

regex.sub(r'ersättningsuttryck', text)

Returnerar en textsträng där alla förekomster av mönstret regex i strängen texten har bytts ut mot innehållet i ersättningsuttrycket.
Exempel:
Raden regex.sub(r'1999', text) byter ut strängar som matchar regex mot "1999" i strängen text.

Mer information om reguljära uttryck i Python hittar ni här:

Om du behöver hjälp med Linuxmiljön kan följande Lathund för UNIX vara till hjälp.

Om dina script inte beter sig som du förväntar dig kan det bero på teckenkodningen. Du bör därför vara nogrrann med vilken teckenkodning dina textfiler använder. Läs mer om teckenkodning här: Teckenkodning.

 

Uppgifterna ska lösas med reguljära uttryck i Python.

Börja med att öppna ett terminalfönster och förflytta er till er arbetskatalog. Kopiera program och texter dit genom att, när du står där, skriva (OBS! två argument varav det sista är en punkt):

cp ~729G09/www-pub/vt16/Lab1/* .

Ni ska nu ha två nya filer i katalogen: lab1.py, webbtext.txt och fikon.txt.

Använd valfri textredigerare för att ändra i programmen t.ex. Gedit eller Emacs.

Lösningarna ska vara tillräckligt generella för att kunna köras på en annan text än labbtexten med jämförbart resultat. Lösningarna måste också vara lingvistiskt korrekta. Denna del examineras och era lösningar ska lämnas in enligt beskrivningen längst ner på sidan.

 

Tips

Testa!
När du väl sitter vid datorn så är det bara att testa som gäller. För att verkligen förstå vad ditt reguljära uttryck gör kan det vara användbart att skriva en egen kortare textfil att köra på. Med en kortare text är det lättare att identifiera och avhjälpa eventuella fel.

Studera utdata!
Glöm inte att studera det resultat du får ut! Om du t.ex. ska dela upp en text i meningar kan det vara värt att ta en extra titt på utdata för att vara säker på att det verkligen bara är en mening på varje rad. Det kan vara svårt att tänka ut alla möjliga undantagsfall i förväg, därför måste man noga studera det material man har!

Självstudier! Pröva att spela Regex Golf.

 

Uppgifter

Till uppgifterna används texten webbtext.txt som är en obehandlad text. Inlämnad kod ska ska följa kodstandard.

  1. Hitta alla ord som består av exakt 3 bokstäver i texten.
  2. Hitta alla ord med ändelsen 'iga' i texten.
  3. Hitta alla ord som innehåller 4 konsonanter i följd.
  4. Hitta alla tvåstaviga ord: ord som innehåller exakt två stavelser i texten.
  5. Hitta alla förekomster av böjningsformer av ordet 'historia'.
  6. Gör om texten till i-språket. Alla vokaler ska bytas ut mot bokstaven 'i'. Använd sub.
  7. Dela upp texten så att enskilda ord står på olika rader, dvs. ett ord per rad, och även så att skiljetecken: . , : ! också står på egna rader. Lagra resultatet i en separat textfil.
  8. Hitta alla formuleringar i texten som kan vara en fristående bestämd artikel följt av ett adjektiv i superlativ form. TIPS! Det kan ibland vara lättare att se att det verkligen är ett adjektiv i superlativ form om ni också skriver ut ordet efter (vanligtvis ett substantiv).
  9. Dela upp texten i meningar, dvs. en mening per rad. Er definition av 'mening' ska vara lingvistiskt godtagbar. Snygga till det så att det inte finns några blankrader eller "onödiga" blanktecken kvar i början av meningen. Resultatet skrivs till en separat textfil.
  10. Hitta ord som är sannolika egennamn: dvs., ord som börjar med stor bokstav och inte står först i en mening. Tips! Ett sätt att lösa denna uppgift är att först dela upp texten i meningar, så att det går lättare att kontrollera om ordet står i början av meningen eller inte. Om er meningsuppdelning från tidigare uppgift är felaktig bör ni kunna se detta när ni studerar era egennamn.
  11. Översätt texten till Fikonspråket. Skalkoden innehåller tips för hur omskrivningar kan se ut, men ni kan också se att ni har en omskriven text fikon.txt som ni kan använda för att förstå hur fikonspråket kan fungera. Det är upp till er själva att välja hur ni hanterar ord såsom '1989' och 'i'.
  12. Plocka ut treordiga nominalfraser i bestämd form från texten, analogt med den gröna hatten, det röda huset, den villrådige mannen, den rasande hettan, de gräsätande korna, osv. Nominalfraserna ska vara uppbyggda av en bestämd artikel, exakt ett adjektiv eller particip i bestämd form följt av ett substantiv i bestämd form. Tips: Resultatet ska innehålla 27 fraser. Utskrifterna ska INTE innehålla 'det trånga rummets' eller 'den hela livet'. Ni kan skriva flera mönster för att lösa uppgiften.

 

Redovisning av uppgifter

Skicka din inlämning via epost till 729G09@ida.liu.se. Meddelandets ämnesrad ska ha följande form:

Lab1 LiU-ID 1 LiU-ID 2 [saral29]

Bifoga
  • Skriptet Lab1-[studentid1]-[studentid2].py som innehåller de ändrade delarna av skelettkoden för de uppgifter ni löst.
  • För uppgift 7 och 9 bifogas resulterande textfil. Filen ska heta uppgift[uppgiftsnummer]-[studentid1]-[studentid2].txt

 

Examinering & Deadline

För betyget G krävs minst 8 godkända lösningar. För betyget VG krävs att du löst alla 12 uppgifterna med godkänt resultat. Ange vid inlämningen om du siktar på VG.

Deadline: 2016-04-08


Sidansvarig: Marco Kuhlmann
Senast uppdaterad: 2016-04-04