729G09 Språkvetenskaplig databehandling

Lab 1

Laboration 1 - Textbearbetning med reguljära uttryck

Inledning

I denna laboration kommer ni få göra enklare bearbetningar av text. En textbearbetning kan vara något så enkelt som att välja ut alla rader i en text som innehåller ett givet ord, eller att dela upp en text så att varje ord kommer på en egen rad.

Att bearbeta stora textmassor är ofta ett bra sätt att lära sig mer om språket. Det är först när man tar text från verkliga sammanhang, som man ser hur språket faktiskt används, och man måste ta stora textmassor för att kunna se några upprepade mönster.

Efter Laboration 1 ska du:

• kunna skriva och använda reguljära uttryck,
• bearbeta och söka i textuella data genom att använda reguljära uttryck i Python

Förberedelser

Vi kommer att använda Python-modulen re för att bearbeta text med reguljära uttryck. re-modulen innehåller många användbara funktioner men vi koncentrerar oss här på tre funktioner:

regex = re.compile(r'reguljärt uttryck', re.L)	Skapar ett mönster från ett reguljärt uttryck.
regex.findall(text) och regex.findinter(text)	Returnernar en lista på alla matchningar av mönstret regexp i strängen text.
regex.sub(r'ersättningsuttryck', text)	Returnerar en textsträng där alla förekomster av mönstret regexp i strängen texten har bytts ut mot innehållet i ersättningsuttrycket. Exempel: Raden regex.sub(r'1999', text) byter ut regexp mot "1999" i strängen text.

Mer information om reguljära uttryck i Python hittar ni här:

• Kap. 7 i Programmering i Python
• OH-bilderna från lektion 1.
• re-modulen i den officiella Python-dokumentationen.

Laborationen förutsätter också att du förstår hur reguljära uttryck fungerar. Du kan läsa mer om reguljära uttryck här:

• Introduktion till reguljära uttryck

Gå noggrant igenom alla exemplen, så att du förstår principerna för hur reguljära uttryck är uppbyggda och vad de matchar. Det finns också en lathund för reguljära uttryck som kan vara användbar:

• Lathund till reguljära uttryck

Tips för felsökning

Testa!
När du väl sitter vid datorn så är det bara att testa som gäller. För att verkligen förstå vad ditt reguljära uttryck gör kan det vara användbart att skriva en egen kortare text att köra på, antingen i redemo.py eller i en textfil som indata till ditt eget pythonscript. Med en kortare text är det lättare att identifiera och avhjälpa eventuella fel.

Studera utdata!
Glöm inte att studera det resultat du får ut! Om du t.ex. ska dela upp en text i meningar kan det vara värt att ta en extra titt på utdata för att vara säker på att det verkligen bara är en mening på varje rad. Det kan vara svårt att tänka ut alla möjliga undantagsfall i förväg, därför måste man noga studera det material man har!

Textbearbetning

Uppgifterna ska lösas med reguljära uttryck i Python. Till er hjälp har ni två enkla program i Python som ni kan bygga vidare på. Programmet script_find.py letar efter en sträng i en text och skriver ut alla matchningar på skärmen. Programmet script_sub.py letar upp alla förekomster av ett sökuttryck och ersätter dessa med något annat.

Använd valfri textredigerare för att ändra i programmen t.ex. Gedit eller Emacs. För att köra programmet kan ni öppna ett terminalfönster, förflytta er till er arbetskatalog och skriv:

python script_find.py

Om du vill kan du ladda ner programmet redemo.py till din arbetskatalog. Med redemo.py kan du testa dina reguljära uttryck interaktivt för att se vad de matchar.

Lösningarna ska vara tillräckligt generella för att kunna köras på en annan text än labbtexten med jämförbart resultat. Lösningarna måste också vara lingvistiskt korrekta. Denna del examineras och era lösningar ska lämnas in enligt beskrivningen längst ner på sidan.

Uppgifter

Till uppgifterna används texten webbtext.txt som är en obehandlad text.

1. Hitta alla ord som består av exakt 3 bokstäver i texten.
2. Hitta alla ord med ändelsen 'ska' i texten
3. Hitta alla ord som innehåller 4 konsonanter i följd
4. Hitta alla tvåstaviga ord: ord som innehåller exakt två stavelser i texten
5. Hitta alla böjningsformer av ordet 'historia'.
6. Gör om texten till o-språket. Alla vokaler ska bytas ut mot bokstaven ”o”. Använd sub.
7. Gör om texten till småländska ! Byt ut alla ”r”-ljud i texten mot ”eu”. För att göra detta måste du använda sub.
8. Tokenisera texten. Det innebär att man delar upp texten så att enskilda ord står på olika rader, dvs. ett ord per rad, och även så att skiljetecken: . , : ! också står på egna rader.
9. Hitta alla formuleringar i texten som kan vara en fristående bestämd artikel följt av ett adjektiv i superlativ form. Försök göra sökningen så exakt som möjligt. Vad händer om man varierar det reguljära uttrycket? Får man fler eller färre träffar, och är de mer eller mindre rätt? Vilka formuleringar fångar uttrycket inte upp? TIPS! Det kan ibland vara lättare att se att det verkligen är ett adjektiv i superlativ form om ni också skriver ut ordet efter (vanligtvis ett substantiv).
10. Dela upp texten i meningar, dvs. en mening per rad. Er definition av 'mening' ska vara lingvistiskt godtagbar. Snygga till det så att det inte finns några blankrader eller "onödiga" blanktecken kvar i början av meningen.
11. Hitta ord som är sannolika egennamn: dvs., ord som börjar med stor bokstav och inte står först i en mening. Tips! Ett sätt att lösa denna uppgift är att först dela upp texten i meningar, så att det går lättare att kontrollera om ordet står i början av meningen eller inte. Om er meningsuppdelning från tidigare uppgift är felaktig bör ni kunna se detta när ni studerar era egennamn.
12. Översätt texten till rövarspråket.
13. Plocka ut treordiga nominalfraser i bestämd form från texten, analogt med den gröna hatten, det röda huset, den villrådige mannen, den rasande hettan, de gräsätande korna, osv. Nominalfraserna ska vara uppbyggda av en bestämd artikel, exakt ett adjektiv eller particip i bestämd form följt av ett substantiv i bestämd form. Tips: du kan skriva flera mönster för att lösa uppgiften.

Redovisning av uppgifter

Redovisning ska ske både elektroniskt och på papper. Den skriftliga redovisningen måste vara underskriven av alla medlemmar i labbgruppen. Skicka in era lösningar via e-post till Sara Stymne i text- eller pdf-format. Det ska tydligt framgå vilken uppgift varje lösning hör till. Ange om ni använder annan indata än labbtexten, exempelvis resultatet från en tidigare uppgift.

Examinering & Deadline

Alla uppgifter ska lösas. För betyget G krävs minst 8 godkända lösningar. För betyget VG krävs att alla 13 uppgifter är godkända.

Uppgift om deadline finns på sidan Inlämningsdatum.