Vanmiddag was ik bij een presentatie van Richard Hechter van de University of Manitoba (Canada) over "Using Online Videos in the Science Methods Classroom as Context for Developing Preservice Teachers’ Awareness of the TPACK Components". Een interessante presentatie in de context van science onderwijs, maar een wat vagere in de context van TPACK...
Wat Richard presenteerde was dat hij gebruik maakt van YouTube om de studenten kritisch na te laten denken over science onderwerpen. Het voorbeeld dat hij daarbij gebruikte was een video die op YouTube te vinden is over glowing mountain dew. Volgens het filmpje kan je mountain dew (=frisdrank) laten gloeien door 3/4 uit het flesje te halen, bij de overige 1/4 baking soda (zuiveringszout) erbij doen, dan waterstofperoxide erbij doen, schudden, en het gloeit!
Maar... als je dit in het echt gaat doen, dan lukt het helemaal niet... De studenten van Richard wisten dit niet, keken naar de video, vonden het geweldig en wilden het zelf doen! Al het spul stond klaar, dus ze konden het zelf gaan doen en natuurlijk lukte het niet. De grote vraag was: waarom niet? En dit was de aanleiding om verder onderzoek te doen door de studenten. Eerst keken ze naar een ander filmpje. Daar lukt het wel! Waarom? Omdat ie er stiekem een glow stick in had gedaan.. De vraag is dan waarom het dan niet aan het begin meteen ging gloeien. Dit is omdat een glow stick uit twee delen bestaat, inner en outer vloeistof. Als je nu de mountain dew neemt en je doet er waterstofperoxide in, dan gebeurt er niets. Doe je er dan baking soda bij, dan gebeurt er nog steeds niet. Maar doe je het inner spul van een glow stick erbij: glow!! Dit hele proces voerde Richard samen met zijn studenten uit als een onderzoek in de klas. De studenten stelden allerlei vragen, stelden hypotheses op en gingen uitproberen totdat hun mountain dew uiteindelijk ook gloeide.
Tot zover een interessant voorbeeld van onderzoekend leren bij natuur & techniek.. (hoewel.. hoe kan het nou dat het wel ging gloeien met vloeistof uit een glow stick? wat zit er eigenlijk in een glow stick?).
Maar waar zat nu de TPACK? Zonder dat Richard het TPACK-model had uitgelegd aan zijn studenten vroeg hij na het experiment of de studenten konden aangeven waar in het hele proces de onderdelen van TPACK zaten. De studenten waren redelijk (wat is redelijk??) in staat om de verschillende onderdelen te benoemen. Een "interessante" aanpak.. Helaas gaf Richard niet aan wat hij verder doet met deze resultaten. Het zou interessant zijn om te horen wat dit betekent voor de TPACK-kennis van de studenten en met name hoe ze dat dan toepassen in hun klas.
woensdag 31 maart 2010
SITE2010: Reflectie op ons TPACK Symposium
Een paar korte opmerkingen over ons symposium..
- Het symposium was druk bezocht. Daar waar veel andere zalen bijna leeg zijn (door een te groot aanbod aan presentaties waarschijnlijk), was onze zaal helemaal vol;
- Het symposium gaf een mooi beeld van onderzoek dat gedaan wordt in de VS, Kuwait en Ghana;
- De onderzoeken van Ghaida, Douglas en Punya laten zien dat het werken in docentontwerpteams effect heeft op de houding van mensen ten aanzien van ict in het onderwijs en ook effect kunnen hebben op de professionele (inhoudelijke) ontwikkeling van de leden van een docentontwerpteam;
- De onderzoeken van Ghaida, Douglas en Punya laten zien dat het werken in docentontwerpteams kan bijdragen tot een verhoogde TPACK bij de deelnemers, maar ook dat we nog verder moeten onderzoeken hoe de relatie docentontwerpteam-TPACK in elkaar zit en hoe het een het ander kan bevorderen;
- Het onderzoek van Denise gaf wat meer inzicht in de TPACK-vragenlijst. Je kunt erover discussieren of het meten van eigen ideeen over houding en vaardigheden voldoende is om conclusies op te baseren. Toch is de maat waarin iemand zelf denkt wel of niet vaardig te zijn in een bepaald iets van groot belang als je gaat kijken of je datgene ook daadwerkelijk in de praktijk gaat toepassen. Wat dat betreft lijkt de huidige vragenlijst mij prima om in verder onderzoek te gebruiken.
Al met al een symposium waarin we weer meer contacten hebben kunnen leggen met andere TPACK-ers, waarin Ghaida en Douglas hun werk hebben kunnen presenteren en ik zeker weet dat we hier mee verder gaan als we weer terug zijn in Nederland!
SITE2010: Ons TPACK Symposium (deel 2)
Na het eerste deel van het symposium en een korte pauze is tijdens het tweede deel van het TPACK sympoisum Douglas Agyei als eerste aan de beurt. Ook Douglas is een van onze PhD studenten en hij presenteert zijn onderzoek dat hij uitvoert in Ghana bij studenten van de lerarenopleiding wiskunde rondom "Developing Technological Pedagogical Content Knowledge through Teacher Design Teams". Uit het onderzoek van Douglas bleek dat er in Ghana meer training nodig is binnen de lerarenopleiding met betrekking tot het gebruik van ict op zich en de integratie van ict in wiskunde onderwijs. Een professional development programma werd opgezet en de docenten in Ghana gingen werken in docentontwerpteams. In deze teams moesten ze een wiskunde onderwerp kiezen, technologie kiezen om dit onderwerp te ondersteunen, activiteiten voor in de klas ontwerpen, deze activiteiten uitvoeren en evalueren.Douglas heeft tijdens dit onderzoek gemeten wat de impact is van het professional development programma en heeft gekeken naar TPACK en het werken in docentontwerpteams. Hij gebruikte daar onder andere het self-efficacy instrument "STEBI" voor. De self-efficacy (het gevoel van bekwaamheid) van de docenten was significant gestegen na het werken in de docentontwerpteams. Het samenwerken met andere docenten (een nieuwe onderwijsbenadering) werd erg gewaardeerd. Daarnaast hebben de docenten allemaal TPACK kunnen integreren in hun lessen. Interessant is dat uit het onderzoek blijkt dat niet alleen de TPACK-vaardigheden gestegen zijn, maar dat de wiskunde docenten ook hun kennis van de inhoud (content) konden verhogen. De docenten waren tevreden met hun eigen resultaat, niet in de laatste plaats omdat hun studenten ook enthousiast waren over het resultaat!
Na de presentatie van Douglas is het de beurt aan Ann Thompson, Denise Schmidt en Evrim Baran over "The Continuing Development, Validation and implementation of an Instrument to Assess Teacher Development of TPACK". Een meetinstrument is ontwikkeld en wordt op dit moment al breed gebruikt (ook door onze PhD studenten). Het meetinstrument is een "self-report", oftewel degene die de vragenlijst invult geeft aan hoe hij/zij zelf denkt over de stellingen die daar gepresenteerd worden. Het is dus geen objectief meet- of observatieinstrument, maar het geeft wel aan hoe mensen zelf denken over hun TPACK-vaardigheden. Denise Schmidt geeft een toelichting op de ontwikkeling van de vragenlijst. Het artikel van het totale verhaal is ook te vinden in het Journal of Research on Technology in Education (helaas moet je voor het complete artikel een inlogcode hebben). De vragenlijst bestond oorspronkelijk uit ruim 70 vragen. Deze vragenlijst is uitgeprobeerd bij 124 studenten van een lerarenopleiding en op basis van betrouwbaarheidsanalyses werd de vragenlijst aangepast. Sommige vragen werden veranderd/duidelijker gemaakt en vragen die niet bijdroegen aan hetgeen gemeten moest worden werden weggelaten. De uiteindelijke vragenlijst bestaat uit 47 items.Interessant is dat de vragenlijst op heel veel verschillende plekken gebruikt wordt, in verschillende landen en bij verschillende vakgebieden. Het zou mooi zijn als we alle gegevens van alle onderzoeken kunnen verzamelen en daar dan analyses op uit kunenn voeren. Een soort basisartikel als uitgangspunt voor toekomstig onderzoek?
SITE2010: Ons TPACK Symposium (deel 1)
Vandaag is ons symposium over TPACK. Na een introductie door Joke Voogt, mijn collega van de vakgroep Curriculumontwerp & Onderwijsinnovatie, presenteert Ghaida Alayyar haar PhD onderzoek dat ze bij ons uitvoert. Ghaida doet haar onderzoek rondom TPACK in de lerarenopleiding in Kuwait. 
Het onderwijs in Kuwait is redelijk traditioneel opgezet: docentgecentreerd en weinig ict-integratie. Er worden wel ict-vakken gegevven, maar die zijn over het algemeen facultatief en het vak dat verplicht is gaat met name in op computergebruik en is niet geintegreerd met vakinhouden. Op TPACK-gebied is daar dus nog wel te bereiken! Tijdens Ghaida's onderzoek hebben studenten van de lerarenopleiding die specialiseren in science samengewerkt in docentontwerpteams van 4 personen: een T-persoon, een P-persoon, een C-persoon en een projectleider. Het docentontwerpteam moest een lesplan ontwerpen en ervoor zorgen dat ze in de klas een scienceles konden geven waarin ict een duidelijke rol had. Voor en na het werk van de docentontwerpteams nam Ghaida een aantal vragenlijsten af m.b.t. de houding van de studenten ten aanzien van ict en hun TPACK-vaardigheden. Wat betreft de TPACK-vaardigheden bleek dat de studenten vooraf wel vertrouwen hadden in hun PK- en CK-vaardigheden (dus Pedagogy en Content), maar minder overtuigd waren van hun TK-vaardigheid. Ze gaven aan helemaal geen vertrouwen te hebben in hun TPACK-vaardigheid. Maar: na het werken in de docentontwerpteams geven alle studenten aan dat hun TPACK-vaardigheid significant omhoog is gegaan! Ghaida's onderzoek probeert onder andere te kijken of het werken in een docentontwerpteam kan leiden tot TPACK-vaardige studenten van de lerarenopleiding. De resultaten van het onderzoek dat zij presenteren zijn bemoedigend, maar op dit moent is het nog moeilijk te zeggen of dit komt door de design teams. Het lijkt er wel op, maar er is meer tijd nodig om dit in de praktijk te testen. En dat is Ghaida ook aan het doen!
Na Ghaida's presentatie is Punya Mishra aan de beurt die een presentatie geeft over "Developing TPACK by design in a Master’s Program". Punya legt nog even kort het TPACK-model uit en geeft daarna aan dat als we het over educational technology hebben, dat we het a) over allerlei soorten technologie hebben, van elo en mobieltje en digiborden en camera's tot pennen en boeken en b) niet al deze technologieen oorspronkelijk bedoeld zijn voor het onderwijs. We zijn aan het "re-purposen" van technologie om het geschikt te maken voor het onderwijs. Hier komt het idee van Learning Technology by Design vandaan. Deze benadering laat docenten samenwerken aan technologische oplossingen voor een vakdidactisch probleem. Deze docenten maken eerst een micro design (eerste prototype of versie om te testen), dan een macro design (een uitgebreidere versie) en daarna reflecteren op wat je bereikt hebt in relatie tot alles aspecten van het TPACK-model, oftewel "looking at the Total PACKage".
Na deze introductie geeft Punya aan hoe hij dit toepast in zijn masterprogramma. Een van de voorbeelden die hij gaf sluit aan bij de keynote presentatie van vanmorgen: het maken van een video. Studenten moeten zelf een onderwerp kiezen, literatuur zoeken over het onderwerp, nadenken over de video, de video maken en presenteren op een website. Het voorbeeld van zo'n video die hij ook in Twente liet zien over schaduw (wat is schaduw, wat denken kinderen dat schaduw is en misconcepties over dit onderwerp) is hier te vinden (kijken tot aan het eind!!).
Maar de vraag is natuurlijk weer of deze benadering ook echt werkt. Wordt de TPACK-vaardigheid verhoogt door deze manier van werken? Punya heeft dezelfde vragenlijst gebruikt als Ghaida en ook uit zijn gegevens blijkt dat de TPACK-vaardigheid gestegen is na het werken door Learning Technology by Design.
Mooie resultaten van beide onderzoeken! Veelbelovend ten aanzien van zowel TPACK-ontwikkeling en het werken in docentontwerpteams! Nu een korte pauze en dan begint deel 2 van ons symposium.
Het onderwijs in Kuwait is redelijk traditioneel opgezet: docentgecentreerd en weinig ict-integratie. Er worden wel ict-vakken gegevven, maar die zijn over het algemeen facultatief en het vak dat verplicht is gaat met name in op computergebruik en is niet geintegreerd met vakinhouden. Op TPACK-gebied is daar dus nog wel te bereiken! Tijdens Ghaida's onderzoek hebben studenten van de lerarenopleiding die specialiseren in science samengewerkt in docentontwerpteams van 4 personen: een T-persoon, een P-persoon, een C-persoon en een projectleider. Het docentontwerpteam moest een lesplan ontwerpen en ervoor zorgen dat ze in de klas een scienceles konden geven waarin ict een duidelijke rol had. Voor en na het werk van de docentontwerpteams nam Ghaida een aantal vragenlijsten af m.b.t. de houding van de studenten ten aanzien van ict en hun TPACK-vaardigheden. Wat betreft de TPACK-vaardigheden bleek dat de studenten vooraf wel vertrouwen hadden in hun PK- en CK-vaardigheden (dus Pedagogy en Content), maar minder overtuigd waren van hun TK-vaardigheid. Ze gaven aan helemaal geen vertrouwen te hebben in hun TPACK-vaardigheid. Maar: na het werken in de docentontwerpteams geven alle studenten aan dat hun TPACK-vaardigheid significant omhoog is gegaan! Ghaida's onderzoek probeert onder andere te kijken of het werken in een docentontwerpteam kan leiden tot TPACK-vaardige studenten van de lerarenopleiding. De resultaten van het onderzoek dat zij presenteren zijn bemoedigend, maar op dit moent is het nog moeilijk te zeggen of dit komt door de design teams. Het lijkt er wel op, maar er is meer tijd nodig om dit in de praktijk te testen. En dat is Ghaida ook aan het doen!
Na Ghaida's presentatie is Punya Mishra aan de beurt die een presentatie geeft over "Developing TPACK by design in a Master’s Program". Punya legt nog even kort het TPACK-model uit en geeft daarna aan dat als we het over educational technology hebben, dat we het a) over allerlei soorten technologie hebben, van elo en mobieltje en digiborden en camera's tot pennen en boeken en b) niet al deze technologieen oorspronkelijk bedoeld zijn voor het onderwijs. We zijn aan het "re-purposen" van technologie om het geschikt te maken voor het onderwijs. Hier komt het idee van Learning Technology by Design vandaan. Deze benadering laat docenten samenwerken aan technologische oplossingen voor een vakdidactisch probleem. Deze docenten maken eerst een micro design (eerste prototype of versie om te testen), dan een macro design (een uitgebreidere versie) en daarna reflecteren op wat je bereikt hebt in relatie tot alles aspecten van het TPACK-model, oftewel "looking at the Total PACKage".Na deze introductie geeft Punya aan hoe hij dit toepast in zijn masterprogramma. Een van de voorbeelden die hij gaf sluit aan bij de keynote presentatie van vanmorgen: het maken van een video. Studenten moeten zelf een onderwerp kiezen, literatuur zoeken over het onderwerp, nadenken over de video, de video maken en presenteren op een website. Het voorbeeld van zo'n video die hij ook in Twente liet zien over schaduw (wat is schaduw, wat denken kinderen dat schaduw is en misconcepties over dit onderwerp) is hier te vinden (kijken tot aan het eind!!).
Maar de vraag is natuurlijk weer of deze benadering ook echt werkt. Wordt de TPACK-vaardigheid verhoogt door deze manier van werken? Punya heeft dezelfde vragenlijst gebruikt als Ghaida en ook uit zijn gegevens blijkt dat de TPACK-vaardigheid gestegen is na het werken door Learning Technology by Design.
Mooie resultaten van beide onderzoeken! Veelbelovend ten aanzien van zowel TPACK-ontwikkeling en het werken in docentontwerpteams! Nu een korte pauze en dan begint deel 2 van ons symposium.
2010SITE: Keynote Erin Reilly
De keynote tijdens de tweede SITE dag werd gegeven door Erin Reilly van de University of Southern California. De titel van haar presentatie is "The gap between Life and Art". Ze begint haar presentatie met de mededeling dat "One in four online teens remix content they find online - like songs, text, or images - and remix them into their own artistic creations". Waar het hierbij om gaat is dat tieners via het internet allerlei informatie vinden en daar eigen, nieuwe informatie van maken.
Dit "remixen" komt oorspronkelijk uit de muziekindustrie, daar kennen we het woord ook van. DJ's zetten twee of meer "platenspelers" naast elkaar, draaien het door elkaar heen en maken zo een nieuwe song. Dat krijg je niet voor elkaar door zomaar iets door elkaar te mengen: het moet passen, het moet nieuw zijn, het moet mensen aanspreken en/of verassen. Remixen kan ook met andere media dan alleen muziek. Met de software mogelijkheden die op dit moment beschikbaar zijn kun je muziek, maar ook video, plaatjes, text, etc. remixen. Als voorbeeld om video's te remixen ku je JayCut bekijken. Een voorbeeld van een video die daarmee bewerkt is is de horrorfilm "The Shining", waar ze een wat minder enge versie van hebben gemaakt (via de link vind je nog meer voorbeelden). Andere voorbeelden van websites die genoemd werden zijn ccMixter, Political Remix Video en de New Media Literacies Community Site.
De vraag is nu natuurlijk hoe je dit in het onderwijs kan toepassen. Die kan bijvoorbeeld door in de klas (of online?) een bestaande film te bekijken en daar een vervolg op laten maken door de studenten of studenten zelf een film laten maken over een onderwerp dat hen aanspreekt. Studenten kunnen op dez emanier een eigen inbreng hebben. Dit betekent wel dat ze op een andere manier moeten leren en dat ze andere vaardigheden nodig hebben. Het lijkt er even op alsof Erin wil gaan zeggen dat de studenten dit allemaal nog moeten gaan leren, terwijl ze eerst aangaf dat ze dit al allemaal uit zichzelf doen. Maar het is natuurlijk niet zo dat alle studenten hier al zoveel ervaring mee hebben dat ze het ook in een onderwijssituatie kunnen toepassen. Hier moeten ze bij begeleid worden en dit betekent direct dat docenten moeten weten hoe ze dit kunnen doen.
Ook in deze presentatie komt weer Jenkin's frame for new literacies aan bod. Appropriation is daarbij van groot belang: the ability ro meaningfully sample and remix media content. Remixen kan leiden tot betekenisvol creeren van nieuwe kennis.
Op dit moment is een van mijn afstudeerders bezig met een vergelijkbaar onderzoek. Zij onderzoekt de potentie van videoberichten in de bovenbouw van het basisonderwijs voor de integratie van taal in andere vormingsgebieden. Interessant om een koppeling te leggen tussen het afstudeeronderzoek en het onderzoek van Erin Reilly!
Dit "remixen" komt oorspronkelijk uit de muziekindustrie, daar kennen we het woord ook van. DJ's zetten twee of meer "platenspelers" naast elkaar, draaien het door elkaar heen en maken zo een nieuwe song. Dat krijg je niet voor elkaar door zomaar iets door elkaar te mengen: het moet passen, het moet nieuw zijn, het moet mensen aanspreken en/of verassen. Remixen kan ook met andere media dan alleen muziek. Met de software mogelijkheden die op dit moment beschikbaar zijn kun je muziek, maar ook video, plaatjes, text, etc. remixen. Als voorbeeld om video's te remixen ku je JayCut bekijken. Een voorbeeld van een video die daarmee bewerkt is is de horrorfilm "The Shining", waar ze een wat minder enge versie van hebben gemaakt (via de link vind je nog meer voorbeelden). Andere voorbeelden van websites die genoemd werden zijn ccMixter, Political Remix Video en de New Media Literacies Community Site.
De vraag is nu natuurlijk hoe je dit in het onderwijs kan toepassen. Die kan bijvoorbeeld door in de klas (of online?) een bestaande film te bekijken en daar een vervolg op laten maken door de studenten of studenten zelf een film laten maken over een onderwerp dat hen aanspreekt. Studenten kunnen op dez emanier een eigen inbreng hebben. Dit betekent wel dat ze op een andere manier moeten leren en dat ze andere vaardigheden nodig hebben. Het lijkt er even op alsof Erin wil gaan zeggen dat de studenten dit allemaal nog moeten gaan leren, terwijl ze eerst aangaf dat ze dit al allemaal uit zichzelf doen. Maar het is natuurlijk niet zo dat alle studenten hier al zoveel ervaring mee hebben dat ze het ook in een onderwijssituatie kunnen toepassen. Hier moeten ze bij begeleid worden en dit betekent direct dat docenten moeten weten hoe ze dit kunnen doen.
Ook in deze presentatie komt weer Jenkin's frame for new literacies aan bod. Appropriation is daarbij van groot belang: the ability ro meaningfully sample and remix media content. Remixen kan leiden tot betekenisvol creeren van nieuwe kennis.
Op dit moment is een van mijn afstudeerders bezig met een vergelijkbaar onderzoek. Zij onderzoekt de potentie van videoberichten in de bovenbouw van het basisonderwijs voor de integratie van taal in andere vormingsgebieden. Interessant om een koppeling te leggen tussen het afstudeeronderzoek en het onderzoek van Erin Reilly!
SITE2010: TPACK SIG Meeting
Vanmorgen om 8 uur was ik aanwezig bij de TPACK SIG Meeting. Er was veel interesse voor deze Special Interest Group: er was plek voor 50 mensen in de zaal, maar er stonden nog minstens 10 extra mensen achterin (waaronder ik...)! 
Een van de punten die besproken werd is wat de SIG kan betekenen voor de leden. De wiki werd direct genoemd, een plek met veel up to date informatie en de meeste TPACK-gerelateerde publicaties. De wiki wordt echter op dit moment niet gebruikt als wiki, mensen durven niet eigen informatie toe te voegen. Interessant is dat de aanwezige Amerikanen blijkbaar meer gewend zijn om op verschillende manieren samen te werken. Als mogelijke toepassingen worden classroom 2.0, ning en Zotero genoemd. De laatste toepassing kende ik nog niet, maar het is een tooltje (een firefox extension blijkbaar) waarmee je onderzoeksbronnen kan verzamelen, beheren, citeren en delen. Mocht er gekozen worden voor een andere omgeving dan de wiki (voor mij hoeft dat niet overigens..) dan worden gebruikersvriendelijkheid en het niet laten overstromen van je mailbox met allerlei meldingen genoemd als belangrijke voorwaarden om eventueel een nieuwe omgeving te kiezen.
Naast de communicatiemogelijkheden voor de SIG wordt ook nog even nagedacht over het verder promoten van TPACK. Als grapje noemt iemand dat je t-shirts zou moeten kunnen uitdelen aan mensen die iets interessants hebben gedaan op TPACK-gebied. Dat bestaat natuurlijk al, maar blijkbaar wist niet iedereen dat. Het is wel een interessant idee. Geef een docent die mooi onderwijs met TPACK-ingredienten heeft gemaakt een cadeautje. Naast de waardering die je op die manier uitspreekt kan het wellicht werken als pr richting collega-docenten. Op diezelfde manier wordt gedacht over onderzoek en er wordt gesproken over awards voor dissertaties, best articles, etc. Het uitreiken van die awards kun je natuurlijk weer aangrijpen om reclame te maken voor TPACK.. Misschien klinkt het wat "Amerikaans" in de oren, maar ik moet eerlijk zeggen dat ik het wel een goed idee vind: in plaats van klagen over allerlei zaken (of mensen) die niet werken of niet snel genoeg gaan: mensen in het zonnetje zetten die wel goed werk verrichten!
De SIG Meeting laat mij in ieder geval zien dat TPACK "booming" is en dat het goed is dat wij er ook mee aan de gang zijn!
Een van de punten die besproken werd is wat de SIG kan betekenen voor de leden. De wiki werd direct genoemd, een plek met veel up to date informatie en de meeste TPACK-gerelateerde publicaties. De wiki wordt echter op dit moment niet gebruikt als wiki, mensen durven niet eigen informatie toe te voegen. Interessant is dat de aanwezige Amerikanen blijkbaar meer gewend zijn om op verschillende manieren samen te werken. Als mogelijke toepassingen worden classroom 2.0, ning en Zotero genoemd. De laatste toepassing kende ik nog niet, maar het is een tooltje (een firefox extension blijkbaar) waarmee je onderzoeksbronnen kan verzamelen, beheren, citeren en delen. Mocht er gekozen worden voor een andere omgeving dan de wiki (voor mij hoeft dat niet overigens..) dan worden gebruikersvriendelijkheid en het niet laten overstromen van je mailbox met allerlei meldingen genoemd als belangrijke voorwaarden om eventueel een nieuwe omgeving te kiezen.
Naast de communicatiemogelijkheden voor de SIG wordt ook nog even nagedacht over het verder promoten van TPACK. Als grapje noemt iemand dat je t-shirts zou moeten kunnen uitdelen aan mensen die iets interessants hebben gedaan op TPACK-gebied. Dat bestaat natuurlijk al, maar blijkbaar wist niet iedereen dat. Het is wel een interessant idee. Geef een docent die mooi onderwijs met TPACK-ingredienten heeft gemaakt een cadeautje. Naast de waardering die je op die manier uitspreekt kan het wellicht werken als pr richting collega-docenten. Op diezelfde manier wordt gedacht over onderzoek en er wordt gesproken over awards voor dissertaties, best articles, etc. Het uitreiken van die awards kun je natuurlijk weer aangrijpen om reclame te maken voor TPACK.. Misschien klinkt het wat "Amerikaans" in de oren, maar ik moet eerlijk zeggen dat ik het wel een goed idee vind: in plaats van klagen over allerlei zaken (of mensen) die niet werken of niet snel genoeg gaan: mensen in het zonnetje zetten die wel goed werk verrichten!
De SIG Meeting laat mij in ieder geval zien dat TPACK "booming" is en dat het goed is dat wij er ook mee aan de gang zijn!
dinsdag 30 maart 2010
SITE2010: Invited speaker: Chris Dede
De presentatie "Teaching and assessing 21st century skills" van Chris Dede begint met een overzicht van een aantal belangrijke uitdagingen: shifts in knowledge and skills, development of new methods of teaching and learning en changes in the characteristics of learners. Wat volgt is een filmpje over kinderen met technologie, die je geen les moet geven met bord en krijt. Natuurlijk komt er dan een filmpje met matrix/minority report-achtige tools: schermen waar je op kunt tekenen, dingen kunt verschuiven, met elkaar kan samenwerken aan documenten of foto's, kleine pda's of smart cards met allerlei handige functionaliteiten en informatie over mensen en hun contactgegevens, etc. Heel mooi natuurlijk, ik word daar zelf ook altijd enthousiast van, maar hoe (en vooral wanneer!) kunnen we dit in het onderwijs gaan gebruiken? Ik hoop dat Chris Dede daar antwoord op kan geven. Hij heeft tenslotte al jaren ervaring op het gebied van onderzoek naar ict in het onderwijs en ubiquitous computing.
Chris Dede geeft aan dat elke student voorbereid zou moeten worden om deze nieuwe technologieen te gebruiken. De technologie zelf is (volgens Chris) niet het moeilijke. Wat moeilijk is om mensen erop voor te bereiden om het op een goede manier te gebruiken. Oftewel: ze moeten 21st century skills ontwikkelen. Eigenlijk kunnen web2.0 technologieen al gezien worden als dit soort technologieen: je kan informatie delen (bijv. social bookmarking), je kan informatie verspreiden (bijv. blogs) en er over nadenken en je kunt samen dingen creeeren (bijv. wiki's). Maar hij geeft ook aan dat "new literacies are multiple, multimodel, and multifaceted", oftewel: ze zijn zeer complex! Jenkin's frame for new literacies geeft aan wat het allemaal omvat: play, performance, simulation, appropriation, multitasking, distributed cognition, collective intelligence, judgement, transmedia navigation en networking.
Hoe moet je dit nu voor elkaar krijgen in het onderwijs? Volgens Chris via "collaborative problem resolution via mediated interaction": je moet aan de gang gaan met een moeilijk probleem in een team. Dat probleem moet je eerst vinden, daarna pas oplossen en je moet het probleem samen begrijpen, vanuit meerdere invalshoeken. Dat zou via "situated learning" moeten gebeuren en dat kun je heel goed doen in multi-user virtual environments (MUVE), virtual reality en ubiquitous computing of augmented reality. Chris gaat in op een voorbeeld van een MUVE, waarbij het gaat om "complex causality" van ecosystemen. Een echt meer is omgezet in een virtueel meer en in een game-omgeving gezet. Via een tijdmachine kan het meer bekeken worden in verschillende jaren. Op die manier kan het ecosysteem bestudeerd worden. Daarbij kun je gebruik maken van verschillende meetinstrumenten. Naast echte manieren van meten kun je in een MUVE ook fantasie inbouwen. In dit geval kun je met een duikboot het meer induiken om te kijken wat er onder water gebeurt. Daarnaast kun je een atoom adopteren en elke keer als je in de MUVE komt kun je kijken hoe het met jouw atoom gaat, hoe het atoom beinvloed wordt door omstandigheden, etc.
Maar: hoe meet je nu of kinderen hier iets van leren? Want als je het niet meet is niet bewezen dat het werkt, wordt het niet gezien als iets nuttigs en wordt het heel moeilijk om het te implementeren.. In een aantal onderzoeken worden studenten onderworpen aan een toets nadat ze in bijvoorbeeld een MUVE hebben geleerd. Daarmee kun je wel inhoud testen, maar niet de 21st century skills die je ze ook wilt aanleren. In het onderzoek van Chris Dede is een manier ontwikkeld om ook deze vaardigheden te toetsen: in een MUVE zelf natuurlijk! Binnen de MUVE moeten de studenten 3 taken uitvoeren: probleem identificatie, experimenteren en hypothese opstellen. De studenten krijgen in de omgeving een introductie en gaan aan de slag. Er wordt dan gekeken wat voor soort activiteiten de student uitvoert en studenten kunnen op basis van hun acties adaptief door het systeem geleid worden. Op deze manier kunnen zowel de vaardigheden als de kennis getest worden. Om dit te meten worden hele rijke logfiles gebruikt: waar zijn de studenten geweest in de MUVE, met wie hebben ze gecommuniceerd, wat hebben ze gezegd, wat voor artifacten hebben ze geactiveerd, welke databases hebben ze gebruikt, welke data hebben ze zelf verzameld, welke meetinstrumenten hebben ze gebruikt, welke aantekeningen hebben ze gemaakt.
Dit betekent overigens wel dat de assessment formatief en diagnostisch is, niet summatief, zoals we vaak gewend zijn. Dit geeft meer mogelijkheden om het leren te verbeteren en het zou in de toekomst de summatieve manier van toetsen kunnen vervangen.
Heeft deze presentatie mij nu een antwoord gegeven op de vraag wanneer we meer kunnen doen met ubiquitous-achtige toepassingen? Nee... maar dat zegt eigenlijk al genoeg... Toch loop ik na de presentatie nog even bij hem langs en vraag hem naar een toekomstvoorspelling. Hij vertelt dat hij het in labsettings al voor elkaar heeft, maar voor de "gewone markt"? Dat gaat nog wel een jaar of 10 duren...
Chris Dede geeft aan dat elke student voorbereid zou moeten worden om deze nieuwe technologieen te gebruiken. De technologie zelf is (volgens Chris) niet het moeilijke. Wat moeilijk is om mensen erop voor te bereiden om het op een goede manier te gebruiken. Oftewel: ze moeten 21st century skills ontwikkelen. Eigenlijk kunnen web2.0 technologieen al gezien worden als dit soort technologieen: je kan informatie delen (bijv. social bookmarking), je kan informatie verspreiden (bijv. blogs) en er over nadenken en je kunt samen dingen creeeren (bijv. wiki's). Maar hij geeft ook aan dat "new literacies are multiple, multimodel, and multifaceted", oftewel: ze zijn zeer complex! Jenkin's frame for new literacies geeft aan wat het allemaal omvat: play, performance, simulation, appropriation, multitasking, distributed cognition, collective intelligence, judgement, transmedia navigation en networking.
Hoe moet je dit nu voor elkaar krijgen in het onderwijs? Volgens Chris via "collaborative problem resolution via mediated interaction": je moet aan de gang gaan met een moeilijk probleem in een team. Dat probleem moet je eerst vinden, daarna pas oplossen en je moet het probleem samen begrijpen, vanuit meerdere invalshoeken. Dat zou via "situated learning" moeten gebeuren en dat kun je heel goed doen in multi-user virtual environments (MUVE), virtual reality en ubiquitous computing of augmented reality. Chris gaat in op een voorbeeld van een MUVE, waarbij het gaat om "complex causality" van ecosystemen. Een echt meer is omgezet in een virtueel meer en in een game-omgeving gezet. Via een tijdmachine kan het meer bekeken worden in verschillende jaren. Op die manier kan het ecosysteem bestudeerd worden. Daarbij kun je gebruik maken van verschillende meetinstrumenten. Naast echte manieren van meten kun je in een MUVE ook fantasie inbouwen. In dit geval kun je met een duikboot het meer induiken om te kijken wat er onder water gebeurt. Daarnaast kun je een atoom adopteren en elke keer als je in de MUVE komt kun je kijken hoe het met jouw atoom gaat, hoe het atoom beinvloed wordt door omstandigheden, etc.
Maar: hoe meet je nu of kinderen hier iets van leren? Want als je het niet meet is niet bewezen dat het werkt, wordt het niet gezien als iets nuttigs en wordt het heel moeilijk om het te implementeren.. In een aantal onderzoeken worden studenten onderworpen aan een toets nadat ze in bijvoorbeeld een MUVE hebben geleerd. Daarmee kun je wel inhoud testen, maar niet de 21st century skills die je ze ook wilt aanleren. In het onderzoek van Chris Dede is een manier ontwikkeld om ook deze vaardigheden te toetsen: in een MUVE zelf natuurlijk! Binnen de MUVE moeten de studenten 3 taken uitvoeren: probleem identificatie, experimenteren en hypothese opstellen. De studenten krijgen in de omgeving een introductie en gaan aan de slag. Er wordt dan gekeken wat voor soort activiteiten de student uitvoert en studenten kunnen op basis van hun acties adaptief door het systeem geleid worden. Op deze manier kunnen zowel de vaardigheden als de kennis getest worden. Om dit te meten worden hele rijke logfiles gebruikt: waar zijn de studenten geweest in de MUVE, met wie hebben ze gecommuniceerd, wat hebben ze gezegd, wat voor artifacten hebben ze geactiveerd, welke databases hebben ze gebruikt, welke data hebben ze zelf verzameld, welke meetinstrumenten hebben ze gebruikt, welke aantekeningen hebben ze gemaakt.
Dit betekent overigens wel dat de assessment formatief en diagnostisch is, niet summatief, zoals we vaak gewend zijn. Dit geeft meer mogelijkheden om het leren te verbeteren en het zou in de toekomst de summatieve manier van toetsen kunnen vervangen.
Heeft deze presentatie mij nu een antwoord gegeven op de vraag wanneer we meer kunnen doen met ubiquitous-achtige toepassingen? Nee... maar dat zegt eigenlijk al genoeg... Toch loop ik na de presentatie nog even bij hem langs en vraag hem naar een toekomstvoorspelling. Hij vertelt dat hij het in labsettings al voor elkaar heeft, maar voor de "gewone markt"? Dat gaat nog wel een jaar of 10 duren...
SITE2010: Digital Fabrication (2)
Tijdens de lunchpauze had ik de mogelijkheid om Digital Fabrication van wat dichter bij te bekijken. Op een laptop was de software beschikbaar en kon je even snel een figuur maken. In dit geval werd het een doosje met een blauw kleurtje, maar het had ook een rondje, pyramide, of iets anders kunnen worden met een heel andere kleur of zelfs met een foto erop.
Eigenlijk is het heel simpel: je maakt het figuur in de software, je print het uit, je stopt de print in een andere machine die de vouwlijnen maakt en het figuur uitknipt, je haalt het uit het papier en je zet het in elkaar. Dat is alles!
Nu is dit natuurlijk een redelijk simpele manier van digital fabrication. Voor in de klas heel geschikt: de software is zo te zien intuitief te gebruiken en je wordt door het hele print- en knipwerk heen geleid. Toch is het ook wel interessant om meer te weten te komen over de wat geavanceerdere methoden waarbij je ook grotere 3d dingen kan maken...
Eigenlijk is het heel simpel: je maakt het figuur in de software, je print het uit, je stopt de print in een andere machine die de vouwlijnen maakt en het figuur uitknipt, je haalt het uit het papier en je zet het in elkaar. Dat is alles!
Nu is dit natuurlijk een redelijk simpele manier van digital fabrication. Voor in de klas heel geschikt: de software is zo te zien intuitief te gebruiken en je wordt door het hele print- en knipwerk heen geleid. Toch is het ook wel interessant om meer te weten te komen over de wat geavanceerdere methoden waarbij je ook grotere 3d dingen kan maken...
SITE2010: Digital Fabrication
Digital fabrication is het digitaal ontwerpen van een fysiek object en het dan ook laten maken. Hier worden bijvoorbeeld 3D printers voor gebruikt. Volgens de website van de special interest group (SIG) van SITE op dit gebied geeft digial fabrication veel mogelijkheden voor onderwijs, met name voor science, wiskunde, talen, social studies en art. De SIG onderzoekt manieren om dit voor elkaar te krijgen in het onderwijs. Dit is een nieuw onderwerp voor mij, dus op naar de presentatie!
De presentatie begint met een hele (hele!) korte introductie over STEM (Science, Technology, Engineering and Math) onderwijs en er wordt aangegeven dat de afgelopen jaren veel gedaan is aan curriculumontwikkeling en docentontwikkeling. Langzamerhand willen ze overgaan tot een meer "integrative and transformative approach" en daarbij willen ze direct de docenten ondersteunen. Het idee is om dit via digital fabrication voor elkaar te krijgen.
Maar waar gaat het nu om? Gelukkig laten de presentatoren wat filmpjes zien.. Aan de hand van een filmpje van kinderen op de basisschool zien we dat kinderen iets ebdacht hebben op de computer en dat uitprinten op een speciale printer. Het is een "bouwpakketje" (in idt geval van een soort kubus en een pyramide) dat er in kleur uitkomt en al direct uitgestanst, zodat ze het meteen in elkaar kunnen zetten. De kinderen hebben dus van te voren moeten nadenken hoe het bouwpakket eruit komt te zien, discussieren over hoe het in het echt in elkaar gaat passen, etc. In het onderwijs komen daardoor verschillende aspecten aan bod, zoals dimensies, diepte, geometrische vormen, etc.
In een ander filmpje wordt aangegeven dat het in de toekomst wellicht mogelijk is dat je een digital fabricator in huis hebt, een blueprint van een gebruiksvoorwerp download en dat jouw eigen fabricator dat dan maakt.
In de zaal staat ook een fabricator. Deze versie kan van alles maken van een vloeistof die je in een spuit kan doen, bijvoorbeeld gesmolten chocola. De fabricator is verbonden met een laptop, de laptop stuurt de gegevens van een blueprint naar de fabricator en dan kan er iets gemaakt worden van (in dit geval) chocola.
Het mooie van DigFab in het onderwijs is dat je samenwerkt aan een ontwerp, je deelt ervaringen en informatie met elkaar (ook online), je moet communiceren, je bent bezig met creatief probleem oplossen en "engaged learners become producers of their own STEM knowledge", oftewel, door bezig te zijn met DigFab maak je je eigen kennis op het gebied van Science, Technology, Engineering and Math Education.
Dit filmpje geeft misschien nog wat beter weer wat Digital Fabrication is:
De presentatie begint met een hele (hele!) korte introductie over STEM (Science, Technology, Engineering and Math) onderwijs en er wordt aangegeven dat de afgelopen jaren veel gedaan is aan curriculumontwikkeling en docentontwikkeling. Langzamerhand willen ze overgaan tot een meer "integrative and transformative approach" en daarbij willen ze direct de docenten ondersteunen. Het idee is om dit via digital fabrication voor elkaar te krijgen.
Maar waar gaat het nu om? Gelukkig laten de presentatoren wat filmpjes zien.. Aan de hand van een filmpje van kinderen op de basisschool zien we dat kinderen iets ebdacht hebben op de computer en dat uitprinten op een speciale printer. Het is een "bouwpakketje" (in idt geval van een soort kubus en een pyramide) dat er in kleur uitkomt en al direct uitgestanst, zodat ze het meteen in elkaar kunnen zetten. De kinderen hebben dus van te voren moeten nadenken hoe het bouwpakket eruit komt te zien, discussieren over hoe het in het echt in elkaar gaat passen, etc. In het onderwijs komen daardoor verschillende aspecten aan bod, zoals dimensies, diepte, geometrische vormen, etc.
In een ander filmpje wordt aangegeven dat het in de toekomst wellicht mogelijk is dat je een digital fabricator in huis hebt, een blueprint van een gebruiksvoorwerp download en dat jouw eigen fabricator dat dan maakt.
In de zaal staat ook een fabricator. Deze versie kan van alles maken van een vloeistof die je in een spuit kan doen, bijvoorbeeld gesmolten chocola. De fabricator is verbonden met een laptop, de laptop stuurt de gegevens van een blueprint naar de fabricator en dan kan er iets gemaakt worden van (in dit geval) chocola.
Het mooie van DigFab in het onderwijs is dat je samenwerkt aan een ontwerp, je deelt ervaringen en informatie met elkaar (ook online), je moet communiceren, je bent bezig met creatief probleem oplossen en "engaged learners become producers of their own STEM knowledge", oftewel, door bezig te zijn met DigFab maak je je eigen kennis op het gebied van Science, Technology, Engineering and Math Education.
Dit filmpje geeft misschien nog wat beter weer wat Digital Fabrication is:
SITE2010: Captology
Tijdens haar keynote noemde Allison Rossett de term "captology". Omdat dit me interessant leek ben ik eens gaan zoeken op internet. Volgens Wikipedia betekent captology het volgende: the study of computers as persuasive technologies. This area of inquiry explores the overlapping space between persuasion in general (influence, motivation, behavior change, etc.) and computing technology. This includes the design, research, and program analysis of interactive computing products (such as the Web, desktop software, specialized devices, etc.) created for the purpose of changing people's attitudes or behaviors.
Op Stanford hebben ze een onderzoeksgroep die zich hiermee bezighoudt. Zij doen onderzoek naar de manier waarop technology zoals websites of mobiele telefoons zo ontworpen kunnen worden dat ze een verandering teweeg kunnen brengen in wat mensen doen en waar ze in geloven. Volgens de onderzoekers zou dit ook een verandering teweeg kunnen brengen in onderwijs/training. Als voorbeeld van persuasive software geven zij Quitnet.com (stoppen met roken) en als voorbeeld van persuasive devices geven ze Baby Think It Over, een "teen pregnancy prevention doll".
Interessant om eens verder over na te denken..
Op Stanford hebben ze een onderzoeksgroep die zich hiermee bezighoudt. Zij doen onderzoek naar de manier waarop technology zoals websites of mobiele telefoons zo ontworpen kunnen worden dat ze een verandering teweeg kunnen brengen in wat mensen doen en waar ze in geloven. Volgens de onderzoekers zou dit ook een verandering teweeg kunnen brengen in onderwijs/training. Als voorbeeld van persuasive software geven zij Quitnet.com (stoppen met roken) en als voorbeeld van persuasive devices geven ze Baby Think It Over, een "teen pregnancy prevention doll".
Interessant om eens verder over na te denken..
SITE2010: Keynote Allison Rossett
De opening keynote van SITE werd verzorgd door Allison Rossett, een docent aan San Diego State University. Afgezien van het feit dat het een prettige (vaak grappige) presentatie was om naar te luisteren kwam er weinig nieuws naar voren.
Allison begint haar presentatie met het verhaal dat zij al sinds de jaren 90 bezig is met ict: Blackboard en powerpoint. Maar op het moment dat zij gevraagd wordt door haar dean om haar vak echt op het web te zetten heeft ze de excuses die we van nu ook wel kennen.. hoe het nu gaat is al goed genoeg, ik heb hier geen tijd voor, ik hoef niet (ik heb toch al een vaste aanstelling) en, heel belangrijk: mijn face-to-face lessen zijn heel speciaal en uniek.
Waarom is het er toch mee bezig gegaan? Omdat anderen het wel doen, waaronder haar baas! Op basis van allerlei verschillende soorten informatie die je op internet kan vinden is ze gaan zoeken naar mogelijkheden om haar onderwijs te verrijken. Dit deed ze met het idee dat "the hard fact is that e-learning took off before people really knew how to use it" en "not only are our classes not ready for prime time, the people aren't either". Om ervoor te zorgen dat ze zelf wel ready was heeft ze onder andere ervaring op gedaan met het gebruik van social networking om les te geven. Een van de voorbeelden die ze gaf was het gebruik van pinotnet.ning.com, waarbij 50 studenten echt ingeschreven zijn en nog eens 600 andere mensen online aanwezig zijn en discussieren over verchillende onderwerpen.
Uiteindelijk was haar conclusie dat er dus heel veel is, maar blijft de vraag hoe je dat in de praktijk kunt brengen en hoe je ervoor zorgt dat anderen het ook doen. Het enige dat ze daarover zegt is dat je ervoor moet zorgen dat je weet waarom het nuttig is en dat je ervoor moet zorgen dat je voldoende vertrouwen in jezelf hebt. Helaas gaat ze niet in op hoe dat dan precies moet...
Maar: haar studenten waren tevreden (ze geeft volgens mij ook heel veel begeleiding en stopt daar ontzettend veel tijd in) en haar conclusie op basis van haar ervaringen is "I remembered why I love to teach and to design programs, why I like technology, why this is a pretty darn great job!"
Allison begint haar presentatie met het verhaal dat zij al sinds de jaren 90 bezig is met ict: Blackboard en powerpoint. Maar op het moment dat zij gevraagd wordt door haar dean om haar vak echt op het web te zetten heeft ze de excuses die we van nu ook wel kennen.. hoe het nu gaat is al goed genoeg, ik heb hier geen tijd voor, ik hoef niet (ik heb toch al een vaste aanstelling) en, heel belangrijk: mijn face-to-face lessen zijn heel speciaal en uniek.Waarom is het er toch mee bezig gegaan? Omdat anderen het wel doen, waaronder haar baas! Op basis van allerlei verschillende soorten informatie die je op internet kan vinden is ze gaan zoeken naar mogelijkheden om haar onderwijs te verrijken. Dit deed ze met het idee dat "the hard fact is that e-learning took off before people really knew how to use it" en "not only are our classes not ready for prime time, the people aren't either". Om ervoor te zorgen dat ze zelf wel ready was heeft ze onder andere ervaring op gedaan met het gebruik van social networking om les te geven. Een van de voorbeelden die ze gaf was het gebruik van pinotnet.ning.com, waarbij 50 studenten echt ingeschreven zijn en nog eens 600 andere mensen online aanwezig zijn en discussieren over verchillende onderwerpen.
Uiteindelijk was haar conclusie dat er dus heel veel is, maar blijft de vraag hoe je dat in de praktijk kunt brengen en hoe je ervoor zorgt dat anderen het ook doen. Het enige dat ze daarover zegt is dat je ervoor moet zorgen dat je weet waarom het nuttig is en dat je ervoor moet zorgen dat je voldoende vertrouwen in jezelf hebt. Helaas gaat ze niet in op hoe dat dan precies moet...
Maar: haar studenten waren tevreden (ze geeft volgens mij ook heel veel begeleiding en stopt daar ontzettend veel tijd in) en haar conclusie op basis van haar ervaringen is "I remembered why I love to teach and to design programs, why I like technology, why this is a pretty darn great job!"
SITE2010: de conferentie is begonnen!
Ik ben deze week op de SITE conferentie in San Diego. Speciaal voor "newcomers" zoals ik werd vanmorgen om 8 uur al een bijeenkomst georganiseerd om ons wegwijs te maken in SITE, de verschillende sessies, manieren om betrokken te raken bij SITE en vooral om duidelijk te maken dat SITE "a friendly society" is, waarin je gezamenlijk kan werken aan onderzoek, ict en onderwijs. En... ik krijg mijn eerste "ribbon" :-). Deze week staat voor mij in het teken van TPACK. Op de UT zijn we druk bezig met TPACK en onderzoek of het TPACK-model gebruikt kan worden in ons werk rondom ict-integratie en docentontwikkeling. Op dit moment zijn we onder andere bezig met een literature review, interviews op scholen, een project samen met Gent en we hebben intensief contact met Punya Mishra, een van de "uitvinders" van TPACK. Samen met hem, zijn collega Matthew Koehler (de andere uitvinder) en een aantal anderen organiseren we een symposium over TPACK. Wij zijn morgen aan de beurt.
Via dit blog een update van mijn TPACK-belevingen deze week! Op dit moment is de opening druk aan de gang en worden verschillende awards uitgedeeld, onder andere aan Chris Dede die later ook een keynote presentatie zal geven, voor zijn grote bijdrage aan het veld van ict in het onderwijs.
Via dit blog een update van mijn TPACK-belevingen deze week! Op dit moment is de opening druk aan de gang en worden verschillende awards uitgedeeld, onder andere aan Chris Dede die later ook een keynote presentatie zal geven, voor zijn grote bijdrage aan het veld van ict in het onderwijs.
Abonneren op:
Posts (Atom)