Handleiding Burgerschap Meten | oktober 2022

Handleiding Burgerschap Meten

Versie oktober 2022

Inleiding Burgerschap Meten is inhoudelijk en technisch vernieuwd! De technische vernieuwing betekent dat de vragenlijsten nu zijn ondergebracht bij Nationale Onderwijs Monitors (nationaleonderwijsmonitors.nl). Dit is een platform waarop ook verschillende andere vragenlijsten en enquêtes worden afgenomen. Het kan zijn dat jouw school daar ook gebruik van maakt. Rovict zal daar ook haar meetinstrumenten Klimaatschaal en SCOL op termijn gaan onderbrengen. Je gebruikt de vragenlijst Burgerschap Meten. In deze handleiding vind je aanwijzingen over hoe je het systeem kunt gebruiken en hoe je aanwijzingen bij de afname van de vragenlijst aan een groep leerlingen kunt geven.

Voor inhoudelijke vragen over Burgerschap Meten:

Lianne Hoek: l.h.m.hoek@uva.nl

Voor vragen over de applicatie:

Joke Almirante: joke.almirante@rovict.nl

Handleiding gebruikers Burgerschap Meten (BSM) op schoolniveau

Inlog (eerste en volgende keren) Nadat je als gebruiker door ons in het systeem bent aangemaakt, ontvang je deze mail (figuur 1). Jouw emailadres vormt de gebruikersnaam. Door op de link in de mail te klikken kom je in een scherm in de browser (figuur 2) van de Nationale Onderwijs Monitors waar je jouw zelfbedachte wachtwoord opgeeft. Dat wachtwoord dient aan een aantal strikte regels te voldoen die je in ditzelfde scherm vindt. Nadat je het wachtwoord tweemaal hebt ingevoerd klik je op de knop Wachtwoord instellen en kom je op een volgende pagina. Daar klik je op Naar inloggen en voer je in het inlogscherm eerst jouw gebruikersnaam en daarna het wachtwoord in. Je komt de applicatie dan binnen op je persoonlijke startscherm (figuur 3).

Figuur 1

Figuur 2

Figuur 3

Indien je vaker gebruik gaat maken van de applicatie raden wij je aan om een snelkoppeling op het bureaublad aan te maken met deze URL naar de inlogpagina: https://nom.nationaleonderwijsmonitors.nl/

Menu Afhankelijk van jouw rol in het systeem en de daaraan verbonden rechten zie je aan de linkerkant van het startscherm een aantal menu opties. In dit geval heb je de volgende rechten: 1. Vragenlijsten inzien en uitzetten met open link (onder Onderzoeken ) 2. Dashboards en rapportages inzien (onder Analyseren ) 3. Gebruikers aanmaken (onder Gebruikers ) Voor elke optie laten we in deze handleiding de mogelijke handelingen zien. Het kan ook zijn dat je het recht om gebruikers aan te maken niet heeft toegewezen gekregen, dan ontbreekt die optie in het menu.

Ad 1. Onderzoeken (vragenlijst inzien en uitzetten)

Door op Onderzoeken te klikken vouwt het menu zich verder uit en wordt de optie Vragenlijsten zichtbaar. Als je daar op klikt, worden de voor jouw school beschikbare vragenlijsten zichtbaar. In dit geval staat de BSM-vragenlijst bovenaan. Aan de rechterkant zie je de kenmerken van deze (geselecteerde) vragenlijst (figuur 4):

Figuur 4

Daar zie je direct de mogelijkheid om Open link kopiëren (zie pijltje in figuur 4) aan te klikken. Met deze actie beschik je over de link die je vervolgens in een mail aan de leerlingen kunt plakken die de vragenlijst in gaan vullen. Door simpelweg op de link te klikken opent de vragenlijst zich en kunnen de leerlingen beginnen.

Door op configureren te klikken (zie figuur 5) kom je in een scherm waarin de vragenlijst bekeken kan worden.

Figuur 5

Hier heb je de mogelijkheid om een Preview vragenlijst te openen (zie figuur 6) en bijvoorbeeld de respons op een vragenlijst die door leerlingen is ingevuld te bekijken.

Figuur 6

Randvoorwaarden voor afname van de vragenlijst Voordat je de leerlingen daadwerkelijk achter de computers/devices de vragenlijsten laat invullen, is het van belang dat aan de volgende randvoorwaarden wordt voldaan:  Ouders zijn ervan op de hoogte dat het meetinstrument Burgerschap Meten deel uitmaakt van het toetsinstrumentarium van de school.  Ouders zijn ervan op de hoogte dat de vragenlijsten van de leerlingen anoniem worden afgenomen en er dus voor de onderzoeksdoeleinden van de Universiteit van Amsterdam geen persoonsgegevens worden gebruikt die herleidbaar zijn tot hun kind. Toelichting op vragenlijst voor de begeleider van de afname De leerlingen zullen in het algemeen de link voor de afname van de vragenlijst Burgerschap Meten via hun schoolmail hebben ontvangen. Ons advies is daarom om die zo kort mogelijk van tevoren toe te sturen. Ze beginnen immers aan de vragenlijst door op deze link te klikken. De vragenlijst geeft zelf aanwijzingen over de wijze waarop vragen moeten worden beantwoord en begint met een oefenvraag. Alle vragen zijn verplicht en moeten dus beantwoord worden, uitgezonderd de oefenvraag en de vraag aan het einde van de vragenlijst. Neem samen met de leerlingen het volgende door: “De vragenlijst die je gaat invullen gaat over hoe jij omgaat met andere mensen en hoe andere mensen omgaan met jou. We vragen naar je mening en soms ook naar wat je weet. Onze school wil graag meer weten over hoe de leerlingen over deze onderwerpen denken en wat ze allemaal kunnen en kennen. Daarom nemen we deze vragenlijst af. Er zijn geen goede of foute antwoorden en je krijgt ook geen cijfer voor de vragenlijst. Het gaat erom wat jij van de vragen vindt. Misschien vind je sommige vragen moeilijk of ken je niet alle woorden die in deze vragenlijst gebruikt worden. Probeer de vraag toch te beantwoorden. Jouw antwoorden zijn anoniem. Dat betekent dat niemand te weten komt wat jij hebt ingevuld – ook je leraren en je ouders niet. De enige manier om naar een volgende of vorige vraag te gaan is met de knopjes volgende en vorige onderin je beeldscherm.”

Wat verder van belang is

 Leerkrachten, andere medewerkers of leerlingen mogen niet meekijken als de leerling de vragenlijst invult.  Leerlingen mogen tijdens de afname niet met anderen overleggen, mogen geen aantekeningen maken en geen gebruikmaken van communicatiemiddelen als telefoon of sms.  Door het luidsprekertje bij een tekst aan te klikken, kan een leerling ervoor kiezen om de tekst door Burgerschap Meten te laten voorlezen. Indien je verwacht dat een leerling deze optie nodig zal hebben, is het aan te raden van tevoren een koptelefoon te regelen en de mogelijkheid van voorlezen met de leerling te bespreken.  De leerlingen mogen de vragenlijst in hun eigen tempo invullen. Het invullen van de vragenlijst duurt gemiddeld één lesuur, afhankelijk van de snelheid waarmee de leerling informatie verwerkt. Langzame lezers zullen er waarschijnlijk langer over doen. Overweeg voor zulke leerlingen de afname in twee delen te splitsen. Let wel, de vragenlijst moet dan wel open blijven staan op de pc, zodat de leerling direct verder kan waar hij/zij gebleven is.  Waarmee mag je een leerling wel en niet helpen?  Als tijdens de instructie (zoals besc hreven onder “Neem samen met de leerlingen het volgende door:”) iets onduidelijk is, mag je hier antwoord op geven.  Tijdens het invullen van de kennisvragen uit de vragenlijst is het echter van belang dat je GEEN informatie geeft die de leerling kan helpen bij het beantwoorden van de vragen. Het is belangrijk dat het kennisniveau van de leerlingen gemeten wordt. Je mag dus alleen procedurele informatie geven (bijvoorbeeld waar ze moeten klikken, waar ze hun antwoorden moeten invullen, dat ze echt iets moeten invullen ook al weten ze het antwoord niet, etc.).  Enkel tijdens het invullen van de attitudevragen en de vaardigheidsvragen uit de vragenlijst kun je de leerlingen de betekenis van een woord uitleggen als ze een woord niet kennen. Je laat hen vervolgens hun eigen antwoord kiezen.

Ad 2. Dashboards en rapportages inzien

Door op de knop Analyseren te klikken wordt o.a. de mogelijkheid Dashboards zichtbaar. Door daar op te klikken krijg je te zien welke dashboards beschikbaar zijn. Deze kunnen ieder op zich geopend worden. Overigens zijn deze dashboards ook al zichtbaar op het startscherm van de school/het bestuur en kunnen ze ook van daar geopend worden.

Het Schooldashboard Dit bestaat uit 4 elementen.

Linksboven (1) zie je een reeks indicatoren die een waarde en soms een signaal afgeven op deze (hoofd)gebieden: Kennis, Attitude, Vaardigheid, Basiswaarden en Schooklimaat. Indien er een benchmark aanwezig is zal er in combinatie met de waarde een kleur getoond worden. Deze kleur is identiek aan de I-V schaal van Cito (I+ en V- worden door ons niet gebruikt). Op basis van onderzoek door de UvA wordt bepaald of een waarde vergelijkbaar is met de 20% hoogst scorende scholen, de 20% daaronder etc. Kortom, met de kleur wordt aangegeven met welke groep scholen jouw school zich kan vergelijken. Dat is dus geen norm! Je bepaalt zelf wat jouw doelstelling en eventuele norm is op aspecten van Burgerschap.

De schalen die worden gebruikt zijn het gemiddelde % goed-scores bij Kennis en de gemiddelde scores op een schaal van 1-4 (midden van de schaal is dus 2,5) bij de overige elementen. Deze indicatoren bewegen niet mee met eventuele selecties die je maakt en tonen dus steeds de waarden voor de school als geheel.

In het tweede element (onder het hierboven besproken element) in het dashboard zie je naast de gemiddelde totaalscores een uitsplitsing naar subschalen, waarbij dezelfde kleuren als benchmark worden gebruikt.

Wat daarbij opvalt is dat er een extra variabele wordt getoond die bestaat uit Vaardigheid en Attitude samen. De reden hiervoor is dat er alleen een benchmark mogelijk is op deze gecombineerde variabele en niet op de afzonderlijke subschalen Attitude en Vaardigheid. Deze waarden en ook de kleuren bewegen mee met eventuele selecties die je maakt met de filters (links in beeld) of door op groepen in het 3 e element te klikken. Het 3 e element staat rechts in beeld en betreft een samenvatting van de resultaten op school- en klas/groepsniveau. De regel op schoolniveau beweegt hier wel mee met eventuele selecties, waardoor je bijvoorbeeld kunt zien wat de resultaten voor een bepaalde jaarlaag zijn indien die uit meer dan één klas/groep bestaat.

Het laatste element (4) staat onderin en bestrijkt de hele breedte. Hierin zie je v.l.n.r. opleidingsniveau ouders, thuistaal, geslacht en leeftijd. Ook deze visualisaties bewegen mee met gemaakte selecties.

Analyse door filtering en selectie Het getoonde dashboard is dynamisch van opzet. Dat betekent dat door het instellen van de filters en het maken van selecties allerlei subgroepen kunnen worden gemaakt en geanalyseerd. Daarbij worden eerst de filters ingesteld en eventueel daarna nog een enkele groep (in 3) aangeklikt. Door bijvoorbeeld leerjaar 7 uit te zetten blijven de groepen uit leerjaar 8 over en passen alle waarden (behalve die voor de hele school in element 1) zich aan.

Zo kun je zien hoe leerjaar 8 zich verhoudt tot de school als geheel in scores, benchmarks en achtergrondkenmerken. Ook kun je verschillen tussen beide groepen bekijken. Door op een groep te klikken worden ook de waarden op de subschalen in element 2 getoond voor alleen die geselecteerde groep. Hieronder zie je het resultaat voor groep 8A.

Op deze manier kun je de resultaten analyseren om vervolgens acties in jouw onderwijs vorm te geven.

Ad 3. Gebruikers aanmaken

Indien je gebruikers uit de organisatie toe wil voegen tot het systeem om bijvoorbeeld het dashboard te bekijken, dan kan dat via onderstaande stappen.

LET OP : omdat de vragenlijst anoniem wordt afgenomen en alle leerlingen via een open link de vragenlijst invullen, hoef je de leerlingen niet als gebruiker in het systeem aan te maken!

Links onderaan het scherm zie je onder het menu onderdeel Beheren de optie Gebruikersbeheer (figuur 7) : Als je die aanklikt kun je op Gebruikers klikken en verschijnen de reeds aanwezige

gebruikers. Deze kun je aanpassen. Je kunt ook nieuwe gebruikers aanmaken door op dit knopje (figuur 8) te klikken.

Figuur 8

Figuur 7

Je kunt dan een nieuwe gebruiker aanmaken in het rechter gedeelte van het scherm (figuur 9). Voor de LOGINNAAM en het E MAILADRES gebruik je het geldige e-mailadres van de nieuwe gebruiker. De keuze voor de WEERGAVENAAM is vrij en normaal gesproken de voor- en achternaam van de gebruiker. Vervolgens klik je op het plus-teken rechtsonder Rol(len) om de gebruiker toe te wijzen aan een organisatie en één of meer rollen. De keuzes die je voor beiden heeft gemaakt, verschijnen zodra je in één van beide velden klikt. Voor BSM zijn twee rollen beschikbaar. Bij beide rollen heeft de gebruiker kijkrechten bij de menu-onderdelen Onderzoeken en Analyseren . Met de rol waarin het woord gebruikers voorkomt, heeft de gebruiker ook het recht gebruikers te zien en aan te maken bij het menu-onderdeel Gebruikersbeheer .

Figuur 9

In onderstaande afbeelding (figuur 10) zijn die keuzes gemaakt per veld: Organisatie en Rol(len).

Figuur 10

Indien je nu op de knop Opslaan klikt wordt de gebruiker aangemaakt en ontvangt deze enkele ogenblikken later een welkomstmail met een link om voor het eerst in te loggen (zie het begin van deze handleiding). Door een vinkje te plaatsen bij de tekst Welkomstbericht niet automatisch verzenden, wordt het verzenden van deze mail uitgesteld totdat je op het envelopje achter de naam van deze gebruiker in de lijst met gebruikers klikt.