How AI Image Generators Make Bias Worse

Summary

Das Video skizziert die potenziellen Risiken von voreingenommenen künstlichen Intelligenz-Bildgeneratoren. Es zeigt, wie AI-Erzeugnisse wie das von MidJourney erstellte Beispiel Bilder von Berufstätigen basierend auf einfachen Textanfragen erzeugen können. Die Tendenz dieser Systeme, Geschlechter- und Rassenvorurteile zu verstärken, wird durch Analysen von mehr als 5000 Bildern hervorgehoben, die von Stable erzeugt wurden. Die Diskrepanz zwischen den realen Berufsbildern und den AI-generierten, die höhere Bezahlungsgrade mit helleren Hauttönen und Männlichkeit assoziieren, wird aufgezeigt. Das Phänomen der 'repräsentativen Schäden', das soziale Gruppen herabwürdigt und Stereotypen verstärkt, wird ebenso thematisiert wie die Herausforderung, faire und repräsentative Datensätze zu schaffen. Der Diskurs umfasst auch ethische Fragen und politische Lösungsansätze, um die Auswirkungen von künstlicher Intelligenz zu regulieren und zu kontrollieren, um eine gerechte und inklusivere Gesellschaft zu fördern. Der Fokus liegt auf der Notwendigkeit interdisziplinärer Zusammenarbeit, um komplexe Probleme zu lösen.

Takeaways

• 🎨 KI-Bildgeneratoren wie MidJourney können einzigartige Bilder basierend auf einfachen Textbeschreibungen erstellen, sind jedoch aufgrund ihrer Trainingsdaten oft voreingenommen.
• 👨‍💼 Untersuchungen zeigen, dass KI-generierte Bilder höher bezahlte Berufe wie CEOs, Anwälte und Politiker oft mit helleren Hauttönen darstellen, während niedriger bezahlte Jobs dunklere Hauttöne aufweisen.
• 👩‍⚖️ Es gibt eine geschlechtsspezifische Voreingenommenheit bei der Darstellung von Berufen in KI-Bildern, wobei Männer häufiger in höheren Positionen und Frauen in niedrigeren Positionen abgebildet werden.
• 📊 Diese Verzerrungen in KI-generierten Bildern werden als 'repräsentative Schäden' bezeichnet, die bestimmte soziale Gruppen herabsetzen und Stereotype verstärken.
• 🌍 Ein extremes Beispiel für KI-Voreingenommenheit war die Darstellung von Barbies aus verschiedenen Ländern, die Vorurteile und Diskriminierung aufgrund von Hautfarbe und kulturellen Stereotypen förderte.
• 🔍 Die Qualität der KI-Ergebnisse hängt von der Qualität der Trainingsdatensätze ab. Voreingenommene Daten führen zu voreingenommenen KI-Ergebnissen.
• 🤖 Melissa Terras betont, dass alle Daten historisch sind und das Produkt von politischen, ökonomischen und sozialen Bedingungen einer bestimmten Zeit und eines bestimmten Ortes sind.
• ⚖️ Die Herausforderung besteht darin, Fairness und Bias in KI-Systemen neu zu definieren und nicht nur technische Lösungen, sondern auch philosophische Fragen zu berücksichtigen.
• 🏛️ Selbstregulierung durch Technologieunternehmen reicht oft nicht aus, um Schäden zu verhindern, daher könnte staatliche Regulierung notwendig werden.
• 🌐 Die Regulierung von dynamischen Technologien wie generativer KI ist komplex, da ihre vollen Auswirkungen oft erst im Laufe der Zeit verstanden werden.

Q & A

Was ist das Hauptproblem mit A.I.-Bildgeneratoren, die mit voreingenommenen Daten trainiert wurden?

Das Hauptproblem ist, dass diese A.I.-Bildgeneratoren voreingenommene Bilder erzeugen, die dann in den Internet gespeichert und später als Daten für die Training von anderen A.I.-Systemen verwendet werden. Dies führt zu einer gefährlichen Feedbackschleife, die bestehende Vorurteile verbreitet und verstärkt.

Wie beeinflussen die Daten, auf denen ein A.I. trainiert wird, die Qualität seiner Ausgaben?

Wenn die Daten, auf denen ein A.I. trainiert wird, voreingenommen sind, werden diese Vorurteile vom A.I. übernommen und reproduziert. Es gibt keine neutralen Daten, da alle Daten historische Daten sind und von der Zeit, dem Ort, der politischen, wirtschaftlichen, technischen und sozialen Klima beeinflusst werden.

Was ist ein Beispiel für die 'representational harms', die durch A.I.-Systeme verursacht werden können?

Ein Beispiel ist die BuzzFeed-Veröffentlichung von A.I.-generierten Barbies aus verschiedenen Ländern. Die lateinamerikanischen Barbies wurden alle mit hellen Hauttönen dargestellt, was eine Form der Diskriminierung namens Colorism propagiert, bei der hellere Hauttöne vor dunkleren bevorzugt werden.

Wie können Regierungen bei der Lösung des Problems der voreingenommenen A.I.-Bildgebung helfen?

Regierungen könnten Gesetze und Vorschriften erlassen, um die Auswirkungen und Schäden, die generative A.I. auf die Gesellschaft zufügt, zu regulieren. Sie könnten Aufsichtsbehörden einrichten, um Beschwerden über voreingenommene Bilder zu behandeln, und Tech-Unternehmen dazu zwingen, ihre Algorithmen zu aktualisieren oder ihre A.I. auf bessere Datensätze umzuschulen.

Was ist die 'Collingridge-Dilemmata'?

Die Collingridge-Dilemmata ist ein Konzept, das von dem Soziologen David Collingridge benannt wurde, das die Schwierigkeit aufzeigt, dynamische Technologien wie generative A.I. zu regulieren. Wenn Gesetzgeber zu früh regulieren, können sie ineffektive und irrelevante Richtlinien erlassen. Wenn sie jedoch zu lange warten, bis sie die Auswirkungen und Schäden der Technologie verstehen, kann es zu spät sein, um sie zu kontrollieren.

Wie kann eine faire Vertretung von Geschlechtern bei der Generierung von Bildern von Führungskräften erreicht werden?

Es gibt keine einfachen Antworten, da es um die philosophischen Fragen geht, wie man Voreingenommenheit und Fairness definiert. Man könnte argumentieren, dass eine faire Vertretung die aktuelle Statistik widerspiegeln sollte, aber andere könnten dies als unfair sehen, da es ungleiche und ungerechte Machtstrukturen aufrechterhält und Frauen davon abhält, für Führungspositionen zu sorgen.

Wie kann man sicherstellen, dass A.I.-Systeme nicht nur die in ihren Daten vorliegenden Präjudizien reflektieren, sondern diese auch verstärken?

Indem man bessere, repräsentativere Datensätze verwendet, um die Voreingenommenheit zu reduzieren, und auch tiefer gehende philosophische Fragen anspricht, die sich mit der Definition von Voreingenommenheit und Fairness beschäftigen.

Was ist das Ziel von LIS: The London Interdisciplinary School?

Das Ziel von LIS ist es, Lösungen für die komplexesten Probleme der Welt zu finden, nicht durch eine einzelne Spezialdisziplin, sondern durch die Zusammenarbeit von Experten und Wissen aus den Bereichen Kunst, Wissenschaft und Humanwissenschaften.

Welche Rolle spielen die Daten, die für das Training von A.I. verwendet werden, hinsichtlich der Schaffung von Vorurteilen?

Die Daten, die für das Training von A.I. verwendet werden, spielen eine entscheidende Rolle bei der Schaffung von Vorurteilen. Wenn diese Daten voreingenommen sind, werden diese Vorurteile vom A.I. übernommen und in den generierten Bildern widergespiegelt.

Wie kann man die Qualität der Datensätze verbessern, auf denen A.I.-Systeme trainiert werden?

Die Qualität der Datensätze kann verbessert werden, indem mehr Transparenz, Vielfalt und Repräsentanz gefordert wird. Dies könnte durch gesetzgeberische Maßnahmen erreicht werden, die Standards für die Qualität der Trainingsdaten vorgeben.

Was ist die Herausforderung bei der Definition von 'Fairness' in Bezug auf die Generierung von Bildern von verschiedenen Berufsbildern?

Die Herausforderung besteht darin, eine Balance zwischen der Widerspiegelung der tatsächlichen Statistiken und der Förderung einer ausgewogenen und gerechten Darstellung zu finden. Dies erfordert eine tiefere Reflexion darüber, was als 'fair' angesehen werden sollte und wie man Vorurteile und Stereotypen vermeiden kann.

Was ist der Unterschied zwischen historischen Daten und neutralen Daten?

Es gibt keine neutralen Daten, da alle Daten historische Daten sind, die von der Zeit, dem Ort, der politischen, wirtschaftlichen, technischen und sozialen Klima beeinflusst werden. Historische Daten sind einfach Faktdaten aus der Vergangenheit, während neutrale Daten eine hypothetische Kategorie sind, die angenommen wird, ohne jegliche Einflüsse oder Präferenzen zu haben.

Outlines

00:00

🤖 Künstliche Intelligenz und ihre Auswirkungen auf die visuelle Wahrnehmung

Dieser Absatz behandelt die Risiken, die mit der Verwendung von künstlicher Intelligenz (KI) verbunden sind, insbesondere wenn KI-Bildgeneratoren wie MidJourney dazu führen können, dass steigende Voreingenommenheiten in Bezug auf Geschlecht, Ethnie, Alter und Hautfarbe verstärkt werden. Es wird erklärt, dass KI-Bildgeneratoren aufgrund ihrer Beliebtheit und Benutzerfreundlichkeit möglicherweise bis zu 90% der Bilder im Internet erzeugen. Die Autoren betonen, dass die von KI präsentierte Realität verzerrt sein kann und dass die von ihnen geschaffenen, verstärkten Vorurteile als 'representational harms' bezeichnet werden. Ein Beispiel hierfür ist die von BuzzFeed veröffentlichte Serie von KI-generierten Barbies, die diskriminierende Vorurteile widerspiegeln. Die Herausforderung besteht darin, die Qualität der Datensätze zu verbessern, auf denen die KI trainiert wurde, da diese oft mit den Vorurteilen ihrer Quellen belastet sind. Der Text fordert zu einer tieferen Reflexion über die Definition von Voreingenommenheit und Fairness auf und stellt die Frage, wie man faire KI-Systeme gestaltet, die nicht nur die aktuelle Realität widerspiegeln, sondern auch eine gerechte Gesellschaft fördern.

05:01

🧐 Die Herausforderungen der Fairness in KI-Systemen

Dieser Absatz konzentriert sich auf die moralischen und ethischen Fragen, die mit der Definition von Fairness und Voreingenommenheit in KI-Systemen verbunden sind. Es wird diskutiert, wie KI-Systeme bei der Darstellung von Berufsbildern wie zum Beispiel bei einem Fortune 500 CEO die tatsächlichen Statistiken widerspiegeln oder ob eine 50/50-Verteilung angebracht wäre, was die Bevölkerungsverteilung widerspiegelt. Der Text stellt auch die Schwierigkeiten dar, die mit der Definition eines fairen Prozesses oder Outcomes verbunden sind und wie dies zu vielen ethischen Initiativen führt, die von allgemeinen, aber leeren Prinzipien wie 'Do the right Thing?' geleitet werden. Es wird betont, dass Selbstregulierung durch Technologieunternehmen möglicherweise nicht ausreicht, um Schäden zu vermeiden, und dass möglicherweise gesetzgeberische Maßnahmen erforderlich sind, um Unternehmen für ihre Auswirkungen auf die Gesellschaft zur Verantwortung zu ziehen. Es wird auch die Collingridge-Dilemma erwähnt, das die Herausforderungen bei der Regulierung dynamischer Technologien wie KI hervorhebt und fragt, ob wir KI in eine Richtung lenken können, die besser den Bedürfnissen der Gesellschaft entspricht und eine gerechteren Welt schafft.

Keywords

💡künstliche Intelligenz

Künstliche Intelligenz (KI) ist ein Begriff, der sich auf Systeme bezieht, die ähnliche Funktionen wie das menschliche Gehirn ausführen können, wie beispielsweise Lernen, Problemlösen und Entscheidungen treffen. Im Video wird KI als zentrales Thema diskutiert, da es um die Auswirkungen von KI-Bildgeneratoren auf unsere visuelle Wahrnehmung geht. Beispiele für die Verwendung von KI im Video sind die von MidJourney erstellten Bilder, die auf einfachen Wortproblemen basieren.

💡Bias

Bias bezeichnet Vorurteile oder systematische Verzerrungen, die in Entscheidungsprozessen auftreten können. Im Kontext des Videos bezieht sich Bias auf die unerwünschten Verzerrungen in KI-Systemen, die zu einer verstärkten Darstellung von Vorurteilen gegenüber Geschlecht, Rasse, Alter und Hautfarbe führen können. Ein Beispiel ist die Tatsache, dass im Video erwähnt wird, dass höherbezahlte Berufe in den von KI generierten Bildern hauptsächlich hellhäutige Personen zeigen.

💡Representational harms

Representational harms sind Schäden, die bestimmte soziale Gruppen durch die Herabsetzung, Stereotypen oder die Verstärkung des Status Quo beeinträchtigen. Im Video werden diese Schäden durch die Verwendung von KI-Systemen veranschaulicht, die zu einer verstärkten Darstellung von Vorurteilen führen, wie etwa die Darstellung hellhäutiger Barbies aus Lateinamerika, die Diskriminierung durch Farbismus fördern.

💡Datensatz

Ein Datensatz ist eine Sammlung von Daten, die für die Analyse oder das Training von KI-Systemen verwendet wird. Im Video wird betont, dass die Qualität der KI-Ausgaben von der Qualität der Datensätze abhängt, auf denen sie trainiert wurden. Wenn Bias in den Datensätzen vorhanden ist, wird dieser von der KI übernommen und reproduziert.

💡Feedbackschleifen

Feedbackschleifen sind Prozesse, bei denen die Ausgaben eines Systems als Eingabe für das gleiche oder ein anderes System verwendet werden, was zu einer Verstärkung der vorhandenen Bias führen kann. Im Video wird dies veranschaulicht, indem gezeigt wird, wie von KI-Bildgeneratoren erstellte, voreingenommene Bilder in den Internet zurück in Datensätze einfließen und somit weitere voreingenommene Bilder erzeugen.

💡Geschlechterdisparität

Geschlechterdisparität bezieht sich auf die Ungleichheit oder Ungleichheit zwischen den Geschlechtern. Im Video wird dies durch die Diskussion der Darstellung von Frauen in Führungspositionen, wie zum Beispiel bei der Generierung eines Bildes eines Fortune 500 CEO, veranschaulicht. Hier wird die Frage gestellt, ob eine faire Geschlechterverteilung eine 50/50-Verteilung sein sollte oder ob sie die aktuellen Statistiken widerspiegeln sollte.

💡Ethische Initiativen

Ethische Initiativen sind Bemühungen, ethische Richtlinien und Verhaltenskodexe für die Entwicklung und Nutzung von Technologien zu schaffen. Im Video wird darauf hingewiesen, dass viele dieser Initiativen von hohen, aber letztlich leeren Prinzipien geleitet werden, die als Virtuoses Zeichen kritisiert werden und nicht zu viel konkreten Handlungsempfehlungen führen.

💡Regulierung

Regulierung bezieht sich auf die Schaffung und Anwendung von Gesetzen und Vorschriften durch Regierungen oder Aufsichtsbehörden, um die Auswirkungen von Technologien auf die Gesellschaft zu kontrollieren. Im Video wird diskutiert, dass Regulierung notwendig sein kann, um die durch generative KI verursachten Darstellungsbedingungen zu beheben, indem zum Beispiel Aufsichtsstellen eingerichtet, Unternehmen zur Aktualisierung ihrer Algorithmen gezwungen oder Standards für die Qualität von Trainingsdaten festgelegt werden.

💡Collingridge-Dilemma

Das Collingridge-Dilemma ist ein Konzept, das die Schwierigkeiten bei der Regulierung dynamischer Technologien wie der generativen KI hervorhebt. Es wird benannt nach dem Soziologen David Collingridge und beschreibt, dass es schwierig ist, Gesetze und Regulierungen für Technologien zu erstellen, deren vollständige Auswirkungen und Konsequenzen erst im Laufe der Zeit verstanden werden. Im Video wird darauf hingewiesen, dass zu früh oder zu spätes Handeln der Gesetzgeber zu unzureichenden oder zu späten Maßnahmen führen kann.

💡Fairness

Fairness bezieht sich auf die Gerechtigkeit oder die Gleichheit in der Behandlung von Menschen oder Gruppen. Im Video wird Fairness in Bezug auf die Darstellung von Menschen in KI-generierten Bildern diskutiert. Die Frage, was eine faire Vertretung in Bildern ausmacht, ist komplex und hängt von der Definition von Bias und Fairness ab. Im Video wird dies durch die Diskussion der Vertretung von Frauen in Führungspositionen oder der Haftlingpopulation illustriert.

💡Interdisziplinärität

Interdisziplinärität bezieht sich auf die Zusammenarbeit oder Integration von Wissen und Methoden aus verschiedenen Disziplinen oder Fachgebieten. Im Video wird betont, dass Lösungen für komplexe Probleme wie die von KI verursachten Darstellungsbedingungen nicht von einer einzigen Disziplin stammen, sondern dass es notwendig ist, Expertise und Wissen aus den Künsten, den Wissenschaften und den Geisteswissenschaften zusammenzubringen.

Highlights

A.I. image generators like MidJourney are becoming increasingly popular due to their impressive results and ease of use.

90% of images on the Internet could be artificially generated within a few years.

Generative A.I. can distort reality by exaggerating harmful biases related to gender, race, age, and skin color.

Higher paying professions are often associated with lighter skin tones in A.I. generated images.

Gender biases are evident, with men predominantly represented in higher income jobs in A.I. generated images.

A.I. systems can create representational harms that degrade certain social groups and reinforce stereotypes.

BuzzFeed's A.I. generated Barbies from different countries demonstrated extreme biases, including colorism.

The quality of A.I. outputs depends on the quality of the datasets they are trained on.

All data is historical and reflects the biases of its time, place, and context.

A.I. image generators can create a vicious feedback loop, amplifying and spreading existing biases.

Resolving A.I. bias involves tackling philosophical questions about defining bias and fairness.

There is a debate on whether A.I. should reflect current gender disparities or aim for demographic parity.

The fairness of A.I. outputs is complex and may require considering intrinsic differences between genders.

Even random distributions can introduce bias, such as binary gender categorizations.

Ethics initiatives often struggle with high-minded principles that lack tangible action.

Government intervention may be necessary to regulate generative A.I. and mitigate societal harms.

Lawmakers face the Collingridge dilemma in timing their regulation of rapidly evolving technologies.

The challenge is to guide generative A.I. towards a path that serves societal needs and promotes a fairer society.

Solutions to complex problems require interdisciplinary collaboration across arts, sciences, and humanities.

Transcripts

This is why you should avoid

mixing Barbie with biased A.I.

image generators.

What does a typical prisoner look like?

What about a lawyer?

A nurse? A drug dealer?

What about a fast food worker? A cleaner, a terrorist or a CEO.

These are all images

created by an artificial intelligence

image generator called MidJourney,

which creates

unique images

based off of simple word problems.

These A.I.

image generators have exploded in popularity

thanks to their impressive results

and ease of use.

within a few years,

as much as 90% of the images on

the Internet

could be artificially generated.

Given that generative A.I.

will have a huge impact

in shaping our visual landscape,

it's important

to understand

that the reality

it presents can often be distorted,

where harmful biases

relating to

gender, race, age and skin

color can be more exaggerated

and more extreme than in the real world.

Leonardo Nicoletti and

Dina Bass are Bloomberg

Technology generated and analyzed

more than 5000 images created by Stable

They prompted it

to generate portraits of workers

in different professions

and sorted the images

according to skin tone and perceived gender.

they found that higher paying professions

like CEO, lawyer and politician

were dominated by lighter skin tones,

where subjects with darker

skin tones

were more commonly associated

with lower income jobs

like dishwasher,

janitor and fast food worker.

A similar story emerged

when categorizing by gender

with higher income jobs

such as doctors,

CEOs and engineers

being predominantly represented by men

while professions like cashier,

social worker and housekeeper

were mostly represented by women.

These racial

and gender biases were found to be stronger

than the reality of what was recorded

in the U.S.

Bureau of Labor Statistics for instance.

Women make up 39% of doctors in the U.S.,

but only appeared in 7% of the images.

these exaggerated biases

that AI systems create are known

as representational harms.

These are harms which degrade

certain social groups

reinforcing the status quo

or by amplifying stereotypes.

A particularly extreme

example was created when BuzzFeed

published an article of A.I.

generated Barbies

from different countries around the world.

The Barbies from Latin

America were all presented as fair skinned,

perpetuating a form of discrimination

known as colorism,

where lighter skin tones

are favored over darker ones.

The Barbie from Germany was dressed

in clothes

reminiscent of an SS Nazi uniform,

and the Barbie from South

Sudan was depicted

holding a rifle by her side.

is that the

quality of the

outputs will depend

on the quality of the datasets.

The millions of labeled images that the

AI has been trained on,

if there are biases in the dataset,

the AI will acquire

and replicate those biases

But there’s is no such thing.

as a neutral dataset.

As Melissa Terras puts it,

all data is historical data,

the product of a time, place,

political, economic, technical

and social climate.

if you are not considering

why your data exists

and other datasets don't,

you are doing data science wrong.

The bigger problem is not the A.I.

systems simply reflect back

the prejudice baked into their datasets.

It's that in many instances they feel

and exacerbate

these biases through feedback loops.

for A.I.

image generators trained on biased datasets.

They will fill the Internet

with biased images,

which will then be fed back into datasets

for other A.I.

image generators,

that will

then create even more biased images

and so on

and so forth, thus

creating a vicious feedback loop

which will both spread

and intensify existing biases

So, how do we stop this from happening?

Resolving the problem, goes

beyond a technical question

of simply using better,

more representative datasets to reduce bias.

One has to tackle deeper

philosophical questions

which look at how you define bias

and fairness in the first place

Take the example of gender disparity

when it comes to generating

an image of a Fortune 500 CEO.

What should a fair gender split look like?

Should it accurately reflect

the current statistics

which are roughly 9 to 1?

In one sense,

this can be seen as a fair

representation of reality.

But others might see this as unfair

for perpetuating unequal

and unjust power structures

and for discouraging women

from applying for C-suite roles.

Perhaps a distribution

should be a 50/50 split.

this would achieve demographic parity

as it matches the gender

split of the population.

We could consider applying this across

all jobs and roles,

but this assumes that there are no intrinsic

differences between genders.

Would it be fair

to depict prisoners

at a 50/50 split, for example,

when men currently

make up 93% of the global prison population?

Perhaps the only fair distribution

is to make the output completely random.

But even then,

defining the gender category

with a binary

value has already introduced

bias into the system.

Clearly, there are no easy answers.

The difficulty

in defining what a fair process

or outcome actually is.

Has led to many ethics initiatives

being guided by high minded

but ultimately vacuous principles

like Do the right Thing?

these sorts of principles

have been criticized as virtue signaling,

which haven't led to much

in the way of tangible action

guiding recommendations.

If self-governance by tech

companies is not enough

to mitigate any harms,

we might look to governments

to pass laws and regulations.

Ultimately, they're the only institutions

that can hold companies

to account for their harms on society

and force them to act.

To redress representational harms

caused by generative AI.

Lawmakers could establish oversight bodies

to deal with complaints over biased images.

tech companies could be forced

to update their algorithms

or retrain their eye on better datasets.

Regulators could also impose

standards on the quality

of training datasets,

requiring them

to be transparent, diverse,

and more representative.

But whatever laws

and regulations are put in place,

their timing will be crucial.

The Collingridge dilemma

named after the sociologist

David Collingridge,

highlights the difficulty in regulating

dynamic technologies like generative AI,

whose full effects and consequences

are only understood as time goes on.

If lawmakers legislate too early,

they may come up with ineffective

and irrelevant policies,

leading to a loss of legitimacy

amongst the public

and feeding perceptions

of out-of-touch bureaucrats

dealing with technologies

they don't understand.

However, if lawmakers wait

too long to understand

technology's impacts and harms

by the time they act,

it may be too late for them to control

The technology will have been widely adopted

and now be too deeply integrated

into people's lives

for meaningful change to happen.

So has Pandora's box already been opened?

Or can we guide generative A.I.

towards a path that better serves

their needs and build a fairer society

in the process?

As computer scientist

and digital activist Dr.

Joy Buolamwini puts it,

whether A.I will help us

reach our aspirations

or reinforce

unjust inequalities is ultimately up to us.

At LIS: The London Interdisciplinary School,

we believe that solutions to the world's

most complex problems

won't come from a single specialism

or discipline.

We need to bring together

experts and knowledge

from across the arts, sciences

and humanities.

If you're interested

in connecting the dots, explore

a bachelor's and master's degrees

as well

our professional short courses at LIS.ac.uk