How This AI Startup Grew by 100x in Just 6 Months | Fireworks AI, Lin Qiao

Summary

Lin, CEO und Mitgründer von Fireworks AI, betont die Bedeutung von Schnelligkeit und Lernbereitschaft in der schnelllebigen Technologiebranche. Fireworks AI, gegründet im Spätjahr 2022, hat Erfahrung in der Entwicklung von KI-Infrastruktur bei Meta. Sie bietet Lösungen für Unternehmen, die durch AI-Übergangsschwierigkeiten hindurchgehen. Die Firma verarbeitet täglich über 150 Milliarden Tokens und generiert mehr als 1 Million Bilder. Sie hat 25 Millionen aus Benchmark und 52 Millionen aus Sequoia erhalten, wobei der Bewertung nach der Finanzierung 552 beträgt. Lin diskutiert die Notwendigkeit von Startups, sich um sprunghafte Entwicklungen zu bemühen und schnell zu sein, um wettbewerbsfähig zu bleiben. Die Zukunft von Fireworks AI liegt in der Entwicklung von mehrmodalen KI-Systemen, die Text, Bild, Ton und APIs integrieren, um die besten Antworten für die Benutzer zu liefern.

Takeaways

• 🚀 Fireworks AI ist ein schnell wachsendes Unternehmen, gegründet von Lin und seinen MitgründerInnen Ende 2022, das auf der Basis von langjähriger Erfahrung bei Meta aufbaut.
• 💡 Die Erfahrung im Aufbau von KI-Infrastruktur hat Lin dazu inspiriert, Fireworks AI zu gründen, um anderen Unternehmen bei der AI-Transformation zu helfen.
• 📈 Fireworks AI verarbeitet täglich über 150 Milliarden Tokens und erzeugt mehr als 1 Million Bilder, was auf eine schnelle Wachstumsrate hinweist.
• 💼 Lin hat in der Vergangenheit bei Meta in der Dateninfrastruktur gearbeitet und hat festgestellt, dass der Datenwachstum durch KI getrieben wird.
• 💰 Fireworks AI hat erfolgreich Finanzierungsrunden absolviert, einschließlich einer von Sequoia geführten Runde mit 52 Millionen US-Dollar.
• 🔧 Die Software-Stack von Fireworks AI ist darauf ausgerichtet, die Notwendigkeit von GPUs zu minimieren und somit die Betriebskosten für Unternehmen zu senken.
• 🚀 Die schnelle Verarbeitung und Antwortzeit ist für die Attraktivität von Produkten entscheidend, was Fireworks AI durch seine Technologie ermöglicht.
• 🛠️ Die Mission von Fireworks AI ist es, neue Unternehmen dabei zu unterstützen, auf innovative KI-Technologie aufzubauen, ohne die Notwendigkeit einer großen ML- oder Infrastruktur-Team.
• 🔑 Fireworks AI legt großen Wert auf die Fähigkeit, schnell zu lernen und Probleme zu lösen, was für den Erfolg in der schnelllebigen Technologiebranche entscheidend ist.
• 🎯 Die Fokussierung auf Priorisierung und die Fähigkeit, Nein zu sagen, ist für das schnelle Wachstum von Startups wie Fireworks AI von großer Bedeutung.
• 🌐 Fireworks AI sieht die Zukunft der KI in der Mehrmodalität, was bedeutet, dass das Unternehmen Modelle für verschiedene Sinnesmodalitäten wie Sprache, Bilder und Audio anbietet.
• 🧠 Die Entwicklung von spezialisierten Modellen, die nur auf ihre Stärken eingehen und durch eine Power-Routing-Schicht zusammengeführt werden, ist ein zentraler Teil der Vision von Fireworks AI.

Q & A

Was ist das Hauptthema des Skripts?

Das Hauptthema des Skripts ist die Bedeutung der schnellen Anpassung und des Lernens in der schnelllebigen Technologiebranche, wie auch das Ziel von Fireworks AI, Unternehmen dabei zu unterstützen, die AI-Technologie nutzen und erweitern.

Wer ist Lin und welche Rolle spielt sie bei Fireworks AI?

Lin ist CEO und Mitgründerin von Fireworks AI, einer Firma, die sich auf die Entwicklung von KI-Infrastruktur konzentriert.

Wann wurde Fireworks AI gegründet?

Fireworks AI wurde im späten Jahr 2022 gegründet.

Was ist das spezifische Problem, das Fireworks AI lösen möchte?

Fireworks AI möchte Unternehmen dabei helfen, die Herausforderungen der AI-Erstübergangsphase zu bewältigen, indem sie ihnen die Möglichkeit bieten, auf innovative KI-Technologien aufzubauen, ohne dass sie große ML- oder Infrastrukturteams benötigen.

Was ist die Bedeutung von PyTorch in der KI-Industrie?

PyTorch ist eine weit verbreitete Open-Source-Maschinellen-Lern-Bibliothek, die in Bereichen wie personalisierte Inhalte für Streaming-Medien, Robotik und selbstfahrende Autos eingesetzt wird.

Wie hat sich die Wachstumsgeschwindigkeit der Daten bei Meta verändert, als Lin bei der Dateninfrastruktur arbeitete?

Die Datenwachstumsrate war erstaunlich schnell und wurde hauptsächlich durch KI getrieben, was Lin auf die Zukunft der Technologie aufmerksam machte.

Wie hat Fireworks AI in finanzieller Hinsicht gewachsen?

Fireworks AI hat eine erste Finanzierungsrunde von 25 Millionen Dollar von Benchmark erhalten und kürzlich eine weitere von 52 Millionen Dollar unter Führung von Sequoia geschlossen, wodurch die Bewertung auf 552 Millionen Dollar gestiegen ist.

Was sind die Hauptschwierigkeiten, mit denen Unternehmen konfrontiert sind, wenn sie große AI-Modelle einsetzen wollen?

Die Hauptschwierigkeiten sind die hohe Latenz und die langsame Antwortzeit großer Modelle sowie die hohen Kosten für GPUs, die für den Betrieb dieser Modelle erforderlich sind.

Wie plant Fireworks AI, die GPU-Anforderungen und damit die Kosten für Unternehmen zu minimieren?

Fireworks AI hat eine Software-Stack entwickelt, der darauf abzielt, die GPU-Anforderungen zu minimieren und damit die Betriebskosten für Unternehmen zu senken.

Was ist das Ziel von Fireworks AI für die Zukunft?

Das Ziel von Fireworks AI ist es, in die Multimodalität zu expandieren und ein Compound-AI-System zu entwickeln, das verschiedene Modelle und APIs nutzt, um den bestmöglichen Service für die Benutzer zu bieten.

Welche Rolle spielt die Eigenschaft 'Aptitude' im Rekrutierungsprozess von Fireworks AI?

Aptitude ist wichtiger als Erfahrung, da es die Lernfähigkeit und das Problemlösungsvermögen angibt, die für die schnelllebige Technologiebranche und die Herausforderungen von Fireworks AI entscheidend sind.

Outlines

00:00

🚀 Gründung und Entwicklung von Fireworks AI

Lin, CEO und Mitgründer von Fireworks AI, beschreibt die schnelle Entwicklung der Technologie und die Herausforderungen, die Unternehmen bei der Umstellung auf künstliche Intelligenz (KI) erleben. Fireworks AI wurde Ende 2022 gegründet und hat eine Erfahrung in der Erstellung von KI-Infrastruktur bei Meta. Das Unternehmen verarbeitet täglich über 150 Milliarden Tokens und generiert mehr als 1 Million Bilder. Finanziell hat Fireworks AI in der ersten Runde 25 Millionen Dollar von Benchmark erhalten und kürzlich eine weitere 52 Millionen Dollar in einer Runde geführt von Sequoia erhalten, was zu einer Bewertung von 552 Millionen Dollar führte. Lin reflektiert über seine Karriere und die Bedeutung der Technologie-Geschäftstransformation, die ihn interessiert hat, und wie er die KI-Abteilung von fünf auf 300 Mitarbeiter in fünf Jahren erweitert hat. Er betont die weit verbreitete Nutzung von PyTorch in verschiedenen Branchen und wie Fireworks AI Unternehmen dabei helfen möchte, KI-Technologie zu nutzen, ohne eine große ML- oder Infrastrukturteam zu haben.

05:02

🛠 Prinzipien für Startups und KI-Modelle

Lin diskutiert die Prinzipien, die für Startups wichtig sind, um erfolgreich zu sein. Er betont, dass Startups nicht an inkrementellen Projekten arbeiten sollten, sondern vielmehr auf eine zehnfache schnellere Kundenakzeptanz und Infrastrukturlatenz sowie eine höhere Skalierung abzielen sollten. Er erklärt, dass Startups schnell sein müssen, um der Konkurrenz zuvorzukommen und Entscheidungen schnell treffen zu können. Er betont die Notwendigkeit, harte Fragen zu stellen und sich zu fragen, ob ein Projekt den Geschäftserfolg beeinflusst und ob man eine Veränderung der Metriken sehen kann. Lin schildert auch die Vision von Fireworks AI, die darin besteht, mehr als nur Sprachmodelle zu bieten, indem sie in Multimodalität expandieren und Modelle umfasst, die Bilder, Audio und andere Signale verarbeiten können. Er vertraut darauf, dass dies die Zukunft der KI ist und wie Fireworks AI bereits über mehr als 100 Modelle für verschiedene Modalitäten verfügt, die Kunden auswählen können.

10:04

🔍 Fokus auf Fähigkeiten und kontinuierliche Verbesserung

Lin legt den Fokus auf die Bedeutung von Fähigkeiten gegenüber Erfahrung, was in der schnelllebigen Technologiebranche entscheidend ist. Er beschreibt seine früheren Erfahrungen mit dem Impostor-Syndrom und wie er es in die Gewohnheit verwandelte, kontinuierlich zu reflektieren und zu verbessern. Er betont die Notwendigkeit, ständig nach Verbesserungsmöglichkeiten zu suchen und diese mit dem Team zu teilen, um gemeinsam schneller und effizienter voranzukommen. Lin sieht die kontinuierliche Verbesserung und die Fähigkeit, schnell zu lernen und Probleme zu lösen, als entscheidend für den Erfolg in der heutigen KI-Industrie.

Keywords

💡Technologie

Technologie bezieht sich auf die Anwendung von Wissen in der Praxis, um Probleme zu lösen und Produkte oder Dienstleistungen zu schaffen. Im Video wird betont, dass die schnelle Bewältigung neuer Technologieen entscheidend ist, um in der schnelllebigen Branche erfolgreich zu sein. Das Unternehmen Fireworks AI ist ein Beispiel für die Anwendung fortschrittlicher Technologie in der KI-Branche.

💡Lernfähigkeit

Lernfähigkeit ist die Fähigkeit, schnell neue Informationen aufzunehmen und zu verstehen. Im Kontext des Videos ist die Lernfähigkeit ein Schlüsselfaktor für den Erfolg in der Technologiebranche, da sie es ermöglicht, sich schnell an Veränderungen und neue Technologien anzupassen.

💡Problemlösung

Problemlösung ist das Verständnis und Anwenden von Fähigkeiten, um Herausforderungen zu identifizieren und Lösungen zu finden. Im Video wird betont, dass eine entschlossene Problemlösung für den Erfolg in der Technologiebranche von großer Bedeutung ist, da sie es ermöglicht, schnell auf neue Anforderungen zu reagieren.

💡Fireworks AI

Fireworks AI ist das von Lin gegründete Unternehmen, das sich auf die Entwicklung von KI-Infrastruktur konzentriert. Im Video wird die Gründungsgeschichte und die Ziele von Fireworks AI beschrieben, einschließlich der Unterstützung anderer Unternehmen bei der Übergangsphase zu einer AI-geführten Infrastruktur.

💡AI-Infrastruktur

AI-Infrastruktur bezeichnet die Hardware, Software und Tools, die für die Entwicklung und den Betrieb von KI-Anwendungen erforderlich sind. Im Video wird die Bedeutung einer robusten AI-Infrastruktur hervorgehoben, um Unternehmen dabei zu unterstützen, die AI-Technologie in ihre Geschäftsprozesse integrieren.

💡Investition

Investition bezieht sich auf das Einbringen von finanziellen Mitteln in ein Unternehmen oder ein Projekt in der Erwartung einer zukünftigen Rentabilität. Im Video werden die Finanzierungsrunden von Fireworks AI erwähnt, die den Wachstum und die Expansion des Unternehmens ermöglichen.

💡Datenwachstum

Datenwachstum beschreibt die schnelle Zunahme der Datenmenge, die von Unternehmen gesammelt, gespeichert und verarbeitet wird. Im Video wird die Beobachtung des Datenwachstums als Auslöser für die Erkenntnis, dass AI ein Haupttreiber dieses Phänomens ist.

💡PyTorch

PyTorch ist eine beliebte Open-Source-Bibliothek für maschinelles Lernen, die von vielen Unternehmen für die Entwicklung von KI-Modellen verwendet wird. Im Video wird erwähnt, dass PyTorch in Bereichen wie personalisierte Inhalte für Streaming-Medien und Robotik eingesetzt wird.

💡Selbstfahrende Autos

Selbstfahrende Autos sind Fahrzeuge, die ohne menschliche Eingriffe selbstständig fahren können. Im Video wird erwähnt, dass fast alle Unternehmen, die an selbstfahrenden Autos arbeiten, PyTorch verwenden, um die KI-Modelle für diese Fahrzeuge zu entwickeln.

💡Multimodalität

Multimodalität bezieht sich auf die Fähigkeit, verschiedene Arten von Daten und Eingabeformen zu verarbeiten und zu verstehen, wie zum Beispiel Text, Bilder, Audio usw. Im Video wird die Bedeutung von Multimodalität für die zukünftige Entwicklung von KI-Systemen hervorgehoben, um eine breitere Bandbreite von Anwendungsfällen abzudecken.

💡Halluzination

Im Kontext von KI bezieht sich Halluzination auf die Tendenz von Modellen, unrealistische oder fehlerhafte Informationen zu erzeugen, wenn sie außerhalb ihres Wissensbereichs operieren. Im Video wird dies als Problem für Anwendungsentwickler beschrieben und es wird eine Lösung durch spezialisierte Modelle und eine Power-Routing-Schicht vorgeschlagen.

💡Fokus

Fokus bedeutet, sich auf bestimmte Aufgaben oder Ziele zu konzentrieren, um die besten Ergebnisse zu erzielen. Im Video wird der Fokus als Schlüssel zum schnellen Wachstum und zur erfolgreichen Durchführung von Projekten in einer Startup-Umgebung betont.

💡Dringleschäden

Dringleschäden beschreibt das Phänomen, bei dem sich Menschen in einer fachfremden Position fühlen und sich unwohl oder unqualifiziert in ihrer Rolle befinden. Im Video wird dies als ein früheres Erlebnis von Lin beschrieben, das jedoch zu einer ständigen Selbstreflexion und Verbesserung führte.

Highlights

Fast-moving technology in AI is emphasized, with a focus on quick learning and problem-solving abilities.

Introduction of Lin, CEO and co-founder of Fireworks AI, with experience from Meta.

Fireworks AI was founded in late 2022 to address the AI infrastructure needs of companies.

The company processes over 150 billion tokens and generates more than 1 million images daily.

Fundraising achievements include a first round from Benchmark and a recent round led by Sequoia, with a significant valuation increase.

Lin's career journey through technology-enabled business transformations, with a focus on the mobile-first transition at Facebook.

Observation of data growth driven by AI and the decision to build a team in the AI space, growing from five to 300 people.

PyTorch's widespread adoption in industries like streaming media and self-driving cars.

Fireworks AI's mission to enable businesses to flourish with AI technology without the need for large AI teams.

Challenges in running large AI models due to their size and the need for expensive hardware like GPUs.

Fireworks AI's software stack designed to minimize GPU needs and control operational costs.

The company's rapid growth, with traffic increasing by 100 times in the past six months.

Key principles for startups: avoiding incremental work and focusing on significant leaps in customer adoption and infrastructure latency.

The importance of speed and agility in startups to outrun competition and the ability to make quick decisions.

The necessity of prioritization and asking hard questions about the impact of projects on business metrics.

The expansion beyond large language models to multi-modal AI systems that understand and generate images, audio, and more.

Fireworks AI's platform serving over 100 models across various modalities to meet diverse customer needs.

The challenge of AI models' limited knowledge and the solution of focusing on specialty models and building a power routing layer.

The importance of aptitude over experience in hiring, seeking individuals with a strong drive and quick learning ability.

Lin's personal approach to self-reflection and continuous improvement, encouraging team collaboration for better efficiency.

The vision for 2023 and beyond, focusing on large language models and expanding into multi-modal AI systems.

Transcripts

This is a fast moving technology. Everything is new.

How fast you pick up, how fast your learner,

how determined your problem solver.

That makes a huge difference. Hi I'm Lin.

I'm CEO and co-founder of fireworks AI. I started Fireworks AI

with my co-founders late 2022.

We have a long time experience working at Meta.

Building AI infrastructure from ground up.

And we work with many companies in the industry and experience their pain

going through this AI first transition.

Without teams like us, without no house, without proper hardware,

without the right software and tools.

Today we're processing more than 150 billion tokens per day and generating more

than 1 million images per day.

From the funding point of view, we have raised the first round

from benchmark 25 million,

and then recently we just closed around led by Sequoia with 52 million investment

and Post-money 552 as the valuation.

So our valuation grew by four times.

Throughout my career, I've been through waves of technology enabled business

transformation, waves of it, and that particular intersection of technology

and business deeply interests me.

And then we go through mobile first transition.

That's a huge tectonic shift.

I want to join a company where they are on the forefront of this transition.

That's Facebook.

When I joined, Facebook just finished the transition from desktop to mobile first.

So when I initially joined meta, I joined the data infrastructure team.

And when I I'm running the team, I look at the stats of data growth,

and the data growth is mind blowing.

It's just so fast it doesn't make sense I asked myself,

I need to figure out what's going on here.

And I did a drill down and figure out, oh, majority of data growth

is driven by AI. That is clear to me.

That's the future.

And there's a lot of unsolved problem because there's a new emerging area.

So I moved to the AI space, and that's why I started to build a team

from five people to 300 people over the course of five years.

So PyTorch is very widely adopted.

For example, many of us use Netflix or other streaming media.

The content on Netflix is heavily personalized.

Many of those recommendation models are PyTorch models.

PyTorch has been heavily used in robotics. Self-Driving cars.

Almost all self-driving car companies use PyTorch, including Tesla

Me and my co-founder has spent years at Metta, and we have hundreds of people

building all the AI infrastructure, supporting models, AI first transition.

While I also have many friends working other big companies in the industry,

they are way behind metta and when they go through the first transition,

they don't have hundreds of people, machine learning team

or AI infra team to help them.

So our mission of starting fireworks AI

is to enable new businesses to flourish.

Building on top of this innovative AI technology without 100 people,

machine learning, engineering team and infrastructure team.

Generally AI is very big, the model is very large and it's just

very slow to run these models.

So not having very low latency and fast response makes that product

not appealing at all.

So we know this is a big pain point.

Another big pain point is the general AI model is so big and they have to run on

GPU and they have to acquire a lot of GPU. And GPU is so expensive.

If they're lucky to get the GPU, it's they have never seen such a big bill before.

So we designed our software stack to minimize your GPU needs

to solve your problem.

In that way.

It's significant control the cost operation cost for the company.

So then our customer has will have a viable business when they scale quickly

to ten x 100 x 1000 x more customers.

Within the past half a year,

our traffic grow by 100 times.

Today, we're processing more than 150 billion tokens per day and generating more

than 1 million images per day.

If there are a few key things about startups,

one is to not work on incremental work.

Do not pick on incremental things.

It's human nature to work on projects that we know we can deliver.

But it's not for startups.

Startups are pushing for ten x ten x faster customer adoption, ten x faster

infrastructure latency ten x higher scale.

Startups are only here for ten x. It's for a huge leap.

The second is startups are not for slow moving pace.

It has to kind of outrun and outpace competition.

There should have already been incumbents occupying this, occupying the space.

And the speed is advantage of startups because we don't have

the burden of coronation.

We don't have the burden of Slow decision making.

Be able to say no is essential for moving fast, because over time it's you

can justify hey, why we should add this, why we should add that.

And then the same person got time slices into multiple

different top priority things.

So I think laser focus on prioritization and really ask hard question

does this project really move the bottom line of our business?

Can we visually see that our metrics will change?

I think that have the principle to drive that conversation and be

able to say no, it's very important.

Again, the goal is not to make people happy.

That's not the goal. And the goal is to make a solid product

decision or strategy decision and have everyone laser focus on delivering that.

That's the key point.

Starting this company were constantly asking ourselves,

are we working on the right problems?

Can we deliver this today and can we move faster?

I think that mentality is deeply ingrained

into us, and that's also essential to, I think, to build a successful startup

is kind of have a huge sense of urgency

to keep asking, why not today?

Why not yesterday? Why not faster?

2023 has been a year where we laser focus on large language model with texting

text out of this year and beyond.

That will not be sufficient because a lot of business tasks will

emulate what's happening in real life.

And in real life, we communicate way beyond text We speak

and we use visual to collect signals.

And so that's where we have to expand beyond large language model

into models who understand images, who can generate images, who understand

audio, who can generate audio.

And I firmly believe the direction for the industry to move forward to

is to into Multi-modality.

And today on our platform, we already serve more than 100 models

across all these modalities, from large language models to audio models

to image generation models.

We have a very broad variety of modality

for our customer to pick and choose from.

With that said, it's still not enough because every single model has limited

knowledge, and the fundamental reason is those models are like child in the school.

They learn from textbook and those gen AI models learn from training data,

and training data is finite.

It's not infinite.

If you ask the question, it will have to give you an answer in a probabilistic way.

When it goes out of its knowledge, it's going to hallucinate.

So that hallucination is a big problem for application developers.

And the way to address that is

to let each model focus on its specialty.

Only answer questions when it's good at,

and we are building a power routing layer.

It's called function calling.

So we have our proprietary knowledge to to figure out which specialty model

to routing to, to give the best answer.

It does not just routing to different models, different modality.

It can also routing to APIs.

APIs could be search, could be weather, could be stock price

could be many other things.

So then this model is able to pull together the totality of knowledge

to give the best answer to to our users.

This is the form and shape of compound

AI system, and fireworks is growing into

and building into our next generation compounding systems.

Very simple aptitude.

It's not about experience.

I actually prefer aptitude over experience.

I need to see the fire in the belly. Super hungry, super motivated.

That trumps anything else because this is a fast moving technology.

Everything is new.

How fast you pick up, how fast your learner.

How determined your problem solver. That makes a huge difference.

In the early stage of my career I have this deep imposter syndrome.

So I think a lot it's actually a way of self-reflection, and I constantly

think about what I can do better, how I can do things differently.

But later on it becomes a habit.

It just when we take some action, we do things.

I will observe, hey, is this going as expected?

And if it's different, then why it's different

and how we can be more efficient?

And what are the small changes or big changes we can introduce to the process,

to the way we do things to to be better, to move faster.

So and then I share my thoughts with my team.

Sometimes I will ask them, hey, what do you think?

How this is going, what we can do differently.

So just kind of build this muscle over time.

We just think together as an as an,

as a team to, to kind of always there's always room to improve.