How to make AI Startup worth over $30M l Twelve Labs Jae Lee

Summary

Jae、Twelve Labsの共同創設者兼CEOは、彼らの創業物語、ビジョン、AIとビデオ理解に対する情熱について語ります。Twelve Labsは、サンフランシスコとソウルに拠点を置くAI研究および製品会社で、ビデオ中心の製品を開発している開発者と企業向けのビデオ基盤モデルを構築しています。同社は、Nvidia、Intel、Samsungとのパートナーシップを含む著名な投資家からの資金調達に成功し、強力なセマンティック検索、分類、要約APIを提供しています。Jaeは技術革新、教育、持続可能な成長の重要性を強調し、野心的な目標の設定とその達成に向けた情熱の重要性を説明します。

Takeaways

• 👥 創業チームのメンバーは、軍隊にいた頃から少しずつチームを作って準備をしていた。軍隊にいた時は週末に集まって開発作業をしていた。
• 🧠 Twelve Labsは、動画を人間のように理解できる大規模な人工知能モデルを構築している。これにより、動画の検索、分類、要約などができるようになる。
• 🎯 Twelve Labsは、動画理解の問題に正面から取り組み、言語や画像の問題に置き換えるのではなく、動画そのものを扱うことを重視している。
• 🏆 Twelve Labsは、ICCVの動画理解コンペティションで優勝し、顧客や投資家からの注目を集めることができた。
• 👩‍💻 Twelve Labsのモデルは、ヒト用の言語と動画コンテンツをマッピングする能力を学習している。
• 🌐 Twelve Labsの検索APIは、2023年6月にソフトローンチされ、2万人以上の開発者に利用されている。
• 📈 Twelve Labsの技術は、大手クリエイター、メディア・エンターテインメント企業、スポーツ団体、法執行機関などで採用されつつある。
• 💡 技術的な製品を作る際は、技術者以外の人々にも理解してもらえるよう、分かりやすく説明することが重要である。
• 🏰 自社のデータを活用してファインチューニングを行うなど、独自の強みを持つことが重要で、人工知能モデルのAPIに全面的に依存するのは危険がある。
• 🚀 創業者には、非常に大きな目標を設定し、難しい問題に取り組む決意が必要である。そうすれば、より大きなインパクトを生み出せる。

Q & A

トゥエルブラボの設立理由は何ですか?

データの80%がビデオ形式であるにもかかわらず、開発者や企業がそれを理解するための適切な技術がないことに着目し、その課題に取り組むためにトゥエルブラボは設立されました。

トゥエルブラボはどのようなサービスを提供していますか?

ビデオ解析のための大規模な人工知能モデルを構築し、開発者に対してAPIの形でそのモデルを提供しています。彼らのAPIはビデオの検索、分類、要約などの機能を提供します。

トゥエルブラボの創業者たちは、どのようにして会社を立ち上げたのですか?

創業者の一人であるエイデンが除隊するまで、週末に軍事基地の近くのベーグル店で会社の構想を練り、リサーチを行っていました。その後全員が除隊した時点で本格的に会社を始動させました。

なぜトゥエルブラボは、ICV(国際コンピュータビジョン会議)に参加したのですか?

トゥエルブラボの技術力を世界に知らしめ、顧客や投資家からの認知を高めるためにICV(ビデオ解析の大会)に参加し、優勝することで注目を集めました。

トゥエルブラボのAIモデルはどのように機能しますか?

人間の言語とビデオ内容をマッピングすることで、ビデオの検索、分類、要約などの機能を実現しています。数百万時間分のビデオデータを学習させ、言語とビデオの対応関係を学習しています。

トゥエルブラボのAPIは、どのようなユーザーに利用されていますか?

クリエイター、メディア、エンターテイメント、スポーツ組織、法執行機関など、様々な分野の企業や組織に採用されています。特に証拠映像の管理などのミッションクリティカルな用途で活用されています。

他社のAIモデルに依存しすぎるリスクについて、どのようなアドバイスがありますか?

自社のビジネスをOpenAIやその他社のモデルに完全に依存するのは危険です。自社の独自データを活用してファインチューニングを行い、モデルをカスタマイズすることが重要です。

起業家に向けて、どのようなアドバイスがありますか?

目標を高く持ち、難しい課題に取り組む決意が大切です。当初の目標が低ければ、影響力の小さい成果に終わってしまうかもしれません。高い目標を持つことで、より大きな影響を与えられるはずです。

トゥエルブラボの今後の展開はどうなりますか?

新しいモデルのリリースに伴い、月間APIコール数が1億を超えることを期待しています。今後も技術の改善を重ね、より高度なビデオ解析を実現する予定です。

専門的な製品を一般の人にどう説明するべきでしょうか?

技術的な製品であっても、その製品の影響力や重要性を一般の人にも分かりやすく説明する努力が重要です。技術者だけでなく、より広い層の人々に製品を理解してもらう必要があります。

Outlines

00:00

🚀 「Twelve Labs」という企業と製品、そして創設ストーリー

この段落では、「Twelve Labs」という企業とその製品、そして創業者たちの創設ストーリーが語られています。同社は、ビデオ解析AIモデルを開発し、APIとして提供することで、開発者や企業がビデオコンテンツを高度に分析・活用できるようにすることを目指しています。創業者たちは、韓国サイバー司令部に所属していた頃から、週末に集まりながらこの事業構想を温めてきました。当初5人から始まり、現在は40人を超える規模に成長し、シード資金3000万ドルを調達しています。Nvidiaなど大手企業とのパートナーシップも結んでいます。

05:02

🧑‍🔬 Twelve Labsのビデオ解析AI技術の独自性と秘訣

この段落では、Twelve Labsのビデオ解析AI技術の独自性と秘訣について説明されています。同社は、ビデオコンテンツから人間の言語を生成するAIモデルを構築しており、これによりビデオの検索、分類、要約などが可能になります。従来の言語処理やイメージ処理のアプローチを避け、ビデオを最優先に据えてAIモデルを開発したことが肝心です。また、大量のビデオデータを利用したり、著作権に配慮したデータパートナーと提携したりするなど、独自の取り組みが行われています。優れた技術力と先見性が同社の強みとなっています。

10:05

💡 急成長するTwelve Labsの製品と今後の展望

この段落では、Twelve Labsの製品が急成長していること、そして今後の展望が語られています。同社はビデオ検索APIをすでに公開しており、2万人以上の開発者が利用し、月間APIコール数も数百万件に達しています。大手クリエイター、メディア、スポーツ団体、法執行機関など、さまざまな企業にも製品が採用されつつあり、今後さらに成長が見込まれます。AIが世界に大きな影響を与えることが予想されるため、AIを理解し活用するための努力が重要だと創業者は説いています。また、ユニークなデータを確保してカスタマイズしていく姿勢が、AIベンダーに依存しすぎないための秘訣だと指摘しています。最後に、大志を抱き、困難な課題に立ち向かうことの大切さが強調されています。

Keywords

💡ファウンデーションモデル

ファウンデーションモデルとは、大規模な人工知能モデルで、多様なタスクを同時に処理できるものを指します。本ビデオでは、Twelve Labsがこのようなモデルを構築し、開発者や企業に提供していると説明されています。ファウンデーションモデルは、ソフトウェアに知能を提供する基盤となるため、このように呼ばれています。「ファウンデーションモデルの考え方は、私たちが解決しようとしている問題がとてつもなく大きいということです。世界のデータの80%がビデオ形式なのに、開発者や企業がそれを理解する適切なソリューションがありませんでした。」というように、ファウンデーションモデルの必要性が語られています。

💡ビデオ理解

ビデオ理解とは、人工知能がビデオコンテンツを人間のように理解する能力を指します。Twelve Labsはこの分野に特化しており、「私たちは、人間のように動画を理解できる超巨大な人工知能モデルを構築しています」と説明されています。ビデオ理解の重要性は、「世界のデータの80%がビデオ形式」であることから窺えます。ビデオ理解能力を開発者向けAPIとして提供することで、強力なセマンティック検索や分類、要約機能をプロダクトに組み込めるようになります。「警察が所有する膨大な量のボディカムフッテージに対して、特定の証拠を見つけたり、報告書を作成するのに役立ちます。」といった具体例も挙げられています。

💡マルチモーダルAI

マルチモーダルAIとは、複数のモダリティ(テキスト、画像、音声、ビデオなど)を統合して処理できる人工知能のことです。本ビデオでは、Twelve Labsのモデルがビデオを中心としたマルチモーダルな処理を行うことが示唆されています。「私たちは、正確な人間の言語をビデオコンテンツにマッピングできるモデルを構築しています。これにより、優れた検索、分類、要約機能が得られます。」というように、複数のモダリティを扱う能力がマルチモーダルAIの鍵となります。マルチモーダルAIは、現実世界をよりよく反映できるため、今後のAI発展に必須とされています。

💡イノベーション

イノベーションとは、新しい価値を生み出すことを意味する言葉です。本ビデオでは、Twelve Labsがビデオ理解の問題に対してイノベーティブなアプローチを取っていると説明されています。「問題を言語理解や画像理解に置き換えようとするのではなく、最初からビデオ中心のアプローチを取ってきました。これが私たちの秘訣です。」とあるように、従来の手法に捉われずに新しい解決策を見出したことがイノベーションにつながったと考えられています。また、「ビデオ中心の発想から、新しい技術を構築する必要がありました」と語られており、イノベーションが新技術の開発をもたらしたことが分かります。

💡データパートナーシップ

データパートナーシップとは、必要なデータを適切に取得するために、他社やデータプロバイダーと提携することを指します。Twelve Labsは大規模なビデオデータの収集や加工が重要であり、「私たちは、ラベル付きデータの提供や適切なライセンス取得を行う素晴らしいデータパートナーと協力しています。」と語られています。人工知能モデルの性能は、トレーニングに用いるデータの質と量に大きく依存するため、データパートナーシップは非常に重要な戦略となります。データの収集や利用に関する法的・倫理的課題への対応にも役立ちます。このように、データパートナーシップはイノベーションを支える重要な要素なのです。

💡スケーラビリティ

スケーラビリティとは、システムの拡張性や柔軟性を指す言葉です。本ビデオでは、Twelve Labsのシステムが「ペタバイト級のデータ」と「長時間のビデオ」に対応できるよう設計されていることが強調されています。「私たちのシステムは、ペタバイトのデータと長時間のビデオに対応できるように作られています。」このように、大規模データやリソースの変化に柔軟に対応できるスケーラビリティが重視されています。人工知能の分野では、トレーニングデータの規模が常に拡大しているため、スケーラブルなシステムが必須となります。Twelve Labsはこの点を考慮したアーキテクチャを採用し、将来の発展に備えているのです。

💡プロダクト化

プロダクト化とは、技術やアイデアを実用的な製品またはサービスに転換することを指します。本ビデオでは、Twelve Labsが開発したビデオ理解モデルを、開発者向けのAPIとしてプロダクト化していることが分かります。「私たちはAPIでモデルを開発者に提供しており、彼らはそれを強力な検索機能やその他の機能に組み込むことができます。」というように、技術的な成果をプロダクトとして具体化し、顧客に提供していることが強調されています。プロダクト化は重要な段階で、研究開発の成果を実際のビジネスに結びつけ、収益を生み出す手段となります。

💡サイバーセキュリティ

サイバーセキュリティとは、コンピューターシステムやネットワークを不正アクセスや攻撃から守る取り組みのことを指します。本ビデオでは、Twelve Labsの創業者たちが韓国のサイバーコマンドでサイバーセキュリティの経験を積んでいたことが明かされています。「私たちは皆、韓国のサイバーコマンドに入隊したわけではありませんでした。私は来年退役し、SJさんは1年後に、そしてAidenさんはさらにその6か月後に退役することになりました。」このように、サイバーセキュリティの経験が、後のTwelve Labsの立ち上げに影響を与えたと推測できます。サイバーセキュリティの専門性は、大規模な映像データの取り扱いや保護に関する知見を与えたのかもしれません。

💡製品開発プロセス

製品開発プロセスとは、アイデアを具体的な製品に変換するための一連の手順や活動を指します。本ビデオでは、Twelve Labsが受賞歴のあるコンペティションから始まり、APIの開発と提供、そしてユーザーのフィードバックを受けるプロセスが語られています。「私たちはICC(国際コンピュータービジョン会議)のコンペティションに参加し、優れた成績を収めました。これにより顧客や投資家から注目されるようになり、最初のAPIを開発する契機となりました。」また、「現在月間200万件を超えるAPI呼び出しに到達しています。」と製品の進捗も説明されています。このように、着実な製品開発プロセスを経て、研究開発の成果を市場に届けていることが分かります。

💡ビジネスモデル

ビジネスモデルとは、企業が収益を生み出し、持続可能な事業を営むための仕組みや戦略のことです。本ビデオでは、Twelve LabsがモデルをオープンソースではなくAPIとしてサービス提供していることが重要な点として語られています。「OpenAIなどの他社のAPIに完全に依存するのは危険です。自社の独自データを用いてファインチューニングすることで、ビジネスの独自性を確保できます。」というように、APIによる有料サービス提供がTwelve Labsのビジネスモデルの中心となっていると考えられます。また、データパートナーシップなどの戦略も、収益化に向けた重要な要素と言えます。優れた技術を持ちながら、適切なビジネスモデルを構築することが成功の鍵となります。

Highlights

Twelve Labs is an AI research and product company building video foundation models that can understand videos like humans and serve them via APIs to developers and enterprises building video-centric products.

The founders had the idea to start the company while serving in the Korean Cyber Command, meeting up on weekends at a bagel shop to work on their idea before being discharged.

Twelve Labs took a 'video first' approach, focusing on building systems and models designed specifically for video understanding, rather than reframing the problem into language or image understanding.

To gain exposure, Twelve Labs participated in and won an international computer vision competition for video understanding, attracting customers, investors, and partners.

Twelve Labs' model aims to map human language to video content, enabling capabilities like search, classification, and summarization.

Twelve Labs soft-launched its search API in June 2023, with over 20,000 developers actively using it and crossing millions of monthly API calls.

Large enterprise customers, including creators, media/entertainment, sports organizations, and law enforcement, have adopted Twelve Labs' technology.

Explaining the impact of one's technical work to non-technical audiences is crucial.

AI will impact various industries, so understanding the technology and building a unique moat is essential for businesses leveraging AI.

Relying too heavily on foundation models can be dangerous, as improvements to those models may affect businesses built solely on top of them.

Having an ambitious goal and determination to solve incredibly hard problems is crucial for founders, as it fuels progress and leads to greater impact.

Nvidia's venture team reached out to Twelve Labs, seeing video understanding as a perfect match for their chips and Twelve Labs' work.

The Twelve Labs model is trained on hundreds of millions of video samples to learn mapping human language to video content.

Twelve Labs worked with data partners to license and access data in a copyright-friendly manner for training their model.

Founders should set incredibly ambitious goals that may seem unreachable, as this drives them to achieve more impactful results.

Transcripts

Aidan and I had chance to meet with Jensen.

We had, I think, 5 to 10 minutes to talk about Twelve Labs.

And I think Jensen always it seems like he has a special place in his heart

about computer vision and video understanding is that was one of the first

use cases that Nvidia chips powered.

And then the Nvidia's venture team reached out to us.

We were talking about the future that we're drawing, and I think the venture

team also had an idea of what Twelve labs is doing and what Nvidia wants.

Vision and video understanding was just like a perfect match.

Hi yo, my name is Jae.

I'm one of the co-founders and CEO of Twelve labs. 12 labs is an AI

research and product company based here in San Francisco and Seoul.

We're building video foundation models for developers and enterprises

building video centric products.

We basically build humongous AI models that can understand videos like humans,

and we serve it to developers via APIs that are looking into building really

powerful semantic search or classification or summarization into their products.

And we started the company about two and a half years ago with five people.

And right now we are a little over 40 across Seoul and San Francisco,

with $30 million raised in seed funding from companies like Index Ventures, Radical

Ventures, and with recent partnership with Nvidia, Intel and Samsung.

So foundation model.

It's basically this really large AI model that can do many things at once.

It's at the foundation of providing intelligence to software.

So the idea was, hey, the problem that we're solving is massive.

80% of the world's data is in video, and there's no adequate solution

technology out there for developers and enterprises to make sense of it all.

So that is the market that we're tackling.

We want to index all of that in like 80% of the world's data.

So the US Police department owns terabytes and petabytes worth

of police body cam footage, and we call it digital evidence management.

And police officers spend a lot of time looking through a specific evidence

within the content that they captured for auditing purposes or for writing reports.

So if you think about it, you know, their main job is to be out on the streets

helping the citizens, protecting the security of this nation.

And, you know, they're spending too much time searching for things.

So 12 lap search and generate APIs can help searching for digital

evidence incredibly fastly, as well as writing police report generation

is also cut down by more than 40%.

In terms of like time spent, these are some mission critical use cases

that Twelve labs products are being used.

So the founding story is Wild Man because, you know, we didn't all join

the Korean Cyber Command at the same time.

So like, okay, we decided we're gonna start this company,

but then SJ is like leaving next year and then I'm leaving the year after,

and then Aiden's like six months after.

So how do we do it? Right.

So it was genuinely very scary. So we had our ideas.

Okay SJ when you get discharged, you bring all of our laptops

and you visit us every weekend.

You take us out and then we'll go to a bagel shop and we'll work.

I clearly remember talking to Aiden after SJ had left.

I remember SJ was discharged on Thursday and he came back to the military base

Saturday of that week with our laptops and in front of our military base

there was a bagel shop called La Bagel, and that was like our office, bring all of

our laptops and we would do our research.

So we did that for like a good year before so that everyone is out.

Some people say ignorance is bliss.

And I think we were just like really naive and just really excited

about building this company.

I guess not knowing what was ahead allowed us to do what we did.

You have to understand how are we creating stronger product by leveraging AI?

Are you just showing your investors that, oh, like we've implemented GPT into our

product, or is it actually creating value?

And are you capturing value at a level that OpenAI or other companies

can't really capture?

So I think the secret sauce of 12 labs is just going head on with the problem.

I think a lot of companies might have failed because they tried reframing

the video understanding problem into language understanding or image

understanding or speech understanding.

Right.

Makes sense because that's where we've seen most improvement with large language

models with amazing speech to text models.

So it's easy to think that, oh, video is incredibly hard.

How can I reframe that problem into something that's already solved?

And sometimes it works, but for some really important task,

that approach does not work.

For Twelve Labs, we've always had video first ethos, so when we created our machine

learning pipeline systems to our models, we always had videos in mind

and our system should be able to handle petabytes worth of data as well

as this, like really long videos.

Videos are usually, you know, not ten 15 seconds long.

It's like two hours, three hours, four hours long.

So we had that video first ethos like from the get go, and we had to build

a bunch of new technologies to support it.

So not taking the shortcut and going head on with the problem and not reframing it,

and really innovating is probably the secret sauce that we have.

The important thing is, if you're building something really impactful and you

think that it's going to significantly change the industry that you're in,

there will always be someone that has very similar thesis.

It's just a matter of how do you get yourself out there?

How do you let the people know that you exist?

And for us, that was the competition.

Figuring out what was going to be impactful that we can do given our current

resources that will put us in the map, or at least, you know, let the world know

that what we're doing is relevant.

So our tactic here was, okay, we're going to talk to a bunch of customers.

And there were early believers in Twelve Labs who took our APIs and build awesome things

with us, but we needed more exposure.

Basically, we're already getting a lot of questions

about how is Google better than you?

Or you actually better than Google? Or are you actually better than Microsoft?

So as a team, we've decided to participate in ICC.

It's international conference in computer Vision.

They're putting this like awesome competition for video understanding.

So basically the competition dedicated for evaluating AI models

kind of ability to understand videos.

Back then we talked to Aiden and hey Aiden, I think we should participate

and see what we can do.

We have nothing to lose and only to gain.

The team was extremely supportive of of Aiden kind of spearheading

that effort with the team, with a limited number of team.

I think we only had like three team members back then.

All I can do to support is, you know, there was some ideas and,

and directional kind of feedback that I gave to Aiden, but we needed compute

and we needed determination to put some serious cash behind and back.

Then for Twelve Labs like $200,000 in in compute was a lot of money for us.

Right.

So and just thinking that, okay, we're going to blow through $200,000

in ten days in compute was really scary.

But the team was able to use that capital, that precious capital,

and build something incredible helped us win the competition.

And serious customers, investors that are really serious about video

and solving this video problems had their eyes on that competition, right?

And that's how we were able to get a lot of inbounds from not only customers,

but also investors that had thesis around multimodal AI. So that really took

us off fast iterations of building out our initial set of APIs so that our

customers can test it so that they can build trust with the top labs technology,

the model that Twelve Labs is building.

So the tasks that it's optimizing for is it's basically trying

to map human language into whatever that's happening in video content.

Right?

So if you can map precise human language to whatever that's happening

within video content that gives you this emergent capabilities, like being able to

search for things really well or being able to classify things or summarize.

Right. So that is what the model is doing.

And in terms of data, we work with amazing data partners in terms of like

providing us with label data or help us license the data that we need and do it

in a very copyright friendly manner.

Right.

And have the the model watch hundreds of millions of video taxpayers

and try to learn the ability to map precise human language to video content.

Top labs soft launched our search API in June of 2023.

We currently have a little over 20,000 developers

that are actively using our search API.

We've crossed a couple million monthly API calls.

The company is also really excited about enterprise customers adopting.

Thing, our technology.

So we have largest creators of the world adopting Twelve Labs as well as media,

entertainment and large sports organizations and law enforcement

organizations that are leveraging this technology growing pretty rapidly.

Then we're adding in a couple million monthly API calls

in quarter after quarter.

So hopefully with the new model releases, we hit 100 million API calls monthly soon.

If you're highly technical and you're building deeply technical product,

you're probably working on this deeply technical product to change the world.

And the world is populated by not only technical people or just the

experts that understand your technology.

There are technical folks that might be a fan of your work, but then there is

99% of the world that needs to understand.

So being patient, be able to explain what you what you do and why it's

impactful for different audiences is incredibly important.

I'm in AI space, so I find AI fascinating, and I think it's going to present

this amazing opportunity for not only like tech, but also humanity.

So I think all product, whether you're in creator economy space or even like

blockchain or some very traditional retail brick and mortar, I think it's

all going to be impacted by AI. What's really important here is being

able to learn more about the technology.

I think once you learn more about the technology and be able to kind of discern

what the trend is going to be, I think that allows you to build your own moat.

That's kind of far away from the technology advancement curve, I would say.

So, companies that are building foundation model, the idea of it is you keep making

these models stronger and stronger so that it is able to solve,

you know, more complex problems.

So let's say you're in copywriting, and what you've done is maybe building

like a UI on top of OpenAI's GPT model.

It's not that OpenAI probably wants to, like, affect your business, but it's part

of their technology improvement journey.

If the GPT models get better and better, it's probably going to get

much better at copywriting.

And if what you've built is just kind of like a wrapper around it, it's going

to get affected regardless of their their intention of affecting you or not.

Thinking about moat is incredibly important.

What is the unique data that you can gather to fine tune smaller models

to make your business better is incredibly important, and relying too much on

foundation models can be can be dangerous.

So the thing is, given the proprietary data that you have outsourced

some of the really hard, intelligent, requiring tasks to foundation models,

but building your entire business on top of OpenAI's or other companies

APIs could affect you, right?

So I think that's probably the best advice I can give.

Having an ambitious goal, and the determination to solve incredibly

hard problems is crucial for every founders, because there will come a time

where you're going to have to settle.

And if your goal was not big to begin with, then I think you will

end up in a place where what you're doing isn't very impactful.

So setting an incredibly ambitious goal then you can probably even reach

gives you the fuel to go forward.

And the North Star that you can ever reach is crucial.

And before you know it, you will always feel like you're far away from that goal.

But in doing so, you would have achieved a lot more.