プロモーション：Notion AI

Notion は無料で使えて、月額10ドルでNotion AIをご利用いただけます。

https://ntn.so/yurucom1

大規模言語モデルの肝「単語ベクトル」とは？「単語を数字の組で表す」「ぬくもりを捨てることで実現した技術」「Transformerはとにかく何かいい感じになる」など、自然言語を扱うコンピュータ科学の技術について話しました。

【ことラボ】

◯Twitter → https://x.com/KotoLaboRyo

◯YouTube → https://www.youtube.com/@kotolabo

◯「単語ベクトル」とは何か？ → https://youtu.be/l8YCKz15Hn8

【目次】

0:00 コアラの対義語は？

0:46 大規模言語モデルの肝「単語ベクトル」

6:36 単語を数字の組で表す

14:32 実際には「次元圧縮」している

18:00 対義語は真逆のベクトル？

21:57 ぬくもりを捨てることで実現した技術

26:56 素晴らしきNotionAI

30:18 文脈化単語埋め込みは味付け化係

38:34 とにかく何かいい感じになる

43:33 ニューラルネットワークとは何なのか

【参考文献】

◯大規模言語モデル

https://amzn.to/3VKqed7

◯キテレツおもしろ自然言語処理

https://amzn.to/3VwInd4

◯風俗の虫―捜査官が覗いた日本の風俗70年

https://amzn.to/4bbs62W

◯自然言語処理の必須知識！Word2Vec とは？

https://www.kikagaku.co.jp/kikagaku-blog/word2vec/

※単語ベクトルの出典

◯【入門】深層学習の革命児！Transformer を今こそ理解しよう

https://www.kikagaku.co.jp/kikagaku-blog/deep-learning-transformer/

※文脈化単語埋め込みの出典

【サポーターコミュニティへの加入はこちらから！】

⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠https://yurugengo.com/support⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠

【親チャンネル：ゆる言語学ラジオ】

⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠https://www.youtube.com/@yurugengo⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠

【実店舗プロジェクト：ゆる学徒カフェ】

⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠https://www.youtube.com/@yurugakuto⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠