2025年02月05日
DeepSeekの知識蒸留とは何か？
連日話題となっている格安で開発された中国版の生成AI「DeepSeek」ですが、アメリカの「ChatGPT」の大量に集めたLLM（（Large Language Models））と呼ばれる大規模言語モデルを盗用したのでは噂されています。
その根拠は、DeepSeekが導き出す答えが、元祖のChatGPTにそっくりであるためと言われているからですが、ここでのカラクリを簡単に説明します。
LLMによるデーター収集のスタート時には、「これはボール」とか「これは鉛筆」などと人の手で情報を入職していましたが、ホームページやSNSの普及と共にコンピューターが自動で検索を行いビックデータと呼ばれる膨大なデーターを収集し始めました。
情報量は時間と共に増え続けていきましたが、それに伴って集めた情報を保管するデータセンターや、それを処理する高性能なコンピューターが必要となりました。
しかし、データーは膨大でも必要なのはごくわずかで、ほとんどのデーターは不要なものです。
不要なものを考えに入れず処理を早めるため、深層学習によりデータの関係性にランク付けされフルイにかけたものが、初期のLLMと呼ばれています。
そうは言ってもLLMは時代とともに肥大化し、それに伴ってデータセンターの処理能力も巨大化するわけですが、DeepSeekは自社のLLMを、自分より優秀なLLMを持つ人工知能に精査させ、上げて精度を上げコンパクト化を図る蒸留（Distillation）という手法を使い低コスト化を図りました。
身近に例えれば学校で教えてる教科を「蒸留」と言う手法を使って、塾の先生が試験に出そうな予想問題だけを学生に教えていたステージから、塾の先生同士で勉強会を重ね試験に出る問題のみを教えるステージみへと発展していきます。
ここで世間を騒がしているのは、塾側は元々学校で教えていたことを利用して、学校と関係ない塾生に教えているのが盗用というのか？という問題はここでです。
報道では、学校はこのことに規制をかけていないのに対し、ChatGPT側は、他のLLMへ蒸留させることを規約で禁じていることを指摘しています。
しかし、この最大の問題は、高額な報酬をもらっている学校の先生（ChatGPT）は塾に連れてこれないが、教え子（DeepSeek）は自由に雇用でき、さらに蒸留を重ねて精度を増した家庭教師（自分の所有するPCで実行）は茶菓子（わずかな電気代）だけのボランティアで教えてくれるという点です。
今は受験の為の勉強しか教えていませんが、AGI（Artificial General Intelligence）と呼ばれる汎用人工知能のレベルに達すると、大学で教える以上の学習がスマホでも可能になり、座学においては大学や新入社員の教育が不要な時代がスグそこまで近づいています。
この蒸留と呼ばれる手法を重ねることで、解き方を教えなくても自分自身で答えを導き出す手法を編み出し、「習っていない問題」や「画像に描かれている人や物などの識別」にも対処できるようになっていくのですが、これを推論モデルと呼んでいます。
2月のレッスンは、これからの子どもたちは何を学ぶべきかを検証するために、この推論モデルを使って人が人と会話するように、お互いに気持ちをぶつけ合って対話し、問題を解決する「AI人生相談」を体験していただきたいと思います。
その根拠は、DeepSeekが導き出す答えが、元祖のChatGPTにそっくりであるためと言われているからですが、ここでのカラクリを簡単に説明します。
LLMによるデーター収集のスタート時には、「これはボール」とか「これは鉛筆」などと人の手で情報を入職していましたが、ホームページやSNSの普及と共にコンピューターが自動で検索を行いビックデータと呼ばれる膨大なデーターを収集し始めました。
情報量は時間と共に増え続けていきましたが、それに伴って集めた情報を保管するデータセンターや、それを処理する高性能なコンピューターが必要となりました。
しかし、データーは膨大でも必要なのはごくわずかで、ほとんどのデーターは不要なものです。
不要なものを考えに入れず処理を早めるため、深層学習によりデータの関係性にランク付けされフルイにかけたものが、初期のLLMと呼ばれています。
そうは言ってもLLMは時代とともに肥大化し、それに伴ってデータセンターの処理能力も巨大化するわけですが、DeepSeekは自社のLLMを、自分より優秀なLLMを持つ人工知能に精査させ、上げて精度を上げコンパクト化を図る蒸留（Distillation）という手法を使い低コスト化を図りました。
身近に例えれば学校で教えてる教科を「蒸留」と言う手法を使って、塾の先生が試験に出そうな予想問題だけを学生に教えていたステージから、塾の先生同士で勉強会を重ね試験に出る問題のみを教えるステージみへと発展していきます。
ここで世間を騒がしているのは、塾側は元々学校で教えていたことを利用して、学校と関係ない塾生に教えているのが盗用というのか？という問題はここでです。
報道では、学校はこのことに規制をかけていないのに対し、ChatGPT側は、他のLLMへ蒸留させることを規約で禁じていることを指摘しています。
しかし、この最大の問題は、高額な報酬をもらっている学校の先生（ChatGPT）は塾に連れてこれないが、教え子（DeepSeek）は自由に雇用でき、さらに蒸留を重ねて精度を増した家庭教師（自分の所有するPCで実行）は茶菓子（わずかな電気代）だけのボランティアで教えてくれるという点です。
今は受験の為の勉強しか教えていませんが、AGI（Artificial General Intelligence）と呼ばれる汎用人工知能のレベルに達すると、大学で教える以上の学習がスマホでも可能になり、座学においては大学や新入社員の教育が不要な時代がスグそこまで近づいています。
この蒸留と呼ばれる手法を重ねることで、解き方を教えなくても自分自身で答えを導き出す手法を編み出し、「習っていない問題」や「画像に描かれている人や物などの識別」にも対処できるようになっていくのですが、これを推論モデルと呼んでいます。
2月のレッスンは、これからの子どもたちは何を学ぶべきかを検証するために、この推論モデルを使って人が人と会話するように、お互いに気持ちをぶつけ合って対話し、問題を解決する「AI人生相談」を体験していただきたいと思います。
