パソコン教室ワンクリック社長ブログ

2025年02月05日

DeepSeekの知識蒸留とは何か？

連日話題となっている格安で開発された中国版の生成AI「DeepSeek」ですが、アメリカの「ChatGPT」の大量に集めたLLM（（Large Language Models））と呼ばれる大規模言語モデルを盗用したのでは噂されています。
その根拠は、DeepSeekが導き出す答えが、元祖のChatGPTにそっくりであるためと言われているからですが、ここでのカラクリを簡単に説明します。

LLMによるデーター収集のスタート時には、「これはボール」とか「これは鉛筆」などと人の手で情報を入職していましたが、ホームページやSNSの普及と共にコンピューターが自動で検索を行いビックデータと呼ばれる膨大なデーターを収集し始めました。
情報量は時間と共に増え続けていきましたが、それに伴って集めた情報を保管するデータセンターや、それを処理する高性能なコンピューターが必要となりました。
しかし、データーは膨大でも必要なのはごくわずかで、ほとんどのデーターは不要なものです。
不要なものを考えに入れず処理を早めるため、深層学習によりデータの関係性にランク付けされフルイにかけたものが、初期のLLMと呼ばれています。
そうは言ってもLLMは時代とともに肥大化し、それに伴ってデータセンターの処理能力も巨大化するわけですが、DeepSeekは自社のLLMを、自分より優秀なLLMを持つ人工知能に精査させ、上げて精度を上げコンパクト化を図る蒸留（Distillation）という手法を使い低コスト化を図りました。

身近に例えれば学校で教えてる教科を「蒸留」と言う手法を使って、塾の先生が試験に出そうな予想問題だけを学生に教えていたステージから、塾の先生同士で勉強会を重ね試験に出る問題のみを教えるステージみへと発展していきます。
ここで世間を騒がしているのは、塾側は元々学校で教えていたことを利用して、学校と関係ない塾生に教えているのが盗用というのか？という問題はここでです。
報道では、学校はこのことに規制をかけていないのに対し、ChatGPT側は、他のLLMへ蒸留させることを規約で禁じていることを指摘しています。
しかし、この最大の問題は、高額な報酬をもらっている学校の先生（ChatGPT）は塾に連れてこれないが、教え子（DeepSeek）は自由に雇用でき、さらに蒸留を重ねて精度を増した家庭教師（自分の所有するPCで実行）は茶菓子（わずかな電気代）だけのボランティアで教えてくれるという点です。
今は受験の為の勉強しか教えていませんが、AGI（Artificial General Intelligence）と呼ばれる汎用人工知能のレベルに達すると、大学で教える以上の学習がスマホでも可能になり、座学においては大学や新入社員の教育が不要な時代がスグそこまで近づいています。

この蒸留と呼ばれる手法を重ねることで、解き方を教えなくても自分自身で答えを導き出す手法を編み出し、「習っていない問題」や「画像に描かれている人や物などの識別」にも対処できるようになっていくのですが、これを推論モデルと呼んでいます。

2月のレッスンは、これからの子どもたちは何を学ぶべきかを検証するために、この推論モデルを使って人が人と会話するように、お互いに気持ちをぶつけ合って対話し、問題を解決する「AI人生相談」を体験していただきたいと思います。

oneclickpc1 at 14:42│コメント(0)│人工知能AI｜生徒さんからの質問

2025年01月30日

中国製人工知能DeepSeekは何がすごいのか？

人工知能用の半導体GPUとは？

パソコンやスマートフォンなどのコンピューター処理の頭脳に使われる半導体は、大きく分けるとCPUとGPUの2つに別れます。
CPUはメインの処理に使われるので、Windowsを動かしたりアプリを起動させるのに利用されていますが、同時に複数の処理を行うには非効率なため、CPUを細かく分割して同時並行処理に特化したものがGPUになります。
人間に例えると、重い荷物を運ぶのは少数の大人（CPU）が効果的ですが、落とした米粒を拾うには複数の子供（GPU）が拾った方が手の数が多いので早いということです。
仮装通貨の生成や画像や動画の変換処理なども、小さく細かい米粒を扱う作業に似ているので、GPUが積極的に利用されてきましたが、最近登場した人工知能AIも膨大な言語を扱うのでGPUの需要が急速に高まってきています。

GPUは2024年に株価が3倍まで跳ね上がった、アメリカの企業NVIDIA（エヌビディア）社が有名です。
教室でも古くから、この企業が作ったグラフィックボードを扱ってきており、ゲームなど高性能なパソコン組み立てには必須の部品でしたが、今では値段が高騰し高性能なものはパーツだけで１つ30万円ほどしますので、気軽に買える部品ではなくなりました。
このGPUを戦争兵器に利用すれば、カモフラージュし草木に隠れる敵や地雷の発見も容易になり、多言語の認識も高速なので敵の情報を分析する諜報活動にも利用が可能です。
特にNVIDIA社の最新GPU（ブラックウェル H100）は最先端の技術を利用し高速かつ膨大な情報が可能で、軍事兵器への転用の危険性から、アメリカは中国に対し輸出規制をかけています。
とは言うものの、NVIDIA社も商売ですから、性能を半減したGPU（ブラックウェル H800）を中国向けに輸出し販売しています。

アメリカ製ChatGPTと中国製DeepSeekは何が違う？

2022年ChatGPTを生み出した、OpenAIのサムアルトマン氏はこのことがあって「他社（中国やロシア）が技術をマネて人工知能で我が社を超えるのは不可能だ！」と発言しています。
2023年には世界の誰もがChatGPTの存在を知ることとなり、2024年にはマイクロソフトのWindowsやWord、Excelがこの機能を搭載することとなりました。
年が明け2025年1月20日（時差で日本では21日）にはトランプ大統領が就任すると、翌日21日にはソフトバンクグループ、OpenAI、Oracle、MGXが人工知能分野に78兆円の投資する「スターゲートプロジェクト」が発表され、誰もがアメリカが一人勝ちで新たな100年産業を人工知能AIの分野でリードすると思いました。
しかし、わずか1週間後の1月28日に、突如として中国のDeepSeekが現われ、低性能なH800GPUを工夫して高性能なH100GPUに匹敵する人工知能を世に放ちました。
市場関係者の間では、「安くてできるなら高性能なＧＰＵはこの先売れないかも？」との不安が広まり、NVIDIA社の株価は下落し、1日で92兆円が時価総額（株価×発行株数）が吹き飛びました。

なぜDeepSeekは「スプートニク・ショック」と言われるのか？

1950年代のアメリカは科学技術の分野で最先端であるという意識が高まり、宇宙開発においては世界をリードしていると思われていましたが、1957年10月4日、ソ連が世界初の人工衛星（スプートニク1号）の打ち上げに成功します。
これにショックを受けたアメリカは有人飛行においてもソ連のガガーリンに先を越されダブルでショックを受けることになります。
この後にアメリカのケネディー大統領は、NASAを立ち上げ、アポロ計画へとつながっていくことになるのですが、今回トランプ大統領が打ち出したスターゲート計画と重なる部分があり、DeepSeekの到来はこの時の衝撃の再来だとも言われています。

中国のDeepSeekはどうやってアメリカのChatGPTに追いついたのか？

アメリカが使用する高性能H100GPUに匹敵する人工知能を、本当に中国のDeepSeekが低性能なH800GPUで作り上げたか懐疑的な見方もあります。

DeepSeekの開発者である梁文鋒（リャン・ウェンフォン）氏は、あまりにも情報が少なく現時点では実在する人物なのか、人工知能が作り上げた人物なのかは特定できていません。

実在すると仮定された場合の梁文鋒氏の話です。

1985年生まれ、ChatGPTのサム・アルトマンと同じ歳の40歳。
数学が得意な少年で、ドイツのユダヤ人数学者で楕円関数論で名を馳せ、解析学で有名なカール・ヤコビに傾倒する。
2013年、中国の浙江大学で人工知能を学んだ後に、投資会社ヤコビを設立後にAIを駆使して２兆円を超える財を手に入れました。
2015年、「これからは人工知能が世界を変える！」と確信し、大学友人と二人でハイフライヤー社を創業しました。
アメリカが人工知能用の半導体を輸出規制をかける前に、私財を投じて旧型モデルのA100を１万個以上手に入れる。
最先端のGPUのボトルネック（ビンの首の様に流れを妨げる問題点）を発見する。
2023年、GPU半導体同士を相互通信する際の伝達速度が低下する問題を解決しDeepSeekを誕生させる。

この問題はハードウェア（機器）に近いレベルでの問題である為、ソフトウェアをいくらいじっても解決できません。
例えるならば、早口でしゃべる者同士の通訳を、ゆったりと話す人に託すようなものです。
この問題に気付いた梁文峰氏は、通訳のシステムを独自に研究し直し、早口でしゃべる通訳機能を構築しまし、当人同士が普通の速度でしゃべっても会話が弾むレベルに到達しました。
さらに、秘伝のタレである人工知能の構造を無償公開（オープンソースといいます）し、利用料を無料で商用利用可能という形で公開しましたので、一気に世界に知れ渡りました。
（本家のOpenAI社は秘伝のタレのレシピはオープンにしていません）

中華製DeepSeekに未来はあるのか？

DeepSeekは少数精鋭で短期間で作成したものですから、以下の問題が指摘されています。

再現性が無く今後のアップデートに難あり
過程を検証する工程が省かれている
集積したデーターをOpenAI社から盗んだ
中国に不利なセンシティブな問題を聞くと機嫌を損ねる

ソフトウェアには「オープンソース」と「クローズドソース」の2種類があります。
違いはプログラムの中身（ソースコード）を一般公開し改変や複製を認めているかどうかの違いがあり、OpenAI社のChatGPTなどほとんどのソースコードは企業秘密で公開されていません。

DeepSeekは、数多くの関係者から情報漏洩が指摘されていますが、オープンソース故に、人種を超え、国家を超えて世界中から数多のエンジニアが検証し修正に加わるので、これら諸問題も一時の問題です。

日本人にとってはパソコンと言えばWindowsかMacですが、どちらも秘伝のレシピは非公開で肝心な部分はブラックボックスですが、DeepSeekはオープンソースのLinux同様に、人類の英知は人類共有の財産として受け継がれていくことでしょう。

以下はDeepSeek-R1の論文を日本語要約してみました。

この論文は、DeepSeek-AIが開発した**DeepSeek-R1**という大規模言語モデル（LLM：Large Language Models）の推論能力を強化するための研究について説明しています。特に、強化学習（RL：Reinforcement Learning）を用いて、モデルの推論能力を向上させる方法に焦点を当てています。以下に、重要なポイントを分かりやすく解説します。

1. 背景と目的

近年、大規模言語モデル（LLM）は急速に進化し、人工知能（AI：Artificial Intelligence）の汎用的な能力（AGI：Artificial General Intelligence）に近づいています。特に、推論能力（数学、コーディング、科学的な問題解決など）を向上させることは重要な課題です。従来のモデルは、教師あり学習（SFT：Supervised Fine-Tuning ）に依存していましたが、この研究では、強化学習（RL）を中心に据え、教師データなしでモデルの推論能力を強化することを目指しています。

2. DeepSeek-R1-Zero から DeepSeek-R1

DeepSeek-R1-Zeroは、教師あり微調整（SFT）を行わず、純粋に強化学習（RL）だけで訓練されたモデルです。RLを通じて、モデルは自己進化し、複雑な推論タスクを解く能力を自然に獲得します。しかし、「可読性の低さ」や「言語の混在」といった課題もありました。

DeepSeek-R1はDeepSeek-R1-Zeroの課題を解決し、さらに推論性能を向上させるために、学び直しの「マルチステージ訓練」と、参考にできるデーターが無い初期において「コールドスタートデータ」を導入しました。これにより、OpenAIの最新モデル（o1-1217）と同等の性能を達成しました。

3. 強化学習（RL）のアプローチ

LLMチューニングのための研究では、強化学習手法（GRPO：Group Relative Policy Optimization）というアルゴリズムを使用しています。GRPOは、従来のRLアルゴリズムよりも効率的で、モデルの推論能力を向上させることができます。

報酬モデルRLの訓練では、「正確性」と「フォーマット」に基づく報酬を使用します。例えば、数学の問題では、正しい答えを出すことが報酬となり、フォーマット（例: `<think>`タグ内に推論プロセスを書く）も評価されます。

4. 蒸留（Distillation）

DeepSeek-R1の推論能力を、より小さなモデルに蒸留する方法も検討されています。蒸留（Distillation）とは、大きなモデルの知識を小さなモデルに移行する技術です。この研究では、アリババ研究所の「Qwen」やメタ社の開発した「Llama」といったオープンソースのモデルを使用し、DeepSeek-R1の推論能力を小さなモデルに移行することで、小さなモデルでも高い推論性能を発揮できることを示しています。

5. 評価結果

DeepSeek-R1は、以下のようなベンチマークで優れた性能を発揮しました。

数学タスクAIME 2024で79.8%、MATH-500で97.3%の正解率を達成。
コーディングタスク Codeforcesで96.3%のパーセンタイルを達成。
知識タスク MMLU（大規模多タスク言語理解）で90.8%の正解率を達成。

6. 今後の課題

汎用能力の向上: 現在のDeepSeek-R1は、複雑なロールプレイやJSON出力などのタスクにおいて、前世代のDeepSeek-V3に劣る部分があります。今後、長い推論プロセス（CoT：Chain of Thought）を活用してこれらのタスクを改善する予定です。

言語の混在: 現在、DeepSeek-R1は中国語と英語に最適化されていますが、他の言語でのクエリに対応する際に言語が混在する問題があります。この問題を将来的に解決する予定です。

7. まとめ

この研究は、強化学習を用いて大規模言語モデルの推論能力を向上させる新しいアプローチを示しています。特に、教師データなしでモデルが自己進化する能力を実証し、OpenAIの最新モデルと同等の性能を達成しました。また、小さなモデルへの蒸留にも成功し、効率的な推論モデルの開発に貢献しています。

AIの世界での進化にはオームス（OOMs：Order of Magnitude）という単位が使われていますが、これは2倍3倍という成長ではなく10倍20倍と言う単位です。

例えばChatGPT4.0はChatGPT2.0から2オームス増えているので100倍の進化となります。

来年はChatGPT5.0になるのかと思っていましたが、DeepSeekの登場で状況が一変しました。

これまでのAIはネットにアップされている情報を収集し、企業の中で閉鎖的に人の手で育てられ管理されてきました。

しかし、DeepSeekはこれら技術を無償公開し、人工知能同士を使って光の速さで問答させ始めました。

人間と同じように対処できる汎用人工知能（AGS）は2027年に、人間を超える人工超知能（ASI）は2029年頃と言われていました。

欧州連合ではDeepSeekの規制に乗り出しましたが、勢いは止まらず年内にはシンギュラリティに到達してしまいそうな勢いです。

oneclickpc1 at 13:24│コメント(0)│人工知能AI｜パソコン授業風景

2025年01月29日

2024年11月27日

Windoes10サポート終了まで1年切りました

2025年10月14日にWindows10のサポートが終わるとアナウンスされましたが、同時に買い切り版のOffice2016とOffice2019もサポートする予定です。

Windows10サポート終了（2025年10月14日）
Office2016サポート終了（2025年10月14日）
Office2019サポート終了（2025年10月14日）

パソコンが壊れているわけでもないのに買い替えるのはもったいない話ですが、Windows10として販売されてきたパソコンのほとんどが、Windows11のアップデート要件を満たしていないため乗り換えて使い続けることはできません。
とはいうものの、当校の生徒さんの1割ほどはまだWindows7を利用しており、少数ですがフロッピーディスクドライブの付いたWindowsXPをご利用の方もおられます。
壊れているわけでもないのに廃棄するのは偲びなく、ご高齢で今さら新しいOSの使い方を一から覚えるのは面倒という方には、メールやUSBメモリーなどの抜差しをしないことを条件に、古いWindowsをお使いいただいております。

WindowsXPサポート期間（2001年12月31日～2014年4月8日）
Windows７サポート期間（2009年10月22日～2020年1月14日）
※WindowsVistaとWindows8/8.1は利用者がいないため割愛します。

2021年10月5日発売のWindows11にアップグレードするには、比較的新しいCPUとマザーボードの両方が必要になります。

Windows11対応CPU（2018年発売のIntel 第8世代Coffe Lake以降）
Windows11対応CPU（2019年発売のAMD3000番台以降）
Windows11対応マザーボード（Intel 300シリーズ以降のTPM2.0対応製品）

当校の受講生は自作パソコンの方ばかりで、できれば10年は使いたい方ばかりですので、授業では古いパソコンにWindows11を入れるレッスンを行ってきました。
しかし、10年以上前のモデルともなるとさすがにハードディスクをＳＳＤに変えたとしても、Windows11の動作は重く快適とは言えません。
そこで、Windows11に代わるセキュリティーが万全なOSとしてCromebook化を推奨しています。
Chromebookはノートパソコンとして売っているものですが、これを様々なデスクトップPCのOSとして、古いPCをリニューアルするレッスンです。
夏ごろから一部の生徒さんにご協力いただき、15年ほどの前のハードディスクモデルの自作パソコンをChromebook化する授業を行ってきましたが、大変軽量でサクサクと快適なパソコンに生まれ変わります。
次回のブログではChromebook化について詳しくご紹介いたします。

oneclickpc1 at 13:04│コメント(0)│自作パソコン｜生徒さんからの質問

2024年09月01日

「質問」撮影した動画がYoutubeにアップするとカクカクします・・・

レッスン中、生徒さんからのご質問と回答の一部を掲載させていただきます。

質問：GoProで撮影した動画をPowerDirectorで編集し書き出すとカクカクしボケボケでにじんだような動画になってしまいます・・・

解答：まず撮影した動画ファイルと編集後に動画変換し書き出し後にできたファイルの品質（ビットレートとフレーム数）が同じであるか確認が必要です。
エクスプローラーを開き、ファイルを右クリック、プロパティーから「詳細」のタブを選択し、赤枠の数値を確認します。

Youtubeフレームレート

総ビットレートは一秒間当たりの動画容量で、単位はkbps（キロビット／秒）になります。
変換後のファイルでこの値が大きいほど画質が良くなりますが、元のファイルの値以上にしても画質は上がりませんが、小さくなれば画質は落ちていきます。

フレーム率はパラパラ漫画のように1秒間あたり何コマあるのかを数値で表したもので、単位はfps（フレーム／秒）になります。
8mmフィルムを使った古い映画は24fps、一般的なデジタルビデオカメラは30fpsで十分ですが、スポーツなど動きが早いものは60fpsを使うと容量はファイル増えますが画質は滑らかに見えます。
人間の目は50fps程度が限界とされていますので、60fpsを越えても認識は出来ませんので、容量を節約するため三脚などにカメラを載せて撮るなら30fps、手持ちで撮るなら60fpsをお勧めします。
GoProやiPhoneProなど120fpsや240fpsといった設定が有はスローモーション撮影用になります。

当校の授業は自作パソコンの組立がメインになりますので、動画の編集などは性能のテストを兼てになることが多いのですが、4K動画を編集されるならグラフィックボードの搭載をお勧めします。

Youtubeの公式ページでは、以下の値を推奨しています。

2K動画高画質（1440p）
映像ビットレート：53～68Mbps（35000~45000kbps）
映像フレームレート：24fps

2K動画通常画質（1440p）
映像ビットレート：35～45Mbps（35000~45000kbps）
映像フレームレート：16fps

４K動画高画質（2160p）
映像ビットレート：53～68Mbps（35000~45000kbps）
映像フレームレート：60fps

4K動画通常画質（2160p）
映像ビットレート：35～45Mbps（35000~45000kbps）
映像フレームレート：30fps

PowerDirectorでの書き出し時の設定は赤枠の箇所を変更します。