ICSEC 勉強会：生成AIの仕組み

Simon Guest

2026-04-01

アジェンダ

  • DigiPenについて
  • コース詳細とシラバス
  • プラットフォームとツール
  • デモ
  • 質疑応答

DigiPenについて

DigiPenについて

  • 1988年創設
  • ビデオゲームの技術と開発に関する学士号を世界で初めて提供した大学
  • 卒業生はMicrosoft、Amazon、Bungie、EAなどのスタジオに就職
  • 2,150以上の商業ゲームタイトルに卒業生がクレジット
  • Princeton Reviewによる2026年トップゲームデザインプログラムに選出

DigiPenについて

  • 学士課程：
    • コンピュータサイエンス
    • デジタルアート・アニメーション
    • ゲームデザイン・開発
    • 音楽・オーディオ
  • 大学院課程：
    • コンピュータサイエンス
    • デジタルアート・アニメーション

DigiPenについて

  • コンピュータサイエンス
    • コンピュータサイエンス学士（BS）
    • コンピュータサイエンス・人工知能学士（BS）
    • コンピュータサイエンス修士（MS）
  • AI関連コース
    • ML・AI I・II
    • ディープラーニング
    • コンピュータサイエンス・プロジェクト

なぜ新しいAIコースが必要なのか？

CSとAIカリキュラムの「空白地帯」

CSとAIカリキュラムの「空白地帯」

ローカルAIの「必然性」

  • オープンソースSLM（Small Language Models）の未来
    • ベンダーコストは大幅に補助されている
    • オープンソースモデルはSOTA（最先端）に追いついてきている（例：Qwen3.5-35B-A3B）
    • 量子化技術は進化し続けている（例：TurboQuant、Unsloth）
    • ハードウェアの進化（例：Apple MLX、Spark DGX）
    • データがマシンの外に出ない

CS-394/594：「生成AIの仕組み」

CS-394 コース情報

  • ジュニア/シニア（300レベル）コース
  • 修士（500レベル）オプション
  • 3単位、15週間コース
  • 第1〜8週
    • 週次課題付き講義形式；成績の40%
  • 第9〜15週
    • プロジェクト形式；成績の60%

学習成果

  • LLMの基本的な動作原理と歴史を理解する
  • 異なるベンダー（OpenAI、Meta、Google）がホストするLLMにアクセスするAPIベースのクライアントを作成・デプロイする
  • MCP（Model Context Protocol）仕様に基づいたAIエージェントとツールを作成する
  • 画像・音声の認識・生成のためのマルチモーダルモデルを探索・活用する
  • ローカルのラップトップハードウェア上で生成モデルを実行する（CPU、GPU、NPUを使用）
  • 業界標準のベンチマークを使用して生成モデルを評価・テストする
  • RAG（Retrieval Augmented Generation）とファインチューニングによってモデルの精度を高め、ハルシネーションを防ぐ
  • 倫理・知的財産・安全性の側面を理解する

なぜ学生にとって必要なのか？

知識のギャップ

  • 学生は今日生成AIを使っているが、その仕組みを理解している学生はほとんどいない
    • 現行のAIカリキュラムは生成AI以前の技術や、より低レベルな内容に焦点を当てている
  • ゲームデザインにおける未解決の疑問
    • NPCとしてゲームエンジンに生成AIモデルを組み込むにはどうすればよいか？
    • Unity/UnrealでPBRマテリアルの生成を支援するためにどの画像モデルが使えるか？
    • 音声モデルはどのように機能し、サウンドエフェクトの強化に活用できるか？

倫理・知的財産・安全性への懸念

  • 学生には多くの疑問・懸念がある
    • 現在のモデルはどのように学習されているのか？
    • 環境への影響は？
    • モデルは消費者にとって安全か、危険か？
    • プログラマー・ゲームデザイナー・アーティストとして、生成AIは自分にとって何を意味するのか？
    • AIに仕事を奪われるのか？
  • 目標：どちらか一方の立場を取らない
    • 学生が自分自身の結論に至ることができるよう、枠組みと知識を提供する

変化する雇用市場

  • ChatGPTのリリース以来、AIスキルに言及する求人（非テック職）は800%増加している 1
  • 現在、テック職の50%以上でAIスキルが求められる 2
    • 過去12か月で9,800bps増加
  • 求人給与はAIスキル1つで28%、複数で43%高い

学生フィードバック

学生フィードバック

  • 2025年秋学期の「テスト講義」
    • モジュールの短縮版、ハンズオン活動なし
    • 「AIエージェント」
    • 「生成AI パート1（NLPベースモデル）」
    • 「生成AI パート2（画像ベースモデル）」

学生フィードバック（n=17）

テスト用生成AI講義についてどう思いましたか？

トピックは役立つ・価値があると感じましたか？

（1=全くそう思わない；5=非常にそう思う）

学生フィードバック（n=17）

DigiPenは春学期に「応用生成AI」コース（300〜400レベル）を開講すべきか？

学生フィードバック（n=17）

  • コースが開講された場合、どのような追加トピックを希望しますか？
    • Unityなどのゲームへのローカルモデルの統合
    • AI倫理と知的財産
    • ワークフロー作成
    • 業界でのGenAIの活用・実装方法
    • 創造的生成以外の技術の応用
    • RLHF、ファインチューニング、RAG、その他のテクニックとユースケース

シラバス概要（K-12へのマッピングに関する考察）

第1週：生成AIの基礎

  • ベクトル埋め込みとトークン化の歴史を探る
  • トランスフォーマーアーキテクチャを高レベルで理解する
  • 最初のトランスフォーマーを使って言語翻訳を行う
  • 初期の生成トランスフォーマーの簡単な歴史を学ぶ
  • Colabのセットアップと使い方、ノートブックとPythonの基礎に慣れる

第2週：ホスト型LLMの探索

  • GPT-2から現代に至るモデルの進化とライセンスを理解する
  • 指示調整モデルの仕組みと設定方法を理解する
  • ホスト型モデルへのアクセスにOpenRouterをセットアップして使用する
  • OpenAI API仕様、リクエスト/レスポンスのペイロード、パラメータ、ストリーミング、構造化出力を理解する
  • GradioベースのUIを使ってチャットボットを作成・共有する

第3週：エージェントとツール

  • エージェント/エージェンティックAIの基本概念を説明する
  • 既存のマルチエージェント設定を探索してフィードバックを行う
  • 利用可能なエージェントSDKの種類・違い・利点と欠点を理解する
  • OpenAI Agents SDKを使って、ドキュメントのインデックス作成・検索を含むマルチエージェントシステムをゼロから構築する
  • ツールコールを理解・実装し、OpenAIの関数呼び出しおよびMCPを介して実装する

第4週：マルチモーダルモデル

  • 拡散モデルの基礎と歴史を理解する
  • テキストから画像、画像から画像、インペインティング、アウトペインティング、ControlNetを実演するモデルを探索・使用する
  • Replicateをセットアップして、本番グレードのモデルのカスタムパイプラインを作成する
  • Vision EncoderとVLMの基礎と歴史を理解する
  • ローカルVLMモデルをオンデバイス推論のために実装・テストする

第5週：ローカルハードウェアでのモデル実行

  • ローカルハードウェア（デスクトップ、ウェブ、モバイル）でのモデル実行のユースケース・利点と欠点を理解する
  • モデル推論のハードウェア要件とアーキテクチャを理解する（例：CUDA vs. ONNX vs. MLX vs. WebGPU）
  • 量子化の仕組みを探索し、既存モデルの量子化テクニックとフォーマットを理解する
  • llama.cppを使ってSLMをローカルハードウェア/ゲーミングPC上で量子化・実行する
  • 量子化されたモデルをUnity/Unreal/WebAssemblyに統合する

第6週：モデル精度の向上（前編）

  • モデルにおけるハルシネーションの原因、モデルの評価方法、精度向上技術の概要を理解する
  • プロンプトエンジニアリングと思考モデルを探索する
  • 限定的なSLMの精度向上のためText-to-SQLとRAG（Retrieval-Augmented Generation）を導入・実装する
  • モデルのファインチューニングの探索を開始する
  • 小規模言語モデルのファインチューニング用に合成データを生成する

第7週：モデル精度の向上（後編）

  • 生成した合成データを使ってQLoRAによるSLMのファインチューニングを行う
  • W&B（Weights & Biases）を使ってトレーニング中のメトリクスを観察する
  • トレーニング後、ファインチューニングされたモデルの精度をテスト・評価する
  • モデルをマージ・量子化してHugging Faceにアップロードし、他者と共有する
  • 新たにファインチューニングされたモデルのモデルカードを作成する

第8週：倫理・知的財産・安全性

  • 倫理・知的財産・安全性の影響・事例・軽減策を探索し、これまでのモジュールと結びつける
  • 各分野を深く議論し、グループで異なる視点を共有する
  • テーマやメディアの主張を調査し、それを確認または反証する論文を執筆する

最終プロジェクト

第9〜15週：最終プロジェクト

  • 学生はコースで学んだ概念を使って最終プロジェクトを開発・発表する：
    • AIモデルの統合（10%）
    • 機能性（10%）
    • 革新性と創造性（10%）
    • 倫理的分析（10%）
    • プレゼンテーション（20%）

プラットフォームとツール

プラットフォームとツール

  • カリキュラム作成（スライド、課題、リソースなど）にQuarto（quarto.org）を使用：
    • すべてMarkdown形式；LaTeXをサポート
    • 強力な引用・参考文献機能
    • スライドにRevealJS
    • PythonおよびノートブックとのIntegration（例：ノートブックセルをスライド内に動的に埋め込み可能）
    • 学生向けにGitHub Pagesでホスト

プラットフォームとツール

  • ハンズオン演習と週次課題はGoogle Colabで実施
    • 業界標準のツールセット
    • 推論・トレーニング用のGPU・TPUへのアクセス
    • モデルのダウンロードはクラウドベンダー間で行われる（キャンパスネットワークを経由しない）
    • 授業内でノートブックを簡単に共有できる
    • 学生・教育者向けの充実した（無料*）GPU制限

デモ

今後の展望

今後の展望

  • 次学期に向けたカリキュラムの更新
    • 新しいモデルとテクニック
    • 音声に関する専用モジュールの追加（TTS、SST、Omni）
  • 国際ゲスト講義の機会を模索中
    • 夏の時期を想定
    • 現在の学部・大学院CS/AIコース向け
  • 「STEM教育者向けAIの仕組み」を制作中
    • 教育者向けに設計された教材の凝縮版
    • オンラインコース

ありがとうございました！