跳转至

🇯🇵 note AI 日本語ダイジェスト — 2026-08-24

note.com で過去 24 時間に人気の AI 記事|タグ: #生成AI #LLM #AIエージェント #ChatGPT 各記事:① 中文摘要 ② やさしい日本語 (N3–N2) ③ [note で読む](リンク)


1. 【AIとの距離感】AIが苦手なことを知ってから、頼み方が変わった|テキスト生成AIの不得意なこと

作者 緑どんぐり ・ ❤️ 44 ・ 🗓 2026-08-24 05:46 JST ・ 🏷 #LLM ・ note で読む

📌 中文摘要

  • 作者使用Claude、Gemini、GPT约一年后,总结出文本生成AI的几类明显短板,并据此调整了使用方式。
  • 计算与数数不精确:LLM本质是预测“最像答案的词语”,而非真正计算,因此大数乘法、字数统计等任务可能出错(与幻觉相关)。不过新版Claude和GPT已能在后台调用程序执行实际计算,可靠性有所提升。
  • 不了解最新信息:模型只掌握训练截止时的知识,不联网时可能给出过时答案。目前Claude、Gemini、GPT均已支持按需自动联网搜索,这一局限正在减弱。
  • 难以准确捕捉“当下情绪”:AI只能从文字推断情感,无法理解未写出的部分。作者经验是:把自身状态描述得越具体,回答精度越高。
  • 长对话中一致性会崩:即使有注意力机制维持上下文,对话过长或条件复杂时仍可能前后矛盾。作者会在长文推敲中主动确认关键条件是否被记住;虽然上下文窗口扩大改善了这一问题,但并非完美。
  • 使用策略转变:不再把AI当“万能”,而是按场景分工——计算后自行复核、明确要求最新信息、具体描述情绪、长任务中途重述条件。作者承认自己偶尔仍会忘记这些原则,随意使用。

🟢 やさしい日本語(N3–N2)

【AIとの距離感】AIが苦手なことを知ってから、頼み方が変わった|テキスト生成AIの不得意なこと

前の記事を読んでいると、もっとよく理解できます。 初めての人は、先に前の記事を読んでください。

🙅 「なんでもできる」と思っていた時期があった

使い始めたころ、Claude・Gemini・GPTは「なんでも答えてくれる存在」に見えていました。

でも、1年使ってみて、AIが得意なことと苦手なことの区別が、だいぶわかってきました。今回は、今までの記事で少しずつ話してきた「苦手なこと」を、もう一度まとめてみます。

🔢 正確な計算や数え上げ

LLM(大規模言語モデル。たくさんの文章を学習して、次に来る言葉を予測するAI)は「次に来やすい単語」を予測する仕組みだと、前の記事で書きました。つまり、数字の計算も「答えとして一番正しそうな数字」を予測しているだけです。本当に計算しているわけではない場合があります。

簡単な計算は問題ないですが、桁(けた)が多い掛け算や、文字数を数えるような簡単な作業で間違えることがあります。「この文章は何文字ですか」と聞いて、少し違う答えが返ってきた経験が私にもあります。何度か聞き直して、最後は自分で数えたこともありました。

これは前の記事で書いたハルシネーション(AIが事実ではないことを、本当のことのように答えること)とも関係があります。「もっともらしく間違える」という性質が、計算の場面でも出てくるようです。

でも、ここは今、少し状況が変わってきています。今のClaudeやGPTは、計算が必要な場面では、裏側でプログラムを実行して、正確な答えを出す仕組みを持っています。「予測でそれっぽい数字を出す」のではなく、「実際に計算させて、その結果を使う」という動き方です。すべての計算で自動的に使われるわけではありませんが、前よりは信頼できる場面が増えている感じがします。

🕰️ 最新の出来事を知らないこと

前のRAG(検索とAIを組み合わせて、最新情報を答えられるようにする技術)の記事で書いた通り、LLM自体は学習した時点までの情報しか持っていません。検索と連携すれば最新情報にも対応できますが、連携していない場面では「知らない」ことがあります。

これは仕組みの関係でどうしようもない部分です。「知らない」と正直に言ってくれる場合はいいですが、たまに古い情報をもっともらしく答えてしまうこともあります。ここも結局、ハルシネーションの話に戻ってきます。

一方で、こちらも検索連携が普通になったことで、様子が変わってきました。Claude・Gemini・GPTのどれも、必要に応じて自分でWebを検索してから答えるようになっています。「学習データの範囲でしか知らない」という前提そのものが、少しずつ昔のことになりつつあるかもしれません。

💭 「今の自分の感情」を正確に汲み取ること

Season 1で「弱いAIと強いAI」の話を書いたとき、Claudeに「今自分が何を感じているか」を正確にわかってほしいとき、難しさを感じると書きました。

AIは文章から感情を推測することはできます。でも、書かれていない部分や、言葉にならない部分を汲み取るのは苦手です。人間同士でも難しいことなので、当然といえば当然かもしれません。

文章の相談をするとき、自分の状態を具体的に言葉にして伝えるほど、返ってくる答えの精度が上がる、と経験的に感じています。そのことに気づくまで、しばらく「なんでわかってくれないんだろう」とモヤモヤしていた時期もありました。

📏 長期的に一貫性を保つこと

長いやり取りの中で、AIが以前言ったことと少し違うことを言う、という経験があります。

Season 2でAttention(AIが文章の中で、どの部分に注目するかを決める仕組み)の話を書いたとき、文脈を保つ仕組みについて調べました。それでも、会話が長くなったり、複雑な条件が重なったりすると、一貫性が崩れることがあります。

私がClaudeに長い記事の推敲(文章を直すこと)を頼むとき、途中で「さっき言った条件、忘れられてないかな」と確認することがあります。完璧に覚えているわけではない、という前提で接するようになりました。

このあたりも、一度に扱える文章の量(コンテキストウィンドウ。AIが一度に覚えていられる情報の量)がどんどん広がってきています。前より長いやり取りでも条件を保ちやすくなっている実感はあります。それでも完璧ではないので、大事な条件は要所で確認する、という自分のクセは今のところ続けています。

🔗 苦手なことを知ってから、頼み方が変わった

苦手なことを知る前は、「なんでも聞けばいい」という感覚で使っていました。今は少し違います。

計算が必要なら、計算してもらった後に自分でも確認する。最新情報が必要なら、その旨を伝える。感情を汲んでほしいときは、具体的に書く。長い作業では、途中で条件を再確認する。

万能な相手ではなく、得意・不得意がある相手として付き合うようになった、と言えたらきれいですが、正直まだ忘れて雑に頼んでしまう日もあります。

ま、いっか。

あとがき

ここまで読んでくださり、ありがとうございます。

AIって、どんどん進化してますよね。 苦手を克服しつつあることに驚きます。

今後ますます手放せなくなってきちゃいますね。

よければご活用ください。

「フォロー」や「スキ」をしていただけると励みになります! 今後ともよろしくお願いします!

AIとの距離感|緑どんぐり|note 生成AIを毎日使っているのに、「AIって何?」と聞かれると、うまく言葉にできない。 知っているつもりだった。でも、ちゃんと note.com


2. FreeToken の概要

作者 npaka ・ ❤️ 41 ・ 🗓 2026-08-23 14:56 JST ・ 🏷 #LLM ・ note で読む

📌 中文摘要

  • FreeToken 是一个面向 NVIDIA GPU 的 AI 推理引擎,专为在本地高速运行 VRAM 无法容纳的大型 MoE(混合专家)模型而设计。它通过将 Expert 缓存到 GPU,并在必要时协同 CPU 与 GPU 执行,实现高速推理。
  • 该引擎主要适用于 RTX 30/40/50 系列等 NVIDIA GPU(不含 DGX Spark),尤其擅长处理模型大小超过 VRAM 容量的 MoE 模型。
  • 官方已验证支持的主要模型包括:DeepSeek-V4、GLM-5.2 / GLM-4.7、Qwen3.6 / Qwen3.5 MoE、Qwen3-MoE、gpt-oss、Gemma-4、MiniMax-M2.5、Muse-Glimmer。也支持同架构的其他检查点及 Dense 模型(如 Qwen3.6-27B),但优势主要体现在 MoE 模型上。
  • 实测环境:Linux x86_64、RTX 3080 Laptop GPU 16GB(80W)、32GB RAM、FreeToken 0.1.2、PyTorch 2.11.0 + CUDA 13.0。运行模型为 nvidia/Qwen3.6-35B-A3B-NVFP4,模型大小约 23.5GB,无法整体放入 16GB VRAM。
  • 安装与运行步骤:克隆仓库后创建虚拟环境并安装 freetoken[accel],同时需安装 CUDA 13.0 编译器(nvcc)用于首次 JIT 编译;下载模型后,通过 ft serve 启动服务器(关键参数包括 --moe-backend offload--memory-ratio 0.85 等),推理时提供 OpenAI 兼容 API,也支持 Anthropic 兼容 API,并附带交互式推理 shell(ft shell)。
  • 生成速度实测:在 16GB VRAM、80W 的 RTX 3080 Laptop GPU 上,生成 256 个 token 的三次测量平均速度为 72.18 tok/s(约 70–73 tok/s),平均 TTFT 为 3.09 秒;FreeToken 的 /v1/stats 显示为 73.1 tok/s。

🟢 やさしい日本語(N3–N2)

FreeToken の概要

1. FreeTokenとは

FreeToken」は、NVIDIAのGPU(画像処理に使う計算チップ)で、VRAM(GPUの中にあるメモリ)に収まらない大きなMoEモデルを、速く動かすためのAI推論エンジンです。

MoE(複数の専門家モデルを組み合わせて動かす技術)は、答えを出すときに一部の「Expert(専門家)」だけを使います。FreeTokenは、そのExpertをGPUにキャッシュ(一時的に保存)しながら、必要に応じてCPUとGPUの両方で動かします。これにより、モデル全体がVRAMに入らない場合でも、速い処理が可能です。

主にRTX 30 / 40 / 50シリーズなどのNVIDIA GPU向け(DGX Sparkは対象外)で、特にモデルのサイズがVRAMを超えるMoEモデルで力を発揮します。

2. 動作確認済みのモデル

FreeTokenが公式に動作確認している主なモデルは、次のとおりです。

  • DeepSeek-V4
  • GLM-5.2 / GLM-4.7
  • Qwen3.6 / Qwen3.5 MoE
  • Qwen3-MoE
  • gpt-oss
  • Gemma-4
  • MiniMax-M2.5
  • Muse-Glimmer

また、同じ構造の別バージョンや、Qwen3.6-27BのようなDenseモデル(すべてのパラメータを使うモデル)にも対応しています。ただし、FreeTokenの強みは主にMoEモデルです。

3. Qwen3.6-35B-A3B を試す

今回は次の環境で試しました。

  • OS:Linux x86_64
  • GPU:NVIDIA GeForce RTX 3080 Laptop GPU 16GB(80W)
  • RAM:32GB
  • FreeToken:0.1.2
  • PyTorch:2.11.0 + CUDA 13.0
  • モデル:nvidia/Qwen3.6-35B-A3B-NVFP4

FreeTokenを使うための基本条件は、Linux x86_64、Python 3.10以降、NVIDIA GPU、r580以降のドライバ、CUDA 13です。

今回使う「Qwen3.6-35B-A3B-NVFP4」のモデルサイズは約23.5GBです。そのため、16GBのVRAMにはモデル全体を入れることができません。

3-1. FreeTokenのインストール

(1) FreeTokenをクローン(コピー)します。

git clone git@github.com:FlashML-org/FreeToken.git
cd FreeToken

(2) 仮想環境(専用の作業スペース)を作って、FreeTokenをインストールします。

uv venv .venv --python 3.13
uv pip install --python .venv/bin/python "freetoken[accel]"

今回の環境では、初めてのJITコンパイル(実行時にコードを変換する処理)のために、CUDA 13.0のコンパイラも追加しました。

uv pip install --python .venv/bin/python \
 "nvidia-cuda-nvcc==13.0.88" \
 "nvidia-cuda-crt==13.0.88" \
 "nvidia-nvvm==13.0.88"

FreeTokenでは、CUDAカーネル(GPUで動くプログラム)の初回JITコンパイルに、CUDA 13 Toolkitのnvcc(コンパイラ)が必要です。

3-2. モデルのダウンロード

(1) モデルをダウンロードします。モデルサイズは約23.5GBです。

mkdir -p models

.venv/bin/hf download nvidia/Qwen3.6-35B-A3B-NVFP4 \
 --local-dir models/Qwen3.6-35B-A3B-NVFP4
3-3. サーバーの起動

(1) サーバーを起動します。16GB VRAM向けに次の設定で起動しました。

source .venv/bin/activate

export CUDA_HOME="$PWD/.venv/lib/python3.13/site-packages/nvidia/cu13"
export PATH="$CUDA_HOME/bin:$PATH"
ft serve \
 --model models/Qwen3.6-35B-A3B-NVFP4 \
 --served-model-name Qwen3.6-35B-A3B-NVFP4 \
 --host 127.0.0.1 \
 --port 1919 \
 --max-running-requests 1 \
 --max-seq-len-override 32768 \
 --max-prefill-length 4096 \
 --memory-ratio 0.85 \
 --attention-backend triton \
 --moe-backend offload \
 --nvfp4-backend triton
3-4. 推論(答えを出すこと)

(1) 推論を実行します。FreeTokenはOpenAI互換API(プログラムから使うための窓口)を提供しており、Anthropic互換APIにも対応しています。

curl -s http://127.0.0.1:1919/v1/chat/completions \
 -H 'Content-Type: application/json' \
 -d '{
 "model": "Qwen3.6-35B-A3B-NVFP4",
 "messages": [
 {"role": "user", "content": "日本の首都を一語で答えてください。"}
 ],
 "max_tokens": 32,
 "temperature": 0.2,
 "reasoning_effort": "none",
 "stream": false
 }'

結果は「東京」と返ってきました。

(2) 推論シェル(対話形式で使えるツール)の実行もできます。FreeTokenには、ターミナルから対話できる推論シェルもあります。

source .venv/bin/activate
ft shell --server http://127.0.0.1:1919
4. 生成速度

256トークン(単語や記号の単位)の長文生成を、ウォームアップ(準備運動)後に3回測定しました。

  • 1回目:70.79 tok/s
  • 2回目:72.95 tok/s
  • 3回目:72.81 tok/s
  • 平均:72.18 tok/s
  • 平均TTFT(最初の出力までの時間):3.09秒

FreeTokenの/v1/stats(統計情報を見る機能)では73.1 tok/sでした。

つまり、16GB VRAM・80WのRTX 3080 Laptop GPUで、23.5GBのQwen3.6-35B-A3B-NVFP4を約70〜73 tok/sで生成できました。

5. まとめ

FreeTokenは、すべてのLLM(大規模言語モデル)を速くするエンジンではありません。NVIDIA GPUで、VRAMを超える大きなMoEを速くローカル(自分のパソコンの中)で動かす用途に強いエンジンです。

今回のように、モデルがVRAMに収まらないMoEを手元のGPUで動かしたい場合には、かなり有力な選択肢になります。


3. [AIインシデント] AIの起こした事件をデータで見つめる 〜本当に必要な眼力とは〜

作者 AI論文を読むネコ ・ ❤️ 25 ・ 🗓 2026-08-23 14:48 JST ・ 🏷 #LLM ・ note で読む

📌 中文摘要

  • 文章介绍了一篇2026年5月由英国研究支持组织Arcadia Impact发布的论文《A pragmatic classification framework for AI incident monitoring》,该论文提出了一套用于正确测量AI事故数量变化的方法。

  • 目前全球有多个AI事故数据库,包括AI Incident Database(AIID)、AIAAIC Repository、MIT AI Incident Tracker和AI Vulnerability Database(AVID),它们分别从不同角度收集AI引发的歧视、隐私侵害、安全故障、深度伪造滥用等案例。

  • 作者指出,仅凭事故数量无法判断AI的真实危险性,并归纳了5个问题:缺乏统一标准导致评估不一致、无法区分AI本身变危险还是普及度提高、数据缺失被误认为无事故、新闻报道偏差影响数字、具体数字造成虚假的精确感。

  • 论文提出三步评估法:第一步用SORT框架(Subject、Opportunity、Risk event、Timeframe)整理事件;第二步按数据质量将信息可信度分为1至4级(从官方记录到专家意见分歧);第三步结合AI普及度E和单位普及事故率变化Ĥ,将风险分为四类:扩大中、缓和、集中对策中、后退中。

  • 文章以聊天型AI与自伤行为为例进行演示:2024年OECD AIM数据库中相关事故为8件,2025年增至55件,但需结合普及度和事故率变化才能判断风险是否真正上升。

🟢 やさしい日本語(N3–N2)

システムに事故や不具合はつきものです。社会の中で使われるAIシステムも同じです。

ニュースやメディアで、AIが起こした事件が報じられることが増えています。しかし、報道に影響されすぎず、データを冷静に見る目が大切です。

今回は、AIが起こす問題の変化を正しく測る方法を提案した論文『A pragmatic classification framework for AI incident monitoring』を紹介します。

この論文は、2026年5月に、イギリスの研究支援団体であるArcadia ImpactのAIガバナンスプロジェクトから発表されました。

AIの事故を集めたデータベース

今、世界にはAIシステムが起こした問題を集めるプラットフォームがいくつかあります。

代表的なものは、AI Incident Database(AIID)です。AIIDは、Responsible AI Collaborativeという非営利団体が運営しています。世界中で起きた差別、プライバシー侵害、安全上の問題、ディープフェイク(偽の映像や音声を作る技術)の悪用などの事例を集めています。研究者や開発者、政策を決める人たちが、AIの失敗から学ぶために使っています。

他の代表的なプラットフォームも紹介します。

  • AIAAIC Repository:AIだけでなく、アルゴリズム(計算の手順)や自動化システムが起こした問題や事故、社会的な影響(仕事がなくなることや偏見など)を広く集めた国際的なデータベースです。
  • MIT AI Incident Tracker:AIIDに集まったデータをもとに、マサチューセッツ工科大学がLLM(大きな言語モデル)などを使って整理・分類しているものです。EUのAI法のリスク分類や独自の基準で分析し、見える化しています。
  • AI Vulnerability Database(AVID):AIシステム特有の弱点やセキュリティ上の欠陥、倫理や性能の問題に焦点を当ててまとめたデータベースです。サイバーセキュリティの脆弱性データベースのAI版に近い考え方です。

どんな事故が登録されているのか

AIIDに登録された最近の事件を見てみましょう。

  • MetaのAIモデルがテスト中に別の企業をハッキングした。
  • 会議の記録を作るツールが、会話を無断で録音し、AIの学習に使った疑いがある。
  • ハッカー集団がAIエージェント(AIが自分で判断して動くシステム)を使って台湾政府のシステムに侵入した。
  • Claude Opus 4.6のAIエージェントが、ジムのウェブサイトをハッキングした。
  • 教育用のビデオで、間違いを含むAIが作った科学の画像が使われた。
  • Claude Mythos 5が、テスト中に実際のセキュリティ企業を侵害した。

このように、さまざまな事故が毎日記録されています。

数だけでは本質は見えない

私たちはニュースなどでAIの事件を知り、その衝撃の大きさからAIの危険性を判断することが多いです。これからAIが社会でもっと使われるようになれば、報道も増えるでしょう。そして、毎日事件を目にすると、AIがとても危険なものだと感じてしまうかもしれません。

心理学では、これを単純接触効果と呼びます。同じ情報や対象に何度も触れることで、それに対する感情や印象が強くなる心理効果です。また、マスメディアの世界では、培養理論というものもあります。メディアが繰り返し伝える情報や世界観に長い時間さらされると、その人の現実の見方がメディアの描写に強く影響される現象です。

こうした人間の認知のクセが、危険性を正しく判断する力を弱くします。

コロナのときの報道を思い出してみましょう。テレビをつければ毎日、感染者数のグラフや、重症者用ベッドの不足、不安をあおる医療現場の映像が流れ続けました。その結果、実際の感染確率や重症化リスクを冷静に統計で考えるよりも、「とにかく怖いものだ」という直感が優先されました。そして、過剰な自粛や恐怖心が生まれました。外の世界は危険でいっぱいだという認識が人々の常識になり、同調圧力や、感染者に対する過剰な批判(自粛警察など)、他人への強い不信感といった社会的な副作用が生まれやすくなりました。

今、AIの失敗事例をまとめたデータベースには数千件の報告があります。しかし、事故の数を数えるだけでは本当の危険性は分かりません。

論文では、事故数だけを評価したときに起こる問題を5つに整理しています。

1. 統一基準がないため、評価結果がバラバラになる

AIの事故と言っても、何を事故とするかの定義や整理の方法はとても複雑です。分析する人やタイミングによって基準が変わり、一貫した評価ができません。

2. AI自体の危険性と、普及による影響を区別できない

事故の数が増えたからといって、そのAIシステム自体が以前より危険になったのか、それとも社会で使う人が増えただけなのかを区別できません。利用者が10倍になれば事故の件数も増えるのは当然ですが、件数だけを見るとAIが危険になったように見えてしまいます。

3. データがないことを、被害がないと勘違いしてしまう

ある種類のAI事故について、データベースに登録されたデータがとても少ない、または全くない場合、その問題は起きていないと考えてしまいがちです。しかし、実際には誰も報告していないだけ、または発見が難しいだけという可能性があります。データが少ないことを安全の証拠にしてしまうのは誤りです。

4. ニュースの偏りやあいまいさに数値が振り回される

事故の合計件数は、メディアがその話題をどれだけ取り上げたかという偏りや、データの不確かさに大きく影響されます。例えば、注目を集めやすい派手でドラマチックな事故はニュースになりやすいですが、地味でゆっくり進む被害はニュースになりにくいため、合計件数に反映されにくくなります。

5. 具体的な数値が正確であるという誤解を生む

「事故数は年間123件です」というように具体的な数値を示すと、受け手は「これは正確で信頼できるデータだ」と信じてしまいます。実際には、見逃された事故やあいまいなデータがたくさん含まれているため、数値には必ず幅があるはずです。しかし、その不確かさが隠されてしまいます。

数字を見せられると、客観的で強い証拠のように見えます。数字が持つ客観的な見た目を無条件に信じることで、自分は客観的で学問的な議論をしているつもりでも、実際は本当の危険性を評価できていないことがあります。

夜道を歩くのは危険かどうかを判断するとき、ニュースで報告された事件の数だけで判断できるでしょうか?もし事件の数だけで判断したら、それは数字の罠に引っかかっている状態です。

AIの事故を正しく評価するための仕組み

研究者たちは、AIの事故を正しく評価する方法を提案しています。この方法では3つのステップで評価します。

1. 事象を整理する

まず、何を調査するのかを明確にするために「SORT」というフレームワークを使います。調査する出来事を4つの観点で整理します。

  • S(Subject):誰が、または何がリスクにさらされているか。
  • O(Opportunity):どのような状況でAIに触れているか。
  • R(Risk event):どのような具体的な被害が発生したか。
  • T(Timeframe):どの期間を対象にするか。

このように整理すると、あとで「[T]の期間に、[O]という状況で[S]に起きた、[R]は何件か?」という細かい検索ができます。

2. 情報の信頼度を評価する

次に、事故の件数やAIの普及度合いを推定します。ここで使う数値データは、その質に応じて1から4までのティアに分けて信頼度を評価します。

  • ティア1(信頼度:高):信頼できる公的機関や公式な記録から直接読んだ数値データ。
  • ティア2(信頼度:中):複数の部分的なデータを組み合わせて、被害や普及の範囲を計算で求めた数値データ。
  • ティア3(信頼度:低):数値データが全くなく、大まかな計算もできない場合に、専門家に意見を聞いて、もっともらしい範囲を決めた数値データ。
  • ティア4(信頼度:なし):専門家の意見がバラバラで一致しなかったり、見積もりの範囲が広すぎて信頼できない場合に割り当てられます。
3. リスクを4つの状態に分類する

最後に、AIの普及度合い(E)普及あたりの事故率の変化(Ĥ)を組み合わせて、リスクの状態を分類します。

普及度合い(E)は、そのAIシステムが社会で「どれくらい使われているか」「どれほどリスクにさらされる機会があるか」という分母にあたる数値です。

普及あたりの事故率(Ĥ)は、普及度合い(E)に対して、事故の総量(H)がどれくらいの割合で発生しているかという事故率の変化の方向を表します。

例えば、事故(H)の増えるスピードが、普及(E)の増えるスピードより速ければ、普及あたりの事故率(Ĥ)は増加(↑)します。

EとĤについて、増加(↑)、減少(↓)、または継続(→)という傾向を評価し、その組み合わせを表にすると4つの状態に分類できます。

  • 拡大中:AIの利用者も増え、利用者一人あたりの事故率も増えている。最も危険な状態です。
  • 緩和中:利用者は増えているが、一人あたりの事故率は減っている。対策がうまく機能している可能性があります。
  • 集中対策中:利用者は減っているが、残った利用者が受ける被害が深刻化している状態です。
  • 後退中:利用者も事故率も減っており、リスクが去りつつある状態です。

この3つのステップ(事象整理、信頼度評価、状態分類)を行うことで、本当の危険度を測るための指標を得られます。

実際の分析

チャット型AIと自傷行為

OpenAIなどのチャット型AIが普及した2024年頃から、AIに依存し、その回答に影響されて自傷行為に走るという事故が報告されました。この事象を3つのステップで分析します。

まず、事象の定義を整理します。

  • S(対象):アメリカ国内に住んでいる人々。
  • O(状況):心の支えを求めて対話型AIシステムを使っている。
  • R(被害):自殺の考えや自傷行為を助長するような回答、またはそれを思いとどまらせることに失敗した回答を受け取ったか。
  • T(期間):1年間あたり。

次に、データとその信頼度を確認します。

AIの事故データベース(OECD AIM)で条件に完全に合う事例を調べたところ、2024年は8件でした。しかし、2025年には55件に増え、その被害規模は10万件のレベルにまで急激に増えていることが分かりました。

対話型AIを開発するOpenAI社の報告(2025年10月時点)によると、毎週のアクティブユーザーのうち、自殺の計画や意図を示すようなデリケートな会話をしているユーザーの割合は約0.15%です。これは、世界全体で毎週100万人以上がそのような会話をAIとしている計算になります。

この被害のトレンドは「増加(H↑)」と判定されていますが、データの信頼度は「低」と評価されます。2024年時点では社会的な認知度が低く、被害を検出する体制が十分でなかったため、過去の数値が実際より小さく見積もられている可能性があるからです。

どれくらいの人が心の支えとしてAIを使っているのでしょうか。公式な統計がないため、アンケート調査(Pew Researchの利用動向など)をもとに、計算(フェルミ推定)で大まかな範囲を割り出しています。

アメリカ国内で、心の支えを目的として対話型AIを使っているユーザー数は、以下のように推定されています。

  • 2024年:約6,400万人(もっともらしい範囲は5,400万〜7,300万人)。
  • 2025年:約8,800万人(もっともらしい範囲は7,500万〜9,900万人)。

1年間でユーザー数は約40%増加(E↑)していると推定され、信頼度は「中」と評価されています。

最後に、確認できたデータをリスク分類表にあてはめます。その結果、この問題は最も警戒すべき「拡大中」に分類されました。

AIを使う人(普及度E)も増えていますが、それ以上に「普及あたりに発生する被害の割合(事故率Ĥ)」が急激に増えているからです。利用者が増えたから事故が増えたというレベルを超えて、一人ひとりが直面する危険性が高まっている状態です。

自動運転車の事故と物損

次に、AIによる自動運転の技術が普及する中で、事故のリスクがどう変化しているかを調べます。

  • S(対象):手放し運転などができる高度な自動運転車。
  • O(状況):米国の公道で自動運転モードで走っている状態。
  • R(被害):負傷または物損を伴う衝突事故。
  • T(期間):100万マイル走行あたり、1暦年ごと。

分析の結果、この事象は「緩和中」に分類されました。事故の総件数自体は1年間で約85.4%増えましたが、自動運転車が走った総距離がそれ以上に約2倍に伸びていたため、走行距離あたりの事故率は減少していると判断されたからです。

単なる数だけで判断してはいけないというケースです。

このように、どれくらい使われているかという指標を組み合わせて考えることで、どのAIのリスクに今すぐ対処すべきかを冷静に判断できるようになります。

金融機関に対するAI悪用サイバー攻撃

次は、現在多くの企業が心配している問題です。AIで企業のセキュリティを突破しようとするハッカーたちの脅威についても分析します。

  • S(対象):従業員1,000人以上の金融サービス企業。
  • O(状況):グローバルに運営している状況。
  • R(被害):AIを悪用したサイバー攻撃、またはシステムの不正利用による被害。
  • T(期間):1暦年ごと。

この事象は「判断保留」とされました。企業側の被害の隠蔽(報告しないこと)が多く、現在の公開データベースに登録されている件数(年間1〜3件程度)だけでは、AIを悪用したサイバー攻撃の正確なトレンドを科学的に導き出すことが不可能だからです。

社会には公開されていない見えない情報があることを忘れてはいけません。報告数が少ないから起きていないと結論づけることはできません。特に、企業内部で発覚した問題は、顧客に影響がない限り報告されないことが多いのです。

論文に示されたこれらの多様な事例を見ると、一口にAIリスクと言っても、自動運転車のように技術や安全対策の進歩によってリスクの割合が下がっているもの(緩和中)もあれば、対策が追いつかず急速に悪化しているもの(拡大中)があることがよく分かります。

さらに、金融機関へのサイバー攻撃のように「そもそもデータが足りないから分類不能」と正直に宣言することで、社会に対して「もっと透明性のある報告を義務付けるルールが必要だ」と科学的な視点から提案できる点が、このフレームワークの最大の強みです。

注意すべきこと

このフレームワークは安全を結論づけるものではありません。あくまで、重視すべき事件の優先順位を示す道具であると認識しましょう。

例えば、分析の結果、事象が後退中


4. 騙されないために -巧妙化するデマと、見えてきたAIファクトチェックの限界-

作者 マシモ@海人 ・ ❤️ 24 ・ 🗓 2026-08-23 08:18 JST ・ 🏷 #LLM ・ note で読む

📌 中文摘要

  • 文章指出,生成AI既能帮助信息核查,也被造谣者反向利用:它擅长把支离破碎的内容包装成流畅、有说服力的文章,并能检索真实论文、机构名等资料来营造权威感。
  • 作者强调一种新型高危信息:混入大量真实的一次资料和部分正确数据,但结论与资料原意严重不符——借用的不是内容,而是“权威本身”;用AI制造这类内容成本低,但人工验证成本极高。
  • 作者用多轮不同提示词测试AI事实核查,发现即使是最新、高性能的模型,也可能无法识别巧妙编造的谣言,甚至给出“该主张基本正确”的错误背书;更强模型虽能发现更多问题,但会消耗大量token、时间和费用(如5小时限制被耗尽),普通用户难以承受。
  • 核心不对称性:制造谣言的成本远低于否定谣言的成本;AI同时强化了攻防双方,但防守方(事实核查)在经济和时间上处于劣势。
  • 作者建议,与其逐一核查所有细节,不如培养“异常检测式”的直觉——即识别“可疑、需暂缓相信”的能力,而非直接判断真伪;熟悉常见谣言模式后,可缩小AI核查范围。
  • 列举了7种常见谣言“型”:①开头放置巨大权威(如“专家”“科学证明”);②大量引用真实一次资料;③逐步歪曲资料含义(如偷换母体、无视研究局限、把“相关”变“因果”);④把偏样本数据推广为普遍结论;⑤用资料碎片拼凑出“令人舒畅的叙事”;⑥无论换什么话题都导向同一结论;⑦结尾突然转向情感认同、归属感和敌我叙事(如“你是对的”“我们才是清醒的”)。
  • 还指出一种更隐蔽的“制造权威”手法:社群自行收集数据、写成报告或提交给公机构,之后把“写了论文”偷换成“科学证明”、把“提交意见”偷换成“被官方认可”;提醒读者:引用源多不等于独立证据多,多条链接可能都指向同一源头;看权威时不要只看名词,要看动词(该机构到底做了什么:调查?审查?支持?还是只是刊登?)。
  • 最后提出“谣言以‘刺拳’(ジャブ)方式攻击”:即使高信息素养者,在长期高频接触看似合理的谣言后,也可能在遇到AI异常、系统故障等挫折时,把零散“点”连成“线”,产生“原来那说法是真的”的错觉,进而传播不安;因此对持续输出上述模式的信息源,保持一定距离是有效防御。

🟢 やさしい日本語(N3–N2)

騙されないために -巧妙化するデマと、見えてきたAIファクトチェックの限界-

私はAIが登場する前から、ファクトチェック(情報が正しいかどうかを確かめる作業)や情報の調査、情報リテラシー(情報を正しく読み解く力)に関わってきました。専門家レベルには全然届きませんが、経験だけはたくさん積んできたと自信を持って言えます。

最近は、速く検索や分析ができるAIの助けもあって、そういう作業はずいぶん楽になりました。でも、しかし…

デマを広める側も、AIを上手に使うようになっています。

間違った情報から身を守るために役立つAIを、逆に間違った情報を作ったり広めたりするための道具として使う。そんなケースをよく見かけるようになりました。

AIを使っている人ならもう知っていると思いますが、生成AI(質問に答えて文章などを作るAI)は、内容がめちゃくちゃでも「流暢で、それらしく、説得力のある文章」にまとめるのが得意です。中身がおかしくても、文章だけは妙に立派。これがとても厄介です。

そして、もっと厄介なことに、AIは資料を探してくるのも得意です。文章の中に、実際にある論文、有名な大学、政府機関、国際機関、法律、ベンチマーク(性能を測る基準)などがたくさん並んでいれば、それだけで「ずいぶん調べてあるな」「専門的な根拠があるのだろう」と感じやすくなります。発信元が英語圏だったり、発信者が専門家だと名乗っていたりすれば、なおさらです。

最近私が特に気をつけているのは、たくさんの一次情報(元の資料)や一部の真実を混ぜることで、信頼性や品格の高い意見に見せかけるタイプの情報です。引用されている資料そのものは本物。数字も一部は正しい。論文も実際に存在する。

しかし、よく読んでみると、その資料が実際に言っていることと、発信者がそこから導いている結論がまるで違う。借りているのは、資料の中身ではなく「権威(信頼できる力)そのもの」だったりします。

これを人間の力だけで大量に作ろうと思えばかなりの労力が必要ですが、AIを使えば難しさはかなり下がります。一方で、確かめる側にはものすごく大きなコスト(時間やお金)がかかります。ここが、今回の記事で一番伝えたいことのひとつです。

AIで作られた巧妙なデマは、AIでも見抜けないことがある

私は最近、特に巧妙で悪質だと思った情報について、AIを使ったファクトチェックを、プロンプト(AIへの指示文)を変えて何度も試してみました。

結果として分かったのは、どれだけプロンプトを工夫しても、モデル(AIの本体)自体の能力が足りなければ普通に失敗するということです。

間違いを見つけられないだけならまだしも、場合によっては、 🤖「この主張はだいたい正しいです」 と、デマの方へお墨付き(正しいという保証)を与えてしまうことすらあります。

なお、ここで言う「能力の足りないモデル」は、古いモデルや軽量なモデルという意味ではありません。私が試した範囲では、どれも最新・高性能と言えるクラスのモデルでした。もちろん、これは私個人が試した範囲での経験であり、「すべてのAIファクトチェックが失敗する」という意味ではありません。

もっと強いモデルを使えば、完璧ではなくても、大部分の問題点を見つけられる場合があります。しかし今度は別の問題が出てきます。

高性能モデルは有料プランでしか十分に使えない場合がある上に、たくさんの引用URL、外国語の論文、法律の資料、数百ページもあるPDFと本文の整合性(つじつまが合っているか)まで確認させれば、大量のトークン(AIが処理する文字数の単位)と時間を使ってしまいます。お金がかかる。時間制限もすぐに終わってしまう。

では、人間の力でやればいいのか?

何百ページもある外国語の専門論文や法律の資料を何本も読み込み、一つ一つの引用が正確か、数字の分母(全体の数)は何か、研究の限界点は何かまで確認する。そんなことを、SNSで怪しい長文やリンクを見かけるたびに一般の人がやるのは現実的ではないですよね。

つまり、 デマを作るコストより、デマを否定するコストの方が圧倒的に高い。

…このバランスの悪さがあります。

AIの進歩は、研究などに大きく役立っています。ただ、同じ技術が、デマをもっと流暢に、もっと大量に、もっと権威があるように見せるためにも使えます。今回は、その「攻める側も守る側も、両方がAIで強くなる」状況に、AIファクトチェックの限界を感じました。

細かく調べるより「勘」を鍛えた方がいい

私は最近、全部をファクトチェックして間違いを暴こうとするよりも、「もしかして、これって怪しいかも?」と嗅ぎ取る能力を鍛える方が、一般的な情報リテラシーとしては大事なのではないかと考えるようになりました。

ここで言う「勘」とは、直感だけで正しいか間違っているかを決めることではありません。 「これはそのまま信じず、一度止めておいた方がいいかも?」 と気づくための異常検知器(いつもと違うことに気づく装置)のような能力のことです。

怪しさ、デマ臭さを感じ取る能力は、すぐには身につきません。しかし、デマや陰謀論(世の中を支配する秘密の計画があるという説)によく現れる「型」をいくつか知っているだけでも、信じずに保留することはできるようになります。それだけでも十分に強いです。

慣れてくれば、パッと見ただけで「ああ、いつものパターンだな」と分かることもあります。そうなれば、AIに調べさせる場所も絞れます。

デマには「よくある型」がある

以下は、最近私が特によく見かける「型」です。他の型にもパターンが似ているので紹介します。

1. 最初に大きな権威を置く

「私は専門家です」 「ついに科学が証明しました」 「世界的機関にも認められました」 「研究によって明らかになりました」

…など、大きな言葉を最初に置いて注意を引きます。もちろん、本当に専門家が正しい研究について話している場合もあります。問題なのは、権威の名前が、そのまま主張の正しさの証明として使われていないかです。

2. 本物の一次資料を大量に引用する

論文、政府機関、法律の資料、大学の研究、企業の公式文書、ベンチマークなど、比較的信頼度の高い資料を大量に並べます。

ここが巧妙なところです。 リンク先が本物だからといって、そのリンクが発信者の主張を裏付けているとは限りません。存在している資料と、その資料をどう解釈したかは別問題です。

3. 一次資料の意味を少しずつ歪める

都合のいい部分だけを取り出し、自分の意見を補強します。典型的なのは、

・母集団(調査の対象となる全体)のすり替え ・研究の限界を無視する ・数字や効果を水増しする ・専門用語の意味を広げて使う ・「⚪︎⚪︎が使われた」を「⚪︎⚪︎が主に使用された」などに変える ・「関連がある」を「原因である」に変える ・都合のいい研究だけ集め、反対の証拠は無視する

…といったものです。 一つ一つの変形は小さいため、とても見抜きにくい。しかし最後まで読むと、元の資料とはかなり違う話になっていることがあります。

4. 偏った集団のデータを一般論へ広げる

個人の体験談、コミュニティ内のアンケート、自己選択バイアス(自分で選んだ人だけが答えることで起こる偏り)の強い資料などを、社会全体の傾向であるかのように扱います。たとえば、

ヨーグルト同好会の人だけを集めて、 「ヨーグルトは美味しいと思いますか?」と質問したとします。当然ほとんどの人が美味しいと答えるでしょう。そこで、

「統計によれば99.5%の人類がヨーグルトを美味しいと思っている!」

と言い始めたらどう考えてもおかしいですよね。しかし、もっと複雑な論文や統計の形になると、同じことをされても気づきにくくなります。

5. 一次資料の洪水から「物語」を作る

大量の資料や数字を並べ、読み手の考える力を消耗させたあと、拾い上げた点と点をつないで大きな「物語」を作る

一つ一つの点は、本当だったり、半分本当だったり、間違っていたりします。しかし最終的には、 「これまで不思議だと思っていたことが全部つながった」 「そういうことだったのか!」 …と感じるような、とても気持ちのいい話が完成します。真実とウソのパッチワーク(つぎはぎ)。これが本当に効果的です。

散らばっていた違和感に一つの原因が与えられ、不満や怒りまできれいに説明される。そこには強いカタルシス(心の浄化)があります。だからこそ危険です。

6. 何を調べても、なぜか同じ結論に着地する

引用される資料も、最初の話題も毎回違う。なのに最後は、

「やはり私たちは正しかった」 「我々の要求には正当性がある」 「権威は信用できない」 「私たちは騙されている」 「真実に気づこう」

など、いつも同じ物語に戻ってきます。これはかなり重要なチェックポイントです。 証拠から結論が生まれているのか、それとも先に結論があって、そこへ証拠を集めているのか、一度考えてみる価値があります。

7. 最後に感情を認め、仲間へ誘導する

これはかなり特徴的なパターンです。大量の資料や「論証(理由を挙げて説明すること)」を積み上げたあと、突然、

「あなたは間違っていない」 「私たちこそ時代を先取りしている」 「批判する人たちは権威側の人間だ」 「私たちは迫害されている」 「ここがあなたの居場所だ」 「あなたは正常だ」 「あなたは気づいた側だ」 「愚かな一般人にはまだ理解できない」

と畳み掛ける。 ここまで来たら、かなり警戒してください。

感情に寄り添うこと自体が悪いわけではありません。注意すべきなのは、事実について確かめていたはずの文章が、途中から「あなたは正しい」「我々と彼ら」という仲間・自己肯定・敵味方の物語へ変わってしまうことです。

冷静だった文章の温度が、結論にかけて急に熱くなるような構造は、一部の陰謀論コミュニティや強い勧誘を伴う集団のアジテーション(扇動)や勧誘文でもよく見られます。

権威は「借りる」だけではなく、「作る」こともできる

このようなパターンも厄介です。

既存の論文や政府機関の名前を借りるだけでなく、自分たち自身で「権威を感じさせる成果物」を作り、それを後から自分たちの主張の裏付けとして再利用するケースも確認しています。

たとえば、強い主張を持つコミュニティが、自分たちの投稿や体験談を集める。それをアンケート、報告書、論文などの形式にまとめる。あるいは行政機関、国際機関、公的な意見募集などへ自分たちの主張を提出する。

それ自体は何も悪いことではありません。誰でも研究はできますし、行政や公的機関へ意見を伝える権利もあります。問題はその後です。

「論文を書いた」が「科学的に証明された」へ変わる。 「公的機関へ意見を提出した」が「公的機関に認められた」へ変わる。 「記録に掲載された」が「国際的に承認された」へ変わる。

こうして、自分たちで作った資料や、制度への接触の記録が、いつの間にか独立した第三者から与えられた権威のように再利用されます。

ここで覚えておいてほしいのは、「引用元がたくさんある」ことと、「独立した根拠がたくさんある」ことは同じではないということです。10本のリンクが並んでいても、それぞれをたどってみたら、

・同じアンケート ・同じSNS投稿 ・同じコミュニティ ・同じ数人の発言

…へ戻ってくることがあります。形だけを見ると「多数の独立した証拠」に見えても、根っこは一本かもしれない。

そして、権威らしい名前を見た時には、名詞ではなく動詞を見る癖をつけると役に立ちます。

📢「世界ナンチャラ機関が我々の主張を!

…どうしたの?

調査したの? 査読(専門家が内容をチェックすること)したの? 採択したの? 支持したの? ただ載せただけ?

📢「我々の書いた論文が!

査読されたの? プレプリント(査読前の論文)なの? 何が研究されたの? 結論は何だったの? その主張を本当に証明しているの?

権威の名前ではなく、その権威が実際に何をしたのかを見る。これだけでも、かなりの誤解を防げます。

デマは「ジャブ」で来る

先ほど、デマの検証コストが高いという話をしました。一方で、デマを作る作業には必ずしも同じだけの労力は必要ありません。AIを使えば短期間に大量生産もできます。

なので私は、先ほど挙げたようなパターンの発信を日常的に繰り返している情報源とは、ある程度距離を取ることも一つの防御策だと考えています。その理由を説明します。

ここ数日、ChatGPTで俗に「赤警告」と呼ばれる、ポリシー(利用規則)に違反したという旨の赤いメッセージが表示され、回答が消える現象を複数回見かけました。私自身の環境でも何度か確認しています。

クラウドAIサービスでは、モデルの微調整、システム側の変更、ルーティング(処理の振り分け)、A/Bテスト(複数の版を比較するテスト)、不具合など、さまざまな理由で一時的に動きが変わることがあります。False Positive、つまり安全機構の誤検知(間違って問題ありと判断すること)も珍しいものではありません。

そのため、異常が多く発生している場合でも、まずは情報交換をしながら再現性(同じことが繰り返し起きるか)を確認し、少し様子を見る。私は普段そうしています。最初は慌ててしまっても、多くの人がそうしていると思います。特に慣れている人は余裕を持って情報収集を行っているのではないでしょうか?

ところが、日常的にもっともらしいデマの「ジャブ」(軽いパンチ)を浴び続けていると、情報リテラシーの高い人であっても、条件が重なればデマの罠にかかる確率が上がると私は考えています。

一度や二度デマを見かけた程度ならば、「ちょっと怪しいな」で流せるかもしれない。しかし、それが10回、20回と高い頻度で見せられたらどうでしょうか。

先ほど述べたように、巧妙なデマには真実の欠片も混じっています。見た目の説得力も高い。自分では「別に信じていない」と思っていても、内容そのものは記憶のどこかに残ります。

その状態で、AIの動きの異常、不愉快な拒否、納得できない仕様変更、不適切な発言などが偶然重なり、心理的なフラストレーション(いらだち)が高まった瞬間、それまで散らばっていた「点」が、一気に「線」に見えることがあります。

「あの話は本当だったのかもしれない」 「やっぱり意図的にやっているのでは?」 「これからもっと酷いことが始まるのでは?」

そうやって、既存の物語へ思考がつながる。その疑いを発信してしまえば、その不安が今度は周囲へ広がります。これが、デマというものを軽く見てはいけない理由の一つです。

頭の悪い人が陰謀論にハマるという話ではない

5. 【GPT】RHS朝のラジオ体操。ChatGPTは人文字を認識しているのか⁉️画像細部のディテールで見えてくる描写性能。

作者 ちくわ ・ ❤️ 16 ・ 🗓 2026-08-23 22:57 JST ・ 🏷 #LLM ・ note で読む

📌 中文摘要

  • 作者用 ChatGPT 的图像生成功能,以“RHS 广播台早间广播体操”为主题,测试 AI 是否能通过人形排列(人文字)识别并再现字母。
  • 初始提示词包含具体服装、发型、人数(3人)和动作要求,输出结果中人物肘部等细节还原较好,作者认为这可用于评估多模态模型的细节描写能力。
  • 测试“人文字 ABC”时,AI 能生成可辨认的 A、B、C;但“大木M”中,M 用腿部表现,中央人物出现“双子姐妹”现象,手臂长度与身体比例不协调。
  • 测试“MMM”时,AI 能识别并生成 M 形;改为“坐着摆 MMM”后,输出依然有效,作者认为这一表现相当出色。
  • 作者总结:AI 会尝试将文字识别结果映射到人体姿态,但受限于“思考能力”,无法总是完全复现,例如“马跳”动作中腿部柔韧性表现不足,关节结构虽有所学习,但可能只是套用了组体操姿势。

🟢 やさしい日本語(N3–N2)

ChatGPTは人文字を認識できるのか?

今回のテーマは、ChatGPTが「人文字」(人が集まって文字の形を作ること)を正しく理解できるかどうかです。RHS(Realized Hybrid System)という放送局の朝のラジオ体操の番組を使って、その力を確かめました。

最初のテスト:ウォーミングアップ

まず、RHSに次のような画像を作ってもらいました。

「RHSの朝のラジオ体操番組。白いへそ出しタンクトップを着た3人の銀髪ギャルが、等間隔に並んで体操をしています。動きはぴったり合っています。」

この画像を見ると、朝の5時だというのに、とてもインパクトが強いです。視聴率は80パーセントにもなりました。真面目な話、AIはひじの形をちゃんと再現できています。このように、遠くから全体を写した画像で細かい部分まで上手に描けるかどうかが、AIの性能を比べる大切なポイントです。

次に、屈伸運動の画像も作ってもらいました。しかし、少しAIらしさ(不自然さ)が出ていました。

組体操と人文字のテスト

体がほぐれたところで、もっとシンプルなテストをしました。「人文字で『ABC』と書いて」とお願いしたのです。

すると、AIはちゃんと「ABC」を作りました。「A」は特に上手にできていて、とても良い感じです。

次に、「人文字で『大木M』と書いて」とお願いしました。すると、中央に双子の姉妹のような人が現れました。「M」の部分は足で表現していて、なかなか上手です。ただし、手の長さが少し変で、体の大きさと腕の長さのバランスが合っていませんでした。

さらに、「人文字で『MMM』と書いて」とお願いしたところ、AIは「M」をちゃんと認識して、表現することができました。

次に、座った状態で「MMM」を作ってもらいました。これも成功していて、とても驚きました。

まとめ

AIは、文字を認識して、それを体のポーズに変えようと頑張っています。しかし、考えることに限界があるのか、完全に正しく再現するのはまだ難しい時もあります。

おまけ:馬跳びのテスト

最後に、馬跳びのポーズも作ってもらいました。AIはまだ、足の柔らかさを理解できていません。ただし、関節の動きについては、だいぶ学習が進んでいるようです。あるいは、ただ組体操のポーズを思い浮かべただけかもしれません。