書く人の横にAI、書き終われば窓口へ届く
映像も読み取りも手元のAIで処理する「AI記入サポート」を試作

申請書を書く手元をAIが見守り、書き漏れを声で案内。書き終わったら読み取って確認し、そのまま窓口の画面へ

AI弟子開発チームは、役所の窓口で住民が紙の申請書を書くときに、カメラで手元を見守って声で案内し、書き終わった用紙を読み取って職員の画面に届けるシステム「AI記入サポート」を試作しました。

映像の理解と音声の生成は、クラウドではなく手元のGPUで動くローカルAIで行います。用紙の映像や読み取った内容を外部のAIサービスに送らない構成にすることで、個人情報の扱いが厳しい窓口でもAIを使えるようにすることを目指しています（声の質問の聞き取りだけは、現状ブラウザの音声認識を使用）。

10年後、窓口の「書き方の案内」と「転記」は
AIが横でやってくれるのが当たり前になる。

背景：窓口の案内と転記に、人の手がかかっている

役所の窓口では、「この欄は何を書けばいいですか」という案内や、書き漏れによる書き直し、紙の内容をシステムへ入力し直す作業に、多くの人手がかかっています。これから働き手が減っていく中で、同じ体制を続けるのは難しくなります。

一方で、窓口で扱う情報は氏名・住所・生年月日などの個人情報です。インターネット上のAIサービスに送ることは避けたい情報のため、便利なAIがあっても使いにくいという課題がありました。

STEP 1書く手元を見守り、声で案内カメラが用紙を見て、「フリガナの欄はカタカナで記入してください」のように、書き漏れや書き方をその場で声で伝えます。

STEP 2分からないことは聞ける「生年月日は和暦で書くの？」と声で聞くと、用紙を見ながら答えます。

STEP 3書き終わったら読み取り、確認ボタン1つで用紙を撮影し、各欄の手書き文字を読み取ります。空欄は赤く示し、内容はその場で直せます。

STEP 4送信すると、窓口の画面に届く受付番号を発行し、職員の画面に内容と用紙の写真が届きます。職員は転記せずに確認から始められます。

本日撮影。デモ用に作った架空の「みらい市」の申請書に手書き風の文字を書き込んだ画像をカメラの代わりに入力し、実際のAI（DiffusionGemma）で読み取った画面です。実物の用紙とカメラでの確認は会場で進めています。

	今	AI記入サポートがあると
住民	書き方が分からず窓口で待つ、書き漏れで書き直す	書いているその場で案内が入り、書き直しが減る
窓口の職員	記入の案内と、紙からシステムへの転記に時間がかかる	案内をAIに任せ、読み取った内容の確認から始められる
自治体	個人情報の扱いから、クラウドのAIを使いにくい	映像の理解・読み取り・音声を手元のPCで処理する

見る・読み取る：Googleの拡散型言語モデル「DiffusionGemma（26B）」を画像に対応させ、自前のGPU（V100）1枚で動かしています。用紙の映像から書き漏れや書き方を判断し、書き終わった用紙の手書き文字を欄ごとに読み取ります。
話す：日本語音声合成「Irodori-TTS」を手元のGPUで動かし、案内を声で伝えます。
人が最後に確認する設計：AIの読み取りは間違えることがあるため、送信前に必ず住民が内容を確認・修正する画面をはさみます。
データの置き場所：受付データと用紙の写真は、このPCの中だけに保存します。