【Mac】画像内の文字をテキストデータにして翻訳する方法

macOS Montereyから、画像内の文字をテキストデータにできる新機能「画像内テキスト認識」が追加されました。
この機能は、iPhoneのiOSにも以前から搭載されているOCR（光学文字認識）機能です。
現在、日本語を含む13言語（アラビア語、イタリア語、スペイン語、ドイツ語、フランス語、ポルトガル語、ロシア語、英語(アメリカ/イギリス)、韓国語、中国語(中華民国国語 – 台湾)、中国語(普通話 – 中国本土)）に対応しています。

※Montereyの初期リリース時は日本語に対応していませんでしたが、現在は対応しています。

「画像内テキスト認識」の使い方（準備編）

「画像内テキスト認識」の使い方（実践編）

準備ができたら実際に使ってみましょう。

例えば、サイト内にある画像のテキストを抽出（コピー）してみます。

ここでポイントですが、ブラウザで「画像内テキスト認識機能」を使用するには、Safariでないとダメで、Chrome、Firefox、Edge等では使用できません。

但し、画像を一旦ローカル側にダウンロードしてから、「プレビュー.app」を使用すると同様の手順で認識してくれます。

試しにこの画像内のテキストを取り出してみます。

通常のテキストを選択するようにマウスをドラッグして文字を選択します。
（Safariかプレビュー.appで使用可能です）

command ⌘ + Cでクリップボードにテキストをコピーします。
その後、適当なところにペーストすれば、取り出した文字を使用することができます。

【取り出された文字】

今回は比較的多くはっきりした文字なので、完璧にテキスト認識されています。

文字認識された画像は、直接、他の言語に翻訳することもできます。

サブメニューを表示し、「XXXXXXを翻訳」を選択します。

すると、任意の言語に翻訳されます。

…が、翻訳性能はあまり高くないので、ちゃんと翻訳したい場合は、
Weblio等の翻訳サイトを使った方が良いかもしれません。

翻訳性能が低すぎる…

次に、日本語の翻訳を行ってみましたが、そもそも日本語をちゃんと取り出せてないので、
翻訳もめちゃくちゃです。

日本語はさらにメチャクチャです…(涙)

【取り出された文字】

号き:照売:期間・完冬セールス:お断リ
インターホンは押すなよ
絶対に押すなよ!
※コリではありません。

【英語翻訳された文字】

号き: Tari: Period, complete winter
Sales: no, don’t press the intercom,
don’t push it! ※It’s not stiffness.

「画像内テキスト認識」はOCR機能だけではない。

基本的には画像内の文字をテキスト化する機能ですが、その選択された文字の内容によっていろいろな補助機能が使えるようになります。

• 住所　→　マップ.appで地図を表示する。
• 電話番号 → 電話をかける。
• URLアドレス → サイトを開く。
• メールアドレス → メールを送信する。
• 日付、日時　→　カレンダーやリマインダーを作成する。

まとめ

• 「画像内テキスト認識機能」は、macOS Monterey（12.x）から装備された機能。
• WEBサイト上の画像は、Safariのみで使用可能。
• 画像ファイルであれば、プレビュー.appで使用可能。
  （Finderで画像ファイルを選択後、スペースキーを押すとプレビュー.appが起動）
• 画像内の文字認識と同時に、抽出した文字から各種アクションを起こせる。
• 現状、翻訳性能はあまり良くない。