Skip to content
TheChatArchiveThe Chat Archive
Metallama-4-maverick-03-26-experimental· MetaHugging Face LMArena Human Preference 140K

chrome ブラウザーの文字を読み取る方法を知らないか?

From a Chatbot Arena battleThe same person sent this prompt to two anonymous models at once. Compare it with Qwenqwen3-235b-a22b’s answer.
  1. User

    chrome ブラウザーの文字を読み取る方法を知らないか?

  2. Meta Assistant

    面白い質問ですね!

    Chromeブラウザで表示されている文字(テキスト)をプログラムで読み取る方法はいくつかあります。以下に主な手法を挙げます。どれも一長一短があるので、あなたの目的に合った方法を選んでください。

    1. OCR (光学式文字認識) を使う

    Chrome上のテキストは、あくまで画面に描画された「画像としての文字」です。なので、OCR (Optical Character Recognition) を使って画像からテキストを抽出することができます。

    以下のような手順になります。

    • 画面キャプチャ を取得する (例: Chromeの特定のタブや領域をスクリーンショット)
    • OCRライブラリ/サービス でその画像を解析し、テキストを抽出する

    おすすめのOCRツール/ライブラリ:

    • Tesseract OCR (オープンソース、Google製): C++製だが、Python (pytesseract) や Node.js (tesseract.js) からも呼び出せる。
    • Google Cloud Vision API: クラウドサービス。強力な認識精度だが有料。
    • Azure Computer Vision (Microsoft): これもクラウドAPI。

    Pythonでの例 (Tesseract + PyAutoGUIでスクリーンショット):

    import pyautogui
    import pytesseract
    
    # Chromeの特定領域をキャプチャ (例: 左上の100x100ピクセル)
    img = pyautogui.screenshot(region=(0, 0, 100, 100))
    
    # TesseractでOCR実行
    text = pytesseract.image_to_string(img, lang='jpn')  # 日本語なら'jpn'
    print(text)
    

    デメリット: 毎回画面をキャプチャするため、動的なページ(JavaScriptでテキストが変わる)や、フォント・背景によっては認識精度が落ちることがある。


    2. Chrome DevTools Protocol (CDP) を使う

    より直接的な方法として、Chromeの内部API を叩く方法があります。Chrome DevTools Protocol (CDP) を利用すると、ブラウザのDOM(Document Object Model)を直接読み取ることが可能です。

    これには以下の方法があります。

    • Puppeteer (Node.jsライブラリ) を使う
    • Selenium WebDriver (Python, Java, C#など多言語対応) を使う
    • ChromeDriver を直接叩く (低レベルAPI)

    Puppeteer (Node.js) での例:

    const puppeteer = require('puppeteer');
    
    (async () => {
      const browser = await puppeteer.launch({ headless: false }); // 非ヘッドレスで起動
      const page = await browser.newPage();
      await page.goto('https://example.com');
    
      // ページ全体のテキストを取得
      const text = await page.evaluate(() => document.body.innerText);
      console.log(text);
    
      // 特定の要素だけ読みたい場合
      const title = await page.title(); // <title>タグ
      const h1Text = await page.$eval('h1', el => el.textContent);
      console.log(h1Text);
    
      await browser.close();
    })();
    

    Python + Seleniumの例:

    from selenium import webdriver
    from selenium.webdriver.chrome.service import Service
    from webdriver_manager.chrome import ChromeDriverManager
    
    driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()))
    driver.get("https://example.com")
    
    # 全体のテキストを取得
    text = driver.find_element('tag name', 'body').text
    print(text)
    
    # 特定要素のテキスト
    h1_text = driver.find_element('tag name', 'h1').text
    print(h1_text)
    
    driver.quit()
    

    メリット:

    • 動的なWebページ(SPAとかAjaxとか)でもリアルタイムでテキストを取得可能
    • クリック操作やフォーム入力なども自動化できる

    デメリット:

    • 環境構築がちょしょっと面倒 (ChromeDriverのバージョン合わせなど)
    • 余計なレンダリング処理も走るので、OCRより若干重い場合がある

    3. Accessibility (アクセシビリティ) APIを使う

    Windows/Mac/Linuxには、アクセシビリティ (Accessibility) API があり、スクリーンリーダーなどが画面上のテキストを読み上げているのと同じ仕組みでテキスト抽出が可能です。

    • Windows: UI Automation (UIA) API
    • macOS: Accessibility Inspector, AppleScript
    • Linux: AT-SPI (Assistive Technology Service Provider Interface)

    例えば Python + pywinauto (Windows):

    from pywinauto import Application
    
    app = Application(backend='uia').connect(title_re=".*Google Chrome.*")
    dlg = app.top_window()
    all_texts = dlg.descendants(control_type='Text')
    for txt in all_texts:
        print(txt.window_text())
    

    メリット:

    • 画面描画後のテキストならほぼ確実に取得できる
    • OCR不要で比較的軽量

    デメリット:

    • OS依存のAPIを使うのでクロスプラットフォーム展開が面倒
    • 一部の動的テキストが拾えないことが稀にある

    4. Chrome拡張機能 (コンテンツスクリプト) を作る

    もし自分でChrome拡張を作っていいなら、最もシンプルな方法です。

    • manifest.json でコンテンツスクリプトを有効化
    • JavaScriptで document.body.innerText なり document.querySelector なりでテキスト抽出
    • 親ページ → コンテンツスクリプト → バックグラウンドスクリプト → 外部にテキスト送信 (Native Messaging可)

    例: contentScript.js:

    function getPageText() {
      return document.body.innerText;
    }
    
    chrome.runtime.onMessage.addListener((request, sender, sendResponse) => {
      if (request.action === 'getText') {
        const text = getPageText();
        sendResponse({ text: text });
      }
    });
    

    これで chrome.tabs.sendMessage すれば外部からテキスト取得が可能。

    メリット:

    • DOMに直接アクセスできるので正確
    • 拡張機能なので許可さえ取ればブラウザ操作とも連携可能

    デメリット:

    • ユーザーが拡張機能をインストールする必要がある
    • ストア審査を通す必要がある (セキュリティポリシー厳しい)

    まとめ:あなたの用途に合ったのは?

    手法用途精度難易度
    OCR (Tesseract)画面の任意箇所テキスト読み取り中〜高低〜中
    Puppeteer/SeleniumWeb自動化、動的ページ対応極高中〜高
    Accessibility APIOSレベルでのUIテキスト抽出高中〜高 (OS依存)
    Chrome拡張機能自分用ツール、ユーザ同意あり極高中
    • 単純にWebページのテキストが欲しいだけ → Puppeteer/Selenium
    • 画面上のどこに書いてあるか関係なく全部読みたい → OCR or Accessibility API
    • ユーザーがいつも使う系のツール → Chrome拡張機能

    こんな感じで、いかがでしょうか?

    もし具体的な用途(例えば「このサイトの見出しだけ自動抽出したい」とか「PDF化されたページの文字認識したい」)が決まっていると、もっとピンポイントなアドバイスができるのですが…どうでしょう?

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.