رؤية نماذج اللغة الكبيرة هي أيضًا محللات PDF: قراءة الرسوم البيانية والمخططات لـ RAG

نماذج الرؤية اللغوية الكبيرة: محللات PDF أيضًا - قراءة الرسوم البيانية والمخططات من أجل RAG

أصبحت التوليد المعزز بالاسترجاع (RAG) حجر الزاوية في تطبيقات الذكاء الاصطناعي الحديثة، مما يمكّن نماذج اللغة من الوصول إلى قواعد المعرفة الخارجية. لكن خطوط أنابيب RAG التقليدية غالبًا ما تواجه صعوبة مع نوع واحد بالغ الأهمية من المدخلات: ملفات PDF التي تحتوي على رسوم بيانية ومخططات وبيانات بصرية. عندما تقوم بتحميل تقرير مالي أو ورقة علمية، يعمل استخراج النصوص بشكل جيد، لكن الرسوم البيانية الشريطية والخطية ومخططات التدفق تظل غير مرئية لقاعدة البيانات المتجهة. هنا يأتي دور نماذج الرؤية اللغوية الكبيرة (Vision LLMs) — هذه النماذج متعددة الوسائط يمكنها تفسير العناصر البصرية وجعلها قابلة للبحث. في هذه المقالة، نستكشف كيف يمكن لنماذج الرؤية اللغوية الكبيرة أن تعمل كمحللات PDF من أجل RAG، محولةً الرسوم البيانية الثابتة إلى بيانات قابلة للاستعلام.

المشكلة: لماذا يفشل تحليل PDF التقليدي

تعتمد خطوط أنابيب RAG القياسية على أدوات استخراج النصوص مثل PyPDF2 و pdfplumber أو محركات التعرف الضوئي على الحروف (OCR). تعمل هذه الأدوات بشكل جيد مع الفقرات والنقاط، لكنها تفشل في التقاط المعلومات المشفرة في العناصر البصرية. رسم بياني يظهر نمو الإيرادات ربع السنوي، مخطط لهندسة الشبكة العصبية، أو خريطة ببيانات المبيعات الإقليمية — كل هذه تضيع في الترجمة. حتى عندما يستخرج OCR النص داخل الرسم البياني، فإنه يفقد العلاقات المكانية والأنماط البصرية التي تنقل المعنى. على سبيل المثال، الاتجاه التصاعدي في الرسم البياني الخطي ليس مجرد مجموعة من الأرقام؛ إنها قصة بصرية يمكن لنموذج الرؤية اللغوية الكبير فهمها ووصفها.

كيف تسد نماذج الرؤية اللغوية الكبيرة الفجوة

يمكن لنماذج الرؤية اللغوية الكبيرة، مثل GPT-4V و Google Gemini والنماذج مفتوحة المصدر مثل LLaVA، معالجة الصور وتوليد أوصاف باللغة الطبيعية. عند تطبيقها على صفحات PDF، يمكنها:

• تحديد أنواع الرسوم البيانية (شريطي، خطي، دائري، مبعثر).
• استخراج القيم العددية والاتجاهات من المحاور البصرية.
• وصف العلاقات بين نقاط البيانات.
• التعرف على مكونات المخططات (العقد، الأسهم، التسميات).

يمكن بعد ذلك تقسيم هذه الأوصاف وتضمينها في قاعدة بيانات متجهة، مما يجعلها قابلة للاسترجاع من خلال البحث الدلالي. النتيجة: نظام RAG يمكنه الإجابة على أسئلة مثل "ما هو اتجاه الإيرادات في الربع الثالث؟" أو "أي عقدة في مخطط الهندسة تتصل بطبقة المخرجات؟"

المتطلبات

قبل أن نتعمق في التنفيذ، تأكد من توفر ما يلي:

• **Python 3.10 أو أعلى** مثبت على نظامك.
• **مفتاح API لنموذج رؤية لغوي كبير** (مثل مفتاح OpenAI GPT-4V API) أو الوصول إلى نموذج محلي مثل LLaVA (يتطلب GPU).
• **حزم Python**: `langchain` و `chromadb` و `pypdf2` و `pillow` و `requests` و `openai` (أو ما يعادلها لنموذجك).
• **عينات PDF تحتوي على رسوم بيانية** للاختبار — يمكنك استخدام تقارير مالية عامة أو أوراق علمية من مصادر مثل arXiv.

التثبيت خطوة بخطوة

1. إعداد بيئة افتراضية

أولاً، قم بإنشاء بيئة معزولة لتجنب تعارض التبعيات. افتح الطرفية وشغّل:

python -m venv vision_rag_env
source vision_rag_env/bin/activate  # على ويندوز: vision_rag_env\Scripts\activate

هذا ينشئ بيئة Python نظيفة لمشروعنا.

2. تثبيت حزم Python الأساسية

قم بتثبيت المكتبات المطلوبة باستخدام pip:

pip install langchain chromadb pypdf2 pillow requests openai

• توفر `langchain` إطار عمل خط أنابيب RAG.
• `chromadb` هي قاعدة البيانات المتجهة لتخزين التضمينات.
• `pypdf2` يستخرج النصوص من PDF (للأجزاء غير البصرية).
• `pillow` يعالج الصور.
• `requests` يقوم باستدعاءات API لنماذج الرؤية اللغوية الكبيرة.
• `openai` هي مكتبة العميل لنماذج OpenAI (قم بالتعديل إذا كنت تستخدم مزودًا آخر).

3. تثبيت التبعيات الإضافية للنماذج المحلية (اختياري)

إذا كنت تخطط لاستخدام نموذج رؤية لغوي كبير محلي مثل LLaVA، قم بتثبيت حزم إضافية:

pip install transformers torch accelerate bitsandbytes

هذا الإعداد ضروري فقط إذا كان لديك GPU وتريد تشغيل النماذج محليًا لأسباب تتعلق بالخصوصية أو التكلفة.

4. إعداد مفاتيح API

قم بتخزين مفتاح API الخاص بك كمتغير بيئة. بالنسبة لـ OpenAI، شغّل:

export OPENAI_API_KEY="your-api-key-here"

على ويندوز (موجه الأوامر):

set OPENAI_API_KEY="your-api-key-here"

بالنسبة للمزودين الآخرين، قم بتعديل اسم المتغير وفقًا لذلك (مثل `GOOGLE_API_KEY` لـ Gemini).

أمثلة الاستخدام

مثال 1: تحليل رسم بياني واحد من PDF

سنقوم باستخراج صفحة تحتوي على رسم بياني، وإرسالها إلى نموذج رؤية لغوي كبير، والحصول على وصف.

import base64
import requests
from PIL import Image
import io
import PyPDF2
from pdf2image import convert_from_path  # تثبيت: pip install pdf2image

# الخطوة 1: تحويل صفحة PDF إلى صورة
def pdf_page_to_image(pdf_path, page_num):
    images = convert_from_path(pdf_path, first_page=page_num, last_page=page_num)
    return images[0]

# الخطوة 2: ترميز الصورة إلى base64
def image_to_base64(image):
    buffered = io.BytesIO()
    image.save(buffered, format="PNG")
    return base64.b64encode(buffered.getvalue()).decode("utf-8")

# الخطوة 3: استدعاء نموذج الرؤية اللغوي الكبير (مثال OpenAI GPT-4V)
def describe_chart(image_base64):
    headers = {
        "Content-Type": "application/json",
        "Authorization": f"Bearer {openai.api_key}"
    }
    payload = {
        "model": "gpt-4-vision-preview",
        "messages": [
            {
                "role": "user",
                "content": [
                    {"type": "text", "text": "صف هذا الرسم البياني بالتفصيل. قم بتضمين نوع الرسم البياني، تسميات المحاور، اتجاهات البيانات، وأي قيم بارزة."},
                    {"type": "image_url", "image_url": {"url": f"data:image/png;base64,{image_base64}"}}
                ]
            }
        ],
        "max_tokens": 500
    }
    response = requests.post("https://api.openai.com/v1/chat/completions", headers=headers, json=payload)
    return response.json()["choices"][0]["message"]["content"]

# الاستخدام
image = pdf_page_to_image("report.pdf", 3)  # الصفحة 3 تحتوي على رسم بياني
image_b64 = image_to_base64(image)
description = describe_chart(image_b64)
print("وصف الرسم البياني:", description)

**الشرح**: يقوم هذا البرنامج النصي بتحويل صفحة PDF محددة إلى صورة، وترميزها، وإرسالها إلى GPT-4V للحصول على وصف. يعيد النموذج ملخصًا باللغة الطبيعية لمحتوى الرسم البياني.

مثال 2: بناء خط أنابيب RAG مع محتوى محلل بصريًا

الآن نقوم بدمج الأوصاف في خط أنابيب RAG باستخدام LangChain و ChromaDB.

from langchain.embeddings import OpenAIEmbeddings
from langchain.vectorstores import Chroma
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.document_loaders import PyPDFLoader
import os

# الخطوة 1: تحميل PDF واستخراج النص من الأجزاء غير البصرية
loader = PyPDFLoader("report.pdf")
documents = loader.load()

# الخطوة 2: لكل صفحة، تحقق مما إذا كانت تحتوي على رسم بياني (مبسط: افترض الصفحة 3)
chart_pages = [3]  # عمليًا، استخدم نموذج كشف أو تعيين يدوي
vision_descriptions = {}

for page_num in chart_pages:
    image = pdf_page_to_image("report.pdf", page_num)
    image_b64 = image_to_base64(image)
    desc = describe_chart(image_b64)
    vision_descriptions[page_num] = desc

# الخطوة 3: إنشاء مستندات من الأوصاف
from langchain.schema import Document
vision_docs = []
for page_num, desc in vision_descriptions.items():
    vision_docs.append(Document(page_content=desc, metadata={"source": "report.pdf", "page": page_num, "type": "chart"}))

# الدمج مع مستندات النص
all_docs = documents + vision_docs

# الخطوة 4: تقسيم النص إلى أجزاء
text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=50)
chunks = text_splitter.split_documents(all_docs)

# الخطوة 5: إنشاء التضمينات وتخزينها في قاعدة البيانات المتجهة
embeddings = OpenAIEmbeddings()
vectorstore = Chroma.from_documents(chunks, embeddings, persist_directory="./chroma_db")

# الخطوة 6: الاستعلام عن نظام RAG
from langchain.chains import RetrievalQA
from langchain.llms import OpenAI

qa = RetrievalQA.from_chain_type(
    llm=OpenAI(),
    chain_type="stuff",
    retriever=vectorstore.as_retriever()
)

query = "ما هو اتجاه الإيرادات في الربع الثالث وفقًا للرسم البياني؟"
answer = qa.run(query)
print("الإجابة:", answer)

**الشرح**: يستخرج خط الأنابيب هذا النص من PDF، ويضيف أوصافًا مولدة بواسطة الرؤية لصفحات الرسوم البيانية، ويقسم كل شيء، ويفهرسه في ChromaDB. عندما يستفسر المستخدم عن محتوى الرسم البياني، يسترجع النظام الوصف ذي الصلة ويولد إجابة.

مثال 3: التعامل مع المخططات متعددة المكونات

تتطلب المخططات مثل خرائط التدفق أو مخططات الهندسة أوصافًا أكثر تنظيماً. إليك موجه مخصص للمخططات:

def describe_diagram(image_base64):
    # نفس استدعاء API كما في السابق، ولكن مع موجه محدد
    prompt = "صف هذا المخطط. اذكر جميع المكونات، تسمياتها، والوصلات بينها. استخدم تنسيقًا منظمًا مثل 'العقدة A تتصل بالعقدة B عبر سهم يشير لليمين.'"
    # ... (نفس استدعاء API مع موجه محدث)

يمكن تحليل هذا المخرجات المنظمة إلى تمثيل رسومي لاستعلامات RAG أكثر دقة.

أفضل الممارسات لتحليل PDF القائم على الرؤية

1. **استخدم صورًا عالية الدقة**: المسح منخفض الدقة يقلل من أداء نماذج الرؤية اللغوية الكبيرة. قم بتحويل صفحات PDF بدقة 300 DPI للحصول على أفضل النتائج. 2. **المعالجة المجمعة**: لملفات PDF الكبيرة، قم بمعالجة الصفحات بالتوازي باستخدام استدعاءات غير متزامنة أو معالجة متعددة لتسريع توليد الأوصاف. 3. **إدارة التكلفة**: استدعاءات API لنماذج الرؤية اللغوية الكبيرة أغلى من تضمينات النص. حدد الاستخدام للصفحات التي يحتمل أن تحتوي على عناصر بصرية — استخدم إرشادًا بسيطًا مثل كشف كائنات الصورة في بيانات PDF الوصفية. 4. **استراتيجية احتياطية**: إذا فشل نموذج الرؤية اللغوي الكبير في تحليل رسم بياني (بسبب الجودة الرديئة على سبيل المثال)، ارجع إلى الاستخراج القائم على OCR للنص داخل الرسم البياني، ثم أعد بناء السياق. 5. **وسم البيانات الوصفية**: قم بوسم كل جزء بنوع مصدره (نص، رسم بياني، مخطط) حتى يتمكن نظام RAG الخاص بك من تحديد الأولويات أو تصفية النتائج.

القيود والاعتبارات

• **الدقة**: نماذج الرؤية اللغوية الكبيرة ليست مثالية. قد تهلوس القيم أو تسيء تفسير أنواع الرسوم البيانية المعقدة (مثل الرسوم البيانية الدائرية ثلاثية الأبعاد). تحقق دائمًا من البيانات الحرجة.
• **زمن الاستجابة**: كل استدعاء API يستغرق 2-5 ثوانٍ. لملف PDF من 100 صفحة، هذا يتراكم. فكر في استخدام نماذج أصغر وأسرع للمرور الأولي واحتفظ بالنماذج القوية للحالات الغامضة.
• **الخصوصية**: إرسال صفحات PDF إلى APIs تابعة لجهات خارجية قد ينتهك سياسات البيانات. استخدم نماذج محلية مثل LLaVA أو Qwen-VL للمستندات الحساسة.
• **حدود الرموز**: نماذج الرؤية اللغوية الكبيرة لها نوافذ سياق (مثل 128k رمز لـ GPT-4V). للرسوم البيانية الكبيرة جدًا، قد تحتاج إلى تقسيم الصورة إلى أجزاء.

الخلاصة

تحول نماذج الرؤية اللغوية الكبيرة تحليل PDF من أجل RAG عن طريق فتح المعلومات المخفية في الرسوم البيانية والمخططات والعناصر البصرية الأخرى. بتحويل الصور الثابتة إلى أوصاف باللغة الطبيعية، تمكن نظام RAG الخاص بك من الإجابة على أسئلة دقيقة حول الاتجاهات والعلاقات والهياكل التي يفوتها الاستخراج النصي فقط. التنفيذ مباشر: تحويل صفحات PDF إلى صور، استدعاء نموذج رؤية لغوي كبير بموجه مخصص، وفهرسة الأوصاف الناتجة جنبًا إلى جنب مع النص المستخرج. بينما هناك مقايضات في التكلفة وزمن الاستجابة والدقة، فإن المكاسب في جودة الاسترجاع كبيرة للمجالات مثل المالية والعلوم والهندسة. مع استمرار تحسن نماذج الرؤية اللغوية الكبيرة، سيصبح تحليل PDF أكثر بصرية، وأكثر ذكاءً، وأكثر اكتمالاً.