Rendszámfelismerés LocalAI-n, átlagos kamerával, töredékáron

				
					import cv2
from ultralytics import YOLO
from paddleocr import PaddleOCR
import numpy as np
from server import manage_numberplate_db
import cvzone
# Initialize PaddleOCR
ocr = PaddleOCR()
cap = cv2.VideoCapture('20250130_124028.mp4')
# model = YOLO("best_float32.tflite")
model = YOLO("/home/laszlofesus/.pyenv/runs/detect/train2/weights/best.pt")
with open("coco1.txt", "r") as f:
    class_names = f.read().splitlines()

plate_dict = {}  # Track ID -> rendszám tárolására

# Function to perform OCR on an image array
def perform_ocr(image_array):
    if image_array is None:
        raise ValueError("Image is None")

    # Perform OCR on the image array
    results = ocr.ocr(image_array, rec=True)  # rec=True enables text recognition
    detected_text = []

    # Process OCR results
    if results[0] is not None:
        for result in results[0]:
            text = result[1][0]
            detected_text.append(text)

    # Join all detected texts into a single string
    return ''.join(detected_text)

# Mouse callback function to print mouse position
def RGB(event, x, y, flags, param):
    if event == cv2.EVENT_MOUSEMOVE:
        point = [x, y]
        print(point)

cv2.namedWindow('RGB')
cv2.setMouseCallback('RGB', RGB)

# Initialize video capture and YOLO model
count = 0
area =[(400, 200), (400, 400), (800, 400), (800, 200)]  # a kék keret koordinátái
counter = []

while True:
    ret, frame = cap.read()
    if not ret:
        break
#    count += 1
#    if count % 3 != 0:
#        continue

    frame = cv2.resize(frame, (1280, 720))  # HD felbontás, több részletet tart meg
    # Run YOLOv11 tracking on the frame
    results = model.track(frame, persist=True,imgsz=640)  # 640 a maximum, 512-vel is jól működik, gyorsabb

    # Check if there are any boxes in the results
    if results[0].boxes is not None and results[0].boxes.id is not None:
        boxes = results[0].boxes.xyxy.int().cpu().tolist()  # Bounding boxes
        class_ids = results[0].boxes.cls.int().cpu().tolist()  # Class IDs
        track_ids = results[0].boxes.id.int().cpu().tolist()  # Track IDs
        confidences = results[0].boxes.conf.cpu().tolist()  # Confidence score

        for box, class_id, track_id, conf in zip(boxes, class_ids, track_ids, confidences):
            # c = class_names[class_id]  # most nincs szükség az osztálynevekre (itt most: "numberplate")
            x1, y1, x2, y2 = box
            cx=int(x1+x2)//2
            cy=int(y1+y2)//2
            # cv2.circle(frame,(cx,cy),4,(255,0,0),-1)
            # cvzone.putTextRect(frame,f'{track_id}',(x1,y1),1,1)
            # cv2.rectangle(frame,(x1,y1),(x2,y2),(0,255,0),2)

            result = cv2.pointPolygonTest(np.array(area, np.int32), ((cx, cy)), False)
            if result >= 0:
                if track_id not in counter:

                    counter.append(track_id)  # Only add if it's a new track ID

                    crop = frame[y1:y2, x1:x2]
                    crop = cv2.resize(crop, (130, 70))  # A rendszám téglalap mérete

                    text = perform_ocr(crop)
                    print(text)
                    print(f"Track ID: {track_id} - Rendszám: {text}")
                    text = text.replace('(', '').replace(')', '').replace(',', '').replace(']', '').replace('-', ' ')

                    # Ha magyar rendszám, és a beolvasott szöveg "H" betűvel kezdődik és legalább 4 betűből áll az első rész
                    parts = text.split()  # Szóközökkel felbontjuk
                    if len(parts) > 1 and parts[0].startswith("H") and len(parts[0]) == 4:
                        parts[0] = parts[0][1:]  # Levágjuk az első H betűt
                        text = " ".join(parts)  # Újra összerakjuk a rendszámot

                    # Csak akkor frissítsük a plate_dict-et, ha a rendszám még nincs benne!
                    if track_id not in plate_dict or plate_dict[track_id] != text:
                        plate_dict[track_id] = text  # Mentsd el a rendszámot a track_id-hez!

                    manage_numberplate_db(text)  # Writes the actual numberplate to the MySQL database

            # Rendszám box rajzolása
            cv2.rectangle(frame, (x1, y1), (x2, y2), (0, 255, 0), 2)

            # Kiírás: ha van hozzátartozó rendszám, akkor azt írja ki, különben "--"
            plate_text = plate_dict.get(track_id, "--")
            cvzone.putTextRect(frame, plate_text, (x1, y1 - 10), 1, 1)

    mycounter = len(counter) # Egyedi rendszámok számlálása és a számláló kiírása
    cvzone.putTextRect(frame,f'{mycounter}',(50,60),1,1)
    cv2.polylines(frame, [np.array(area, np.int32)], True, (255, 0, 0), 2)

    # video/kép megjelenítése
    cv2.imshow("RGB", frame)
    if cv2.waitKey(1) & 0xFF == 27:  # cv2.waitKey(0) - képenként, cv2.waitKey(1) - folyamatosan, Press 'Esc' to exit
        break

# Close video capture and MySQL connection
cap.release()
cv2.destroyAllWindows()