!pip install opencv-python
!pip install pytesseract

import os
video_path = ... #Путь к видео
tesseract_path = ... #Путь к установленному Tesseract
os.environ["PATH"] += os.pathsep + tesseract_path
import pytesseract
import cv2
import imutils
import pandas as pd
import datetime as dt

df = pd.DataFrame(columns = ['Время', 'Клиент в кадре'])
work_place = () #Область, где сидит клиент
date = None #Область на видео с временем и датой
tracked = False #Состояние отслеживания

prototxt = 'MobileNetSSD_deploy.prototxt' #Модель
weights = 'MobileNetSSD_deploy.caffemodel' #Веса

classNames = {0: 'background',
              1: 'aeroplane',
              2: 'bicycle',
              3: 'bird',
              4: 'boat',
              5: 'bottle',
              6: 'bus',
              7: 'car',
              8: 'cat',
              9: 'chair',
              10: 'cow',
              11: 'diningtable',
              12: 'dog',
              13: 'horse',
              14: 'motorbike',
              15: 'person',
              16: 'pottedplant',
              17: 'sheep',
              18: 'sofa',
              19: 'train',
              20: 'tvmonitor'}

thr = 0.1 #Уровень доверия

net = cv2.dnn.readNetFromCaffe(prototxt, weights) #Нейросеть

cap = cv2.VideoCapture(video_path)

%%time
cap = cv2.VideoCapture(video_path)
total_frame = 0
while True:
    success, frame = cap.read()
    if success:
        total_frame += 1
    else:
        break
video_length = ... #Длительность видео в секундах
fps = round(total_frame / video_length)
fps

while cap.isOpened():
    ret, frame = cap.read()
    if ret:
        frame = imutils.resize(frame, width=1200) #Качество кадра, влияет на быстродействие
        #Получение участка кадра, где расположено рабочее место
        if len(work_place) == 0:
            cv2.putText(frame, 'Set the client\'s location', (0, 90), cv2.FONT_HERSHEY_SIMPLEX,
                2, (0,255,0), 2)
            work_place = cv2.selectROI('frame', frame, fromCenter=False, showCrosshair=True)
            x, y, w, h = [int(coord) for coord in work_place]
        #Получение даты
        if not date:
            try:
                cv2.putText(frame, 'Set the date, (0, 160), cv2.FONT_HERSHEY_SIMPLEX,
                    2, (0,255,0), 2)
                date = cv2.selectROI('frame', frame, fromCenter=False, showCrosshair=True)
                date_x, date_y, date_w, date_h = [int(coord) for coord in date]
                date_ = frame[date_y : date_y+date_h, date_x : date_x+date_w]
                date_ = cv2.cvtColor(date_, cv2.COLOR_BGR2GRAY) #Приводим к градации серого
                #date_ = cv2.threshold(date_, 0, 255, cv2.THRESH_BINARY + cv2.THRESH_OTSU)[1]
                date_ = cv2.threshold(date_, 180, 255, 0)[1] #Можно менять значения для лучшего распознавания
                date = pytesseract.image_to_string(date_)
                date = dt.datetime.strptime(date, '%Y-%m-%d %H:%M:%S')
            except:
                print('Распознать дату не удалось, введите дату вручную в формате ГОД-МЕСЯЦ-ДЕНЬ ЧАСЫ:МИНУТЫ:СЕКУНДЫ')
                date_ = input()
                date = dt.datetime.strptime(date_, '%Y-%m-%d %H:%M:%S')
        if cap.get(1) % fps == 0:
            date += dt.timedelta(seconds = 1)
        if not tracked or (cap.get(1) % (fps * 30) == 0):
            #Предобработка кадра
            frame_resized = cv2.resize(frame, (300, 300)) #Подгон изображения под 300 на 300 пикс
            blob = cv2.dnn.blobFromImage(frame_resized, 0.007843,
                                         (300,300), (127.5, 127.5, 127.5), False)
            #Прямой проход кадра по нейросети
            net.setInput(blob)
            detections = net.forward()
            #[0, 0, object, [0, class_id, confidence, xLeftBottom, yLeftBottom, xRightTop, yRightTop]]
            #Запоминаем размеры предобработанного кадра
            cols = frame_resized.shape[1]
            rows = frame_resized.shape[0]
            #Детекция класса и получение его рамки исходных размеров
            for obj in detections[0,0, :, :]:
                confidence = obj[2]
                if confidence > thr:
                    class_id = int(obj[1])
                    if class_id == 15:
                        xLeftBottom = int(obj[3] * cols)
                        yLeftBottom = int(obj[4] * rows)
                        xRightTop   = int(obj[5] * cols)
                        yRightTop   = int(obj[6] * rows)
                        #Отношения размеров оригинального и сжатого кадра
                        heightFactor = frame.shape[0] / 300.0
                        widthFactor = frame.shape[1] / 300.0
                        #Границы объекта на несжатом кадре
                        xLeftBottom = int(widthFactor * xLeftBottom)
                        yLeftBottom = int(heightFactor * yLeftBottom)
                        xRightTop   = int(widthFactor * xRightTop)
                        yRightTop   = int(heightFactor * yRightTop)
                        #Нахождения центра рамки границы объекта
                        xCenter = xLeftBottom + (xRightTop - xLeftBottom)/2
                        yCenter = yLeftBottom + (yRightTop - yLeftBottom)/2
                        #Проверка вхождения объекта в выделенную область
                        if xCenter < x + w and yCenter < y + h and xCenter > x and yCenter > y:
                            tracker = cv2.TrackerCSRT_create()
                            tracker.init(frame, (xLeftBottom, yLeftBottom, xRightTop-xLeftBottom, yRightTop-yLeftBottom))
                            tracked = True
                            cv2.rectangle(frame, (xLeftBottom,yLeftBottom), (xRightTop,yRightTop), (0,255,0), 3, 1)
                            break
                        else:
                            tracked = False
        else:
            _, bbox = tracker.update(frame)
            X, Y, W, H = [int(coord) for coord in bbox]
            xCenter = X + W/2
            yCenter = Y + H/2
            if xCenter < x + w and yCenter < y + h and xCenter > x and yCenter > y:
                tracked = True
                cv2.rectangle(frame, (X,Y), (X + W, Y + H), (255,255,0), 3, 1)
            else:
                tracked = False
        cv2.imshow('frame', frame)
        df.loc[cap.get(1), :] = [date, tracked]
        print(cap.get(1), date, tracked) #Вывод номера кадра, даты и наличия/отсутствия клиента
        if cv2.waitKey(1) == 27: #ESC
            break
    else:
        break
cap.release()
cv2.destroyAllWindows()

df_ = df.groupby('Время', as_index=False).agg(max)
df_.to_excel('output.xlsx', index=False)