c# Mysql realsense tensorflow 연동

파이썬에서 import 해야하는 파일목록

opencv ,

tensorflow,

pyrealsense2,

pymysql

 

cmd 로 들어가서 ./PycharmProjects\dbtest\venv\Scripts 의 경로에서 (파이참이 설치된 경로)activate를 시켜준다. (가상환경 실행)

그럼 다음과같이 가상환경이 실행된것을 확인할 수 있다. 

그런 후 에 순서대로 pip install opencv-python
pip install pyrealsense2
pip install pymysql 
pip install scipy
pip install tensorflow-gpu ==1.9.0 (다른버전 사용하셔도 됩니다.)

을 해준다. 

그리고 다음과 같이 import가 된다면 성공이다. 

import 성공

이후 Realsense와 텐서플로우 딥러닝을 이용해 

Realsense를 통해 3d 데이터를 추출하고, 관절 추적모델을 적용시켜 스켈레톤을 가져올 예정.

while True:
frames = pipeline.wait_for_frames()

aligned_frames = align.process(frames)
image_data_rgb = aligned_frames.get_color_frame()
image_data_depth = aligned_frames.get_depth_frame() # hide image

spat_filter = rs.spatial_filter()
temp_filter = rs.temporal_filter()

filtered = spat_filter.process(image_data_depth)
image_data_depth = temp_filter.process(filtered)
if not image_data_rgb or not image_data_depth:
continue

image_rgb = np.asanyarray(image_data_rgb.get_data())
depth_data_array = np.asanyarray(image_data_depth.get_data())

등의 코드를 통해 realsense 값을 가져오고.

humans = e.inference(image_rgb)
image_rgb, checkPerson, trueHumanCount, joint_pixelX, joint_pixelY = TfPoseEstimator.draw_humans(image_rgb,
humans, joint_pixelX, joint_pixelY, imgcopy=False)

을 이용해 가져온 rgb image에 관절데이터를 그려주고, 
cv2.imshow("test2", image_rgb)
를 통해 보여준다. 

코드를 실행시키면 다음과 같다.

관절데이터 추출 

이후 작업은 동작에 대한 디비 데이터를 가져와 각 row마다 median값을 구하고, 

이 데이터와 현재 데이터와 비교하는 알고리즘을 만들려고 한다.