특허 ReView : AI 홈트레이닝 서비스의 제공 방법 및 그 장치 ( 주식회사 미임팩트)

회사소개

[미임팩트] 

https://healnessbook.com/

힐니스북 (healnessbook)

힐니스 북이라는 사이트를 통해 

클래스 , 어플 소개 , 제품 판매 , 체험권 등 서비스 제공

https://www.venturesquare.net/849618

스타트업 ㈜미임팩트, 엔젤투자 유치

[ 배경기술 ] 

개인 코칭을 받기에는 비용이 많이 발생하고 

잘못 된 코칭으로 소비자가 피해를 볼 수 있다는 점을 기반으로 제작

[ 해결할려는 과제 ]

실내 운동 시 홈 트레이닝을 통해 근골격계의 자세로 바로잡고 효율적으로 할 수 있는 홈 트레이닝 시스템을 제공

[ 특허 요약 ]

본 발명은 AI를 이용하여 트레이닝, 바람직하게는 홈 트레이닝을 위한 서비스를 제공하는 방법 및 그 장치에 관한 것 

AI 홈트레이닝 서비스의 제공방법은 

사용자를 촬영한 영상을 사용자 단말기로부터 입력받고 입력 받은 영상에 기초하여 사용자의 골격의 비대칭을 자가 테스트 하는 단계 ,

소정의 문진을 사용자 단말기에 제공하고 그 응답에 따른 추천 곤텐츠에 관한 정보를 사용자 단말기에 전송하는 단계 ,

상기 추천 콘텐츠 및 / 또는 사용자가 지정한 영상을 사용자가 플레이리스트에 담는 입력을 사용자 단말기로부터 수신하는 단계

학습된 분류 모델을 이용하여 연속으로 수행되는 사용자의 복수 동작들에 대해 동작 횟수의 카운트 및 동작의 정확성 분석을 수행하고 , 그 카운트 및 분석 결과를 사용자 단말기에 제공하는 단계,

및 사용자의 운동기록을 사용자 단말기에게 제공하는 단계를 포함한다. 

CPC특허분류 :  A63B 71/0622 (2013.01)    G06F 16/71 (2019.01)      G06T 7/70 (2017.01)

서비스 프로세스

분류모델 학습 과정

[자가 테스트 분류모델 학습]

-인체의 정면, 측면, 후면 영상

-인체의 인구통계학 정보

-불균형 상태 정보

(학습용 로우 데이터)  : 인체의 정면 , 측면 ,후면 인구통계학 정보(나이, 성별,직업) , 불균형(어깨, 골반, 거북목, 척추측만)

-인체의 스켈레톤 추출

-스켈레톤 렌드마크 추출  ( Movenet, Mediapipe, TensorFlow) 

-인체의 신체 각도 파라미터 결정

- 위의 데이터로 학습 

- 신체 불균형 상태 별 이진 분류(binary classification) 3개의 댄스 레이어로 구성된 DNN(Deep Neural Networks) 모델사용

- 학습용데이터 , 검증용 데이터 , 테스트용데이터로 분할하여 학습 (8:1:1)

 

[ 자가 테스트 분류모델에 기초한 사용자 신체 불균형 상태 판별 ]

- 인체의 스켈레톤 추출

- 스켈레톤 렌드마크 추출 

     * 눈,코 ,귀 ,어깨 , 쇄골, 팔꿈치 , 손 ,골반 ,무릎, 발  or 발목 ( 정면 )

     * 귀 , 어깨 , 골반 , 무릎, 발 or 발목 (측면)

- 인체의 신체 각도 파라미터 결정

- 학습된 분류모델에 파라미터 입력

-모델을 통해 불균형 상태를 나타내는 정보 출력

    * 운동 종류와 동작의 종류 결정 

    * 오류 동작과 정상 동작을 비교 분석

    *  오류 여부 통지 및 교정을 위한 알람 전송 

-결정된 파라미터 기반 불균형 상태를 사용자 단말기로 전송

-불균형 상태 별 기준 데이터나 통계 데이터와 비교 분석 한 정보를 사용자 단말기로 전송

     * 관련된 데이터베이스에 저장된 운동영상, 운동기구 , 상담 기록, 병원정보 중 하나 포함 

     * 신체 각도 파라미터 대응 -> 관절각도 강조표시 , 목표 각도를 중첩 표시 

     *  가이드 운동영상 제공 

 

[ 사용자 신체 분석 정보 제공 ] 

- 신체 불균형 상태 정보 

- 신체 각도 파라미터

- 사용자 운동영상

- 사용자 동작모델

- 사용자 운동시간 , 운동 일자 , 운동 정확도 매칭률 , 운동분석결과

--------------------------------------------------------------------------------------------

 1) 사용자 신체 불균형 상태 , 신체 각도 파라미터 변동추이 , 개선여부 정보

 2) 사용자 신체 불균형 상태의 교정 예상 기간 예측 정보

3) 사용자의 의료비, 세금 , 보험비  비용 절감의 액수 예측 정보

 

 [ 사용자 맞춤형 운동 영상 제공 ]

- 문진 내용을 토대로 신체 불균형 관련된 사용자 맞춤형 정보를 사용자 단말기에 제공

- 불균형 상태를 교정하기 위한 적합한 가이드 운동영상을 제공 

 - 사용자와의 지속적인 피드백을 통해 더 좋은 양질의 가이드를 제공 가능 

[ 사용자의 신체 교정과 취향에 따른 플레이리스트로 운동 시퀀스 제작 ]

 - 추천된 영상 이외의 사용자가 원하는 운동 영상을 플레이리스트에 선택

 - 해당 영상들의 시퀀스를 생성하여 단말기에 전송

 - 사용자의 취향을 고려하여 운동 및 가이드에 시너지 효과를 줄 수 있다. 

[ 사용자 동작 정확성 분석 및 결과 제공 ]

 - 사용자의 동작의 오류 여부를 판별

 - 오류 확인시 해당 상황에 맞는 알람 기능 제공 

 - 해당 알람 및 영상에 각도를 강조하여 표시 사용자 동작 영상에 모델 영상을 중첩하여 제공

[ 운동 기록 , 교정 예상 기간 및 비용 절감 정보 제공 ]

- 사용자의 신체 교정 , 이와 관련된 비용에 대한 예측 정보 제공

 - 운동 정보의 이력으로 부터 신체 불균형 정도 및 개선 여부를 파악하고 그 변동 상황이나 추이를 나타내는 정보를 사용자 단말기에 표시 

 - 현재까지의 경과 시간 및 기간별 사용자 신체 영상 골격 영상 표시 

 - 교정 예상 시간 및 비용 절감의 액수를 예측 

- 이를 통해 동기 부여를 제공 

 

ex) 정규화 방법

- 인체 포즈의 기준범과 인체 포즈의 크기에 기초 

- 인체 포즈의 중심점( 양 골반 좌표의 중점) 이 좌표계의 원점이 되도록 랜드마크의 좌표를 이동

- 이동된 랜드마크의 좌표를 인체 포즈의 크기로 나누는 방식으로 정규화 

-인체 포즈 크기는 인체 몸통 크기 또는 포즈 중심점으로 부터 모든 랜드마크 간의 거리를 각각 측정했을때 최대 거리중 더 큰 값으로 결정