"Runway AI, 동영상 생성을 위한 AI 모바일 앱 Runway AI Gen-1" 포스팅에서
'Runway AI'가 무었인지 소개 드렸는데요.
이번 포스팅에서는 'Runway AI'이 어떤 능력을 보여주는지,
로그인 후 기능별 튜트리얼까지 알아보겠습니다.
가실때~ 공감꾸욱~!! 해주시면
더욱 좋은글을 포스팅하는데 도움이 됩니다~^^
Runway AI는 회원가 후 로그인 상태와 회원가입전 체험해볼 수 있는 경로가 있습니다.
회원가입 전이거나 로그인 전이라면 https://runwayml.com/ 홈화면에서 아래로 스크롤 하게 되면 왼쪽 영역에 “AI Magic Tools” 라는 메뉴가 보이고 우측으로는 각 메뉴 별 사용 예시 영상 또는 이미지와 테스트해볼 수 있는 페이지 링크가 있습니다.
9개의 메뉴가 있으며 각 메뉴를 클릭 시 페이지 다운으로 이동하여 해당 기능에 대한 예시와 테스트해볼 수 있는 페이지에 접근할 수 있습니다.
AI Magic Tools 메뉴를 하나씩 살펴보도록 하겠습니다.
1) Generate Videos
텍스트나 이미지, 편집하고자 하는 영상 클립을 사용하여 영상을 생성합니다.
상단에 있는 ‘text to Video’, ‘Video to Video’, ‘Image to Video’ 각 버튼을 클릭 시 해당 기능을 체험해 볼 수 있는 화면으로 이동하게 됩니다.
- Try Text to Video
프롬프트 입력란에 텍스트로 입력하며, 입력된 내용으로 영상을 생성합니다.
Help Center에 있는 Tip을 보면 다음과 같은 프롬프트를 사용하는 것이 좋은 결과를 생성한다고 합니다.
- 영상 또는 이미지 스타일 : masterpiece, classic, cinematic
- 화면 이동 : cinematic action, flying, speeding, running
- 카메라 관련 : 카메라 각도(full shot, close up등), 렌즈 유형(macro lens, wide angle등), 카메라 이동(slow pan, zoom등)
프롬프트에 입력하는 텍스트는 어린이에게 설명하는 것처럼 카메라 움직임을 설명하려고 하면 도움이 될 수 있습니다.
예를 들면 ‘dolly shot(카메라가 이동하여 피사체 쪽으로 이동하여 확대하거나 멀어지는 효과)’ 대신에 ‘zooming in over time(시간이 지남에 따라 피사체가 커짐’ 또는 ‘growing over time(시간에 지남에 따라 피사체가 성장)’와 같이 텍스트를 입력하면 효과적입니다.
텍스트 입력 후 ‘Free Preview’ 버튼을 누르면 4개의 Preview 이미지가 생성되며, 그 중 마음에 드는 이미지를 클릭 시 Video영상을 생성합니다.
텍스트로 프롬프트에 “블랙핑크 제니, 카툰 하이퀄리티, 도시배경, 댄싱(BLACKPINK JENNIE, Cartoon with high details, city background, dancing)”을 입력 후 Preview 결과물 중 좌측 아래 Preview 이미지로 영상을 생성해봤습니다. BLACKPINK JENNIE를 AI에서 인식한다는 것이 대단 하네요.
생성한 Video가 기대와는 다르게 댄싱 모션은 아니고 화면 구도만 조금 줌 아웃 되며 머리카락이 살짝 날리는 정도라 약간 실망감이 있는데 이부분은 프롬프트를 너무 대충 입력해서 나온 결과인 것 같습니다 앞으로 계속 포스팅 하면서 적합한 프롬프트도 알아가보도록 하겠습니다.
- Try Video to Video
사용자의 Video영상에 효과를 주어 새로운 스타일의 Video영상을 생성하거나 2개 이상의 영상 또는 이미지를 혼합하여 새로운 Video 영상을 생성합니다.
우선 화면에서는 영상 클립을 업로드 할 수 있는 형태이며 우측에 있는 Style reference 메뉴에 있는 image, Preset, Prompt 중 사용자가 원하는 방식으로 Video영상 효과를 설정할 수 있습니다.
Image는 참조용 이미지를 업로드하여 사용자가 업로드한 Video Clip을 업로드 된 Image 스타일을 참조하여 영상 효과를 적용합니다.
Presets은 Runway AI에서 제공하는 스타일중 한가지를 선택할 수 있으며, Prompt는 적용하고 싶은 스타일이나 효과를 텍스트로 입력합니다.
Settings에 있는 Advanced를 클릭하면 추가적인 옵션이 나오며, 세부적인 셋팅을 할 수 있습니다.
제가 테스트용 Video Clip을 업로드 후 Presets에 있는 Claymation을 선택 후 Preview Style 버튼을 클릭하니 하단으로 적용된 샘플이 나오네요.
역시 각 샘플에 마우스를 올리면 [Generate video] 버튼이 나오는데, 버튼을 클릭하면 원본 Video Clip이 Claymation이 적용된 영상이 만들어 집니다.
- Try Text/Image to Video
텍스트를 영상으로 만드는 ‘Try Text to Video’와 동일한 방식입니다.
텍스트로 Video영상을 만들거나 첨부된 Image를 참조하여 입력된 텍스트로 Video영상을 생성합니다.
2) Generate Images
프롬프트, 즉 텍스트로 이미지를 생성하는 기능입니다.
프롬프트로 이미지를 생성하는 유명한 AI들이 많은데 미드저니 와 같은 AI들과 비교해보는 것도 재미있을 것 같습니다.
[Try Text to Image] 버튼을 클릭하면 화면이 이동하는데, 이동한 화면에서는 템플릿을 미리 보여 주고 있습니다.
붉은 박스로 체크해 놓은 강아지를 클릭해보면 우측 프롬프트 입력란에 작성된 내용이 나오는데 어떤 문구로 이미지가 만들어 졌는지 확인할 수 있으니 참조하면 도움이 될 것 같습니다.
프롬프트 입력 시 표현하고자 하는 이미지의 형상을 구체적으로 입력할수록 좋은 결과를 얻을 수 있습니다. 예를 들면 스타일(in the style of)의 관련 내용을 입력 시 ‘a palm tree in the style of 2D hand drawn cartoon(2D 손으로 그린 만화 스타일의 야자수)’처럼 입력하면 좋습니다.
그리고, 고급 설정에서 프롬프트의 가중치와 스타일을 수정할 수 있는데 중요한점은 프롬프트의 시작 부분의 단어가 끝부분에 있는 단어보다 가중치가 높기 때문에 프롬프트 입력 시 만들고자 하는 이미지의 중요부분은 프롬프트 앞부분에 먼저 입력해주어야 합니다.
3) Infinitely Expand Images
원본 이미지를 텍스트 프롬프트로 확장할 수 있습니다.
[Try Infinite Image] 버튼을 클릭하면 새로운 탭에 해당 기능 페이지가 열리는데, 아무것도 없는 격자만 있습니다. 좌측에 있는 메뉴를 이용하거나 확장하고자 하는 이미지를 드래그 하여 페이지에 가져다 놓으면 이미지가 첨부됩니다.
파란색 격자를 확장하고자 하는 원본 이미지에 3~4 그리드 정도 겹친 후 이미지의 스타일과 표현하고자 하는 내용을 하단 프롬프트에 입력 후 [Generate] 버튼을 클릭하면 파란색 박스안에 이미지가 생성됩니다.
4) Reimagine Any Image
원본 이미지를 텍스트 프롬프트를 이용하여 다양한 스타일로 변환하여 생성합니다.
[Try Image to Image]를 클릭 시 아래와 같은 화면 탭이 나오는데 수정 하고싶은 이미지를 드래그 하여 넣거나, 올려 두었던 이미지를 선택하면 됩니다.
이미지가 등록되면 우측에 메뉴가 있으며, 해상도, 아웃풋 개수(최대4개) 선택 버튼과 프롬프트 입력란이 있습니다.
저는 사자 사진을 업로드 후 “a ceramic art piece of a valiant rion (용맹한 사자 도자기 예술 작품)”으로 프롬프트에 입력을 해봤습니다.
결과물을 보면 꽤 만족스러운 것도 있지만 프롬프트 내용과 거리가 있는 결과물도 나오네요.
5) Train Custom Models
특정 주제와 스타일에 대한 맞춤형 AI 모델을 트레이닝 할 수 있습니다. 사용자의 고유한 설정 값, 스타일을 AI를 트레이닝 시키는 기능입니다.
현재 1회 무료로 체험할 수 있습니다.
AI 트레이닝시 최상의 결과를 얻기 위해서는 유사한 스타일의 15개의 이미지를 이용하는 것이 좋습니다. 모델을 교육하고 싶은 한 사람 또는 물건만 포함하는 사진과 AI 트레이닝에 업로드하기 전에 크롭 도구를 사용하여 오브젝트가 중심이 되도록 하는 것이 좋습니다.
준비한 이미지 업로드후 30분정도 소요되며 학습이 완료되면 자동으로 100개의 다양한 스타일의 이미지를 생성해 줍니다.
생성된 이미지는 프롬프트를 이용하여 새로운 스타일로 다시 만들 수 있습니다.
6) Erase Things from Videos
간단한 브러시 스트로크로 비디오에서 사람이나 사물을 제거할 수 있습니다.
오른쪽 상단에 있는 "새로운 프로젝트" 버튼을 클릭하여 새로운 프로젝트를 시작합니다. 그러면 런웨이 타임라인이 열립니다.
사용자의 영상파일을 업로드 하거나, 드래그 앤 드롭으로 영상을 불러오면 타임라인별 프레임이 나타나게 되며, 삭제하고 싶은 오브젝트의 프레임을 찾아 마스킹 붓으로 색칠하게 되면 런웨이 AI가 영상 전체에서 해당 오브젝트를 삭제합니다. 삭제 후 오브젝트가 있던 위치에는 배경이나 그림자와 같은 부분이 자연스럽게 처리되어 있습니다.
오브젝트 삭제되지 않은 프레임이 있으면 작업을 반복하면 됩니다.
작업이 끝난 영상은 우측에 있는 “Export”로 MP4 영상 파일로 저장할 수 있습니다.
7) Slow Mo Any Video
비디오를 프레임 속도에 관계없이 슈퍼 슬로우 모션 영상으로 바꿀 수 있습니다.
일반적으로 촬영된 초당 25프레임으로 촬영된 영상 클립을 프레임 사이의 움직임을 보정하여 고속 촬영된 영상과 같은 슬로우 모션으로 생성합니다.
영상 클립을 드래그 앤 드롭으로 업로드 하거나, 등록해둔 영상 클립을 클릭하면 파래임의 속도를 조절할 수 있는 화면으로 전환됩니다.
우측에 있는 “Speed”를 조정 후 “Process” 버튼을 클릭하면 영상 클립이 조정한 값의 프레임 속도로 보정 되어 저장할 수 있습니다.
8) Make Images Move
여러 개의 이미지를 모핑 애니메이션과 같은 효과로 영상을 생성하는 기능입니다.
스크린샷과 같이 3개의 천체 사진을 업로드 후 “Generate” 버튼을 클릭하면 첫번째 이미지에서 시작하여 두번째, 세번째 이미지로 되는 과정이 모핑 작업되었는데 매우 자연스러워 천체가 시간의 변화에 따라 변하는 것 같이 만들어 졌습니다.
제너레이팅 된 영상 클립 중 1,2번 이미지 사이의 영상 중 일부 캡쳐 한 겁니다. 보시기에 어떠신 가요?
9) Remove Any Background
비디오 클립에서 오브젝트의 배경을 제거하는 기능입니다.
오브젝트를 선택 후 “Green Screen” 클릭하면 영상 클립에서 선택한 오브젝트 외 모든 배경이 삭제됩니다.
영상 촬영시 그린스크린을 배경으로 한 후 촬영 후 합성하는 과정 없이 이미 촬영된 영상에서 선택한 오브젝트를 제외한 배경을 삭제 후 새로운 배경으로 합성할 수 있습니다.
영상 클립을 업로드 또는 드래그 앤 드롭, 기존 등록한 영상을 선택하면 영상 프레임으로 편집할 수 있는 화면으로 전환됩니다.
영상 클립은 타임라인으로 출력 되며, 특정 프레임에서 오브젝트에 클릭하면 포인트가 생기는데 포인트를 기준으로 영상내 오브젝트를 분석하여 마스크 처리됩니다.
우측에 있는 ‘View’ 항목에 있는 Mode를 클릭해면 Overlay, Preview, Alpha Channel을 선택할 수 있는데 각 모드별로 보면 마스킹이 어떻게 되었는지 확인하기에 편리 합니다. 또한, 배경의 투명도(Transparency) 값도 설정할 수 있습니다.
여기까지 RUNWAY AI의 기능에 대해서 살펴봤는데요,
미국에서 방영한 뮤직비디오, 드라마의 특수 효과 및 편집에
RUNWAY AI를 이용한 사례도 있다고 합니다.
앞으로 RUNWAY AI가 실시간으로 적용될 수 있을 정도 발전한다면,
유튜브 라이브 같은 개인방송 등에서 많은 활용이 예상됩니다.
업데이트도 지속적으로 이루어 지고 있는데,
새로운 기능이나 소식이 있으면 계속 포스팅 하도록 하겠습니다.
'◌ IT > IT Information' 카테고리의 다른 글
| No.5.Google AdSense, 승인 상태 주의 필요와 ads.txt 파일 : 초보가 쓰는 워드프레스 가이드 (1) | 2023.12.07 |
|---|---|
| No.4.Google AdSense 색인 코드 넣기 : 초보가 쓰는 워드프레스 가이드 (1) | 2023.11.16 |
| No 3.Google AdSense 가입하기 : 초보가 쓰는 워드프레스 가이드 (3) | 2023.11.08 |
| 블로그 콘텐츠로 솔솔한 용돈 벌이 : 쿠팡 파트너스 등록 방법. #2 (5) | 2023.11.06 |
| 블로그 콘텐츠로 솔솔한 용돈 벌이 : 쿠팡 파트너스 등록 방법. #1 (2) | 2023.11.02 |