5.11 연구일지

연구 일시: 2022. 5.11.(수) 19:00~21:30

연구 주제: 전통문양의 수학적 분석을 통한 음악 작곡 인공지능 만드는 방법에 관한 논의

연구 내용

1. 벽지군과 띠군에 대한 발표(발표자: 김민섭, 송영)
2. 토의 주제 설정
   - 무늬가 가지는 대칭성을 인공지능과 결합하는 방식은 무엇인가?
   - Group symmetry를 통해서 무엇을 하려고 하는지, 전통문양을 음악으로 변환하려고 하는 이유는?
   - 서양문양과 전통문양에 차이점을 음악으로 표현할 수 있는지? 18C 미국 벽지 symmetry를 통해 음악을 만드는 것과 전통문양으로 만드는 것이 무엇이 다를까? 다르게 표현할 수 있을 것인지?
   - 만약 symmetry를 이용해서 음악을 작곡한다면, 전통문양의 symmetry 가 매우 단순할 수 있는데 이것을 가지고 음악을 만들면 단조로워진다. 방법은 무엇이겠는가? 그리고 기본 단위 음악은 어떻게 만들 것인가?
   - 무늬가 가지는 대칭성을 인공지능과 결합하는 방식은 무엇인가?
   - Group symmetry를 통해서 무엇을 하려고 하는지, 전통문양을 음악으로 변환하려고 하는 이유는?
   - 서양문양과 전통문양에 차이점을 음악으로 표현할 수 있는지? 18C 미국 벽지 symmetry를 통해 음 악을 만드는 것과 전통문양으로 만드는 것이 무엇이 다를까? 다르게 표현할 수 있을 것인지?
   - 만약 symmetry를 이용해서 음악을 작곡한다면, 전통문양의 symmetry 가 매우 단순할 수 있는데 이것을 가지고 음악을 만들면 단조로워진다. 방법은 무엇이겠는가? 그리고 기본 단위 음악은 어떻게 만들 것인가?
3. 토의 내용
   (1) 무늬가 가지는 대칭성을 인공지능과 결합하는 방식은 무엇인가? 즉 인공지능이 어떻게 전통문양을 인식
   - 군에서 무늬가 가지는 대칭성을 인공지능이 분류하고 판단하는 방식으로 인공지능을 만드는 방법
   - 원형형태, 사각형 형태 등 문양의 겉면을 인공지능이 찾을 수 있을 것이다.
   - 유니셀을 찾도록 학습시키자. 이미지 시크먼트,
   *익산 문화재 사진 찍어서 유니셀이 어떤건지 보고 벽지 대칭은 뭘 가지는지 그와 같은 문양은 어디에 있는지. 시청에 제안서..
   (2) Group symmetry를 통해서 무엇을 하려고 하는지, 전통문양을 음악으로 변환하려고 하는 이유는?
   - 전통 이미지를 가지고 음악으로 변환했을 때, 우리나라의 전통 음악이 가지는 특징과 유사한 점이 발견되었다면 큰 가지가 있은 연구임. 하지만 어려운 문제라 생각됨.
   (3) 서양문양과 전통문양에 차이점을 음악으로 표현할 수 있는지? 18C 미국 벽지 symmetry를 통해 음악을 만드는 것과 전통문양으로 만드는 것이 무엇이 다를까? 다르게 표현할 수 있을 것인지?
   - 이미지 인식의 방법으로 음악을 생성한다면 구분이 가능할 수도 있을 것 같다.
   서양 사람들이 사용하는 음계와 동양 사람들이 사용하는 음계가 다르기 때문에, 서양의 이미지를 학습하고 서양의 음악을 작곡, 동양의 이미지를 학습하고 동양의 음악을 작곡 이미지라는 데이터가 가지는 특성을 학습시켜서 비교해도 가능할 것 같다.
   - 동양 문양의 경우 서양에서 그리는 문양과는 다른 점이 있다. 수학적으로 분류하는 것이 아니라 인공지능이 분석을 하면 수학적으로 단순화 시킬 것이다. 단순화 시킨 그림과 원래 그림을 비교해서 그 비교한 관계를 사용하여 음악을 만들면 동양과 서양의 음악이 구분될 수 있을 것 같다.
   - 동양벽지와 서양벽지에 나오는 문양이 다르다. 즉 벽지에 나오는 자연으로 비교할 수 있을 것 같다.
   (4) 만약 symmetry를 이용해서 음악을 작곡한다면, 전통문양의 symmetry 가 매우 단순할 수 있는데 이것을 가지고 음악을 만들면 단조로워진다. 방법은 무엇이겠는가? 그리고 기본 단위 음악은 어떻게 만들 것인가?
   - 전통 문양은 어떤 동물, 패턴에 의미가 담겨있는 경우가 많다. 예를 들어 어떤 식물은 선비의 상 등 등. 이런 의미는 전통음악에도 나타날 것이다. 기존에 있는 비슷한 음악과의 연관성을 생성해서 단위 음악을 만들자. 사운드 매칭!
   문양을 발견하면 문양에 의미가 있다. 호랑이는 용맹하고, 나름대로 한국적인 철학이 있으면 그것을 반영하는 음악을 찾자. 그 음악을 가져와서 그것을 주 음악으로 해서 음악을 생성하자.
   -패턴 그림을 볼 때 인상을 결정하는 요소는 색감이다. 색감에 따라 높낮이, 템포 등을 조절하면 좋을 것 같다.
   -건축물과 관련된 자료를 보면 시대마다 건축물의 비율이 다르다. 각 시대별 무늬의 자료를 찾아서 분석하면 다양한 음악이 나올 것 같다. 모늬를 보고 모티브를 가져올 수 있을 것
   -소리는 진동으로 표현 가능. 음악에도 음의 높낮이 진동수. 푸리에 변환을 이용해서 색상의 진동수와 음악의 진동수를 매칭. 명도 채도로 frequency를 찾아 멜로디를 생성할 수 있을 것 같다.
   -무늬나 그림에서 복잡성을 찾을 수 있다면 가능할 것 같다. 복잡성의 정도에 따라 선율의 수를 다르게 하면 좋을 것 같다.
   -문양을 크게 확장시켜 보면 특정 부분에서는 황금비 같은 수학적 의미가 나올 수 있다. 예를 들어 황금비 같은 것이 나오면 음악에 특정 화음을 넣는 방식도 좋을 것 같다. 문양 기법들에 따라 화음이 다르게 나오도록 인공지능을 만들자. 예를 들어 검은색, 회색은 단조, 빨간색은 장조 등 이미지와 사운드 매칭. 문양을 만들어놓고 매칭 되는 디스플레이 만들어도 좋을 것 같다.(가장 많이 쓰이는 기법)

 

인공지능은 데이터를 어떻게 만들어내는가?

input: 이미지, output: 음악

동양음악은 주제가 정해져 있고, 주제의 상황이 제한적이다.

 

이미지를 보고 사운드를 만드는데 사운드를 듣고 이미지를 만들 수도 있을 것 같다.

예를 들어 종묘제례학을 연주하면 그것에 해당하는 전통 문양을 만드는 것

음악에서 symmetry를 찾아서 벽지 만드는 프로그램도 좋은 아이디어

시드 음악을 그림에서 찾는 방법.

*음악은 기존의 음악을 사용하되 대칭하는 방법을 바꾼다 . (음악의 변형)