반응형 연구실28 [Multimodal] 03. Alignment Challenge 2 : Alignment정의서로 다른 모달리티에 존재하는 여러 element 사이에 connection 을 어떻게 식별하고 모델링할 것인지를 다룬다.Sub-challengesConnections모달리티 사이에서 어떤 요소가 어떤 요소와 대응하는지 (grounding) 를 명시적으로 밝히고, 이를 구조적으로 연결하는 방법을 찾는 과제Aligned Representation연결을 기반으로, 모달리티의 정보를 하나로 통합하거나 적절히 표현(embedding) 하는 방법을 찾는 과제Segmentation모달리티 간에 개별 요소들을 얼마나 세밀하게 나눌 것인지 (분할의 granularity) 를 결정하고 처리하는 과제예를 들어, Image 에서는 픽셀 단위로 나눌 것인지, 객체 단위로 나눌 것인.. 2025. 2. 20. [Multimodal] 02. Representation Challenge 1 : Representation다른 모달리티들 간의 개별적인 요소 사이의 cross-modal 상호작용을 반영하기 위한 Challenge 이다. 앞서, 1장에서 3가지의 하위 Challenge 들이 있다고 언급했었다. 우선, Fusion 에 대해서 살펴보자.Sub-Challenge 1a: Fusion정의다양한 모달리티 간의 개별 요소들이 상호작용하는 공동 표현 (joint representation) 을 학습하는 과정목표모달리티 간의 상호작용을 효과적으로 통합하여 정보의 시너지를 극대화하는 것종류Basic Fusion정의Homogenous 한 데이터 융합예시:다중 카메라 영상 (Multi-Camera Images):모달리티 A: 정면 카메라 영상모달리티 B: 측면 카메라 영상둘 다 이.. 2025. 2. 6. [Multimodal] 01. Introduction 본 내용은 MML Tutorial 강의를 바탕으로 작성되었다.더보기ContentWhat is Multimodal?DefinitionsHeterogeneityInterconnectionDimensions of heterogeneityCross-modal interactionsCore technical challengesRepresentationAlignmentTransferenceReasoningGenerationQuantification.ReadingFoundations & Trends in Multimodal Machine Learning: Principles, Challenges, and Open Questions1705.094061206.5538 What is Multimodal? 기존에 우리가 만.. 2025. 1. 20. [관련 논문] Physical Attack on Monocular Depth Estimation with Optimal Adversarial Patches 본 논문은 앞으로의 연구 과제에 기반이 될 것으로 보이는 ACM ECCV 2022 proceeding 에 등재된 논문이다. Abstract이 연구는 학습 기반 Monocular Depth Estimation(MDE)을 대상으로 하는 공격 기법을 개발한 내용을 다루고 있다. 이 연구에서는 최적화 기반 방법을 사용하여 실물 객체 지향적인 은밀한 적대적 패치를 생성하는 공격을 개발하였다. 이 적대적 패치는 depth estimation 을 attack 한다. 구체적으로, 객체 지향적 공격 설계와 민감 영역의 위치 확인, 그리고 자연스러운 스타일의 위장 기술을 통해 공격의 은밀성과 효과를 균형 있게 유지하는 방법을 탐구했다. 여기서 민감한 영역의 위치 확인 (sensitive region localization.. 2024. 10. 29. 이전 1 2 3 4 ··· 7 다음 반응형
