현대적인 옵저버빌리티 환경은 막대한 양의 텔레메트리를 생성하지만, 텔레메트리만으로는 시스템을 구성하는 요소들이 서로 어떻게 연결되는지 설명하기 어렵습니다. 인시던트가 발생했을 때 가장 어려운 일은 대개 알림을 찾는 것이 아니라 서비스, 인프라, 종속성 전반에서 어떤 일이 일어났는지 이해하는 것입니다. Observe by Snowflake의 Observability Context Graph는 원시 텔레메트리를 서로 연결해 쿼리할 수 있는 데이터 세트로 전환함으로써 이 간극을 해소합니다. 따라서 인시던트가 발생하면 사용자는 무엇에 문제가 생겼는지뿐 아니라, 왜 문제가 생겼는지도 추적할 수 있습니다.
컨텍스트 그래프는 Observe에서 텔레메트리를 연결된 맵으로 구성하는 아키텍처 레이어입니다. 사용자는 개별 이벤트를 수작업으로 파고드는 대신 전체 시스템을 빠르게 탐색하며 인사이트를 얻을 수 있습니다. 또한 원시 데이터의 연결 관계를 시각적으로 탐색해 환경 내부에서 어떤 일이 일어나고 있는지 파악할 수 있습니다.
Observe by Snowflake를 통해 텔레메트리를 인사이트로 빠르게 전환하는 방식을 확인해 보세요.
컨텍스트 그래프의 구성 요소: 데이터 세트, 링크, 상관관계 태그
Observability Context Graph는 모든 옵저버빌리티 데이터의 단일 목적지인 데이터 레이크하우스 위에서 작동합니다. 이 두 요소가 상호작용하는 방식은 Observe가 팀의 조사 속도를 높이는 핵심 원리입니다.
먼저 원시 텔레메트리는 통합 기능 또는 컬렉터를 통해 외부 인프라에서 Telemetry Data Lakehouse로 라우팅됩니다. Observe는 이 데이터를 정리하고 가공해 데이터 세트로 구성합니다. 데이터 세트는 링크로 직접 연결되거나 공통된 상관관계 태그를 통해 연결됩니다.
- 데이터 세트: Observe는 수신되는 텔레메트리를 Kubernetes 로그, Prometheus 메트릭, 트레이스 스팬과 같은 데이터 세트로 구조화합니다. 리소스 데이터 세트는 기본 키를 사용해 Kubernetes 포드와 컨테이너, 사용자, 제품, 쇼핑 카트와 같은 개별 리소스, 즉 가상 또는 물리적 오브젝트를 식별합니다. 이 기본 키는 하나의 필드 또는 여러 필드의 조합으로 구성될 수 있습니다.
- 데이터 세트를 연결하는 링크: 기본 키와 외래 키 링크는 리소스 ID를 기준으로 데이터 세트를 연결합니다. 예를 들어 포드 리소스를 해당 포드가 실행되는 노드에 연결할 수 있습니다. 계보는 데이터 세트 간의 또 다른 관계, 즉 어떤 데이터 세트가 다른 데이터 세트를 만드는 데 사용되었는지를 보여줍니다. 이러한 관계는 아래에서 간략히 설명할 Links, Lineage, Focus 뷰에서 탐색할 수 있습니다.
- 서로 다른 데이터 세트의 데이터를 연결하는 상관관계 태그: 상관관계 태그는 여러 데이터 세트에서 동일한 개념을 나타내는 ‘cluster.name’ 또는 ‘service.name’ 같은 필드에 레이블을 지정합니다. 필드가 상관관계 태그를 공유하면 Observe는 일치하는 값을 사용해 관련 데이터를 찾을 수 있습니다. 많은 태그는 지원되는 규칙을 기반으로 자동 적용됩니다. 검색 가능한 이러한 태그는 Observe의 AI 사이트 신뢰성 엔지니어(AI SRE)가 ‘apiserver’ 같은 용어를 적절한 데이터에 매핑하는 데도 도움이 됩니다.
이러한 연결이 모여 Observability Context Graph를 형성합니다. 데이터 세트는 그래프의 ‘노드’이고, 데이터 세트 사이의 링크와 계보는 ‘엣지’입니다. 상관관계 태그는 공유 개념을 통해 데이터 세트 전반을 탐색할 수 있게 하는 보완 계층을 더합니다. 링크, 계보, 태그를 활용하면 각 데이터 세트를 따로 들여다보는 대신 연결된 데이터 세트 전반에서 조사할 수 있습니다.
AI SRE는 이러한 연결을 사용해 관련 데이터를 찾고, 팀이 무엇이 고장 났는지뿐 아니라 왜 문제가 생겼는지도 조사할 수 있도록 지원합니다. 결제 서비스는 왜 새벽 3시에 중단되었을까요? 최신 배포는 다운스트림 고객에게 어떤 영향을 미쳤을까요? 최신 기능을 배포한 뒤 노드 수를 늘려야 할까요? Observability Context Graph는 이러한 질문을 조사하는 데 필요한 컨텍스트를 제공해, 팀이 이벤트와 리소스를 수작업으로 상관 분석하는 데 들이는 노력을 줄여줍니다.
Observability Context Graph에서 연결 관계를 시각적으로 탐색하는 방법
컨텍스트 그래프는 백그라운드에서 작동하지만, Observe 사용자 인터페이스를 통해 그래프가 기반으로 삼는 데이터에 접근할 수 있습니다.
데이터 세트 페이지에서는 데이터 세트의 스키마, 속성, 상관관계 태그, 관계를 확인할 수 있습니다. Links와 Focus 보기는 데이터 세트 간 연결을 보여주고, Lineage 보기는 데이터 세트가 어떻게 파생되었는지 보여줍니다. Observe에는 모든 상관관계 태그를 한곳에서 확인할 수 있는 별도의 태그 관리 페이지도 있습니다. 이러한 보기는 사용자가 데이터 세트 관계를 확인하고 데이터의 출처를 추적하는 데 도움이 됩니다.
Observability Context Graph가 API를 통해 연결을 답으로 전환하는 방식
컨텍스트 그래프는 그래프를 구성하는 동일한 연결(데이터 세트, 링크, 상관관계 태그)을 탐색하는 API를 통해 쿼리할 수 있습니다. 이 API들은 에이전트가 서비스와 리소스를 식별하고, 관련 데이터를 찾고, 그 결과를 활용해 조사를 이어갈 수 있도록 지원합니다.
컨텍스트 그래프는 에이전틱 접근 계층입니다. 단순한 사용자 인터페이스가 아니기 때문에 그래프 내 API는 에이전트 친화적으로 설계되어야 합니다. 이 API들은 불필요한 토큰을 사용하지 않으면서 정확하고 관련성 높은 답을 빠르게 반환하도록 설계되었습니다.
Links, Lineage, Focus 보기가 이러한 연결을 수동으로 탐색하게 해준다면, API는 코드에서 그래프를 탐색하거나 Observe의 AI SRE가 사용자를 대신해 탐색하도록 해줍니다. 이를 통해 그래프를 쿼리할 수 있습니다.
탐색은 조사가 진행되는 방식과 동일하게 그래프를 따라갑니다. ‘payments’, ‘apiserver’ 같은 용어에서 시작해 ‘태그 값 검색’ API를 사용하면, 해당 용어를 서비스 또는 리소스를 식별하는 상관관계 태그 값으로 해석할 수 있습니다. 이 태그는 데이터 세트 전반에서 해당 개념을 연결하는 동일한 태그입니다. 그다음 ‘데이터 세트 목록’ 및 ‘메트릭 목록’ API가 관련 데이터 세트와 메트릭을 찾는 데 도움을 줍니다. 상관관계 태그는 검색 가능한 메타데이터이므로, 환경에 수천 개의 태그가 있더라도 이 방식이 작동합니다.
또한 그래프는 옵저버빌리티 전문성을 직접 인코딩하므로, 일반적인 조사에서 원시 텔레메트리를 수작업으로 다시 조합할 필요가 없습니다. ‘RED 메트릭이 포함된 APM 서비스 목록’ API를 한 번 호출하면 서비스 호출률, 오류, 지속 시간을 반환할 수 있으며, ‘호출 그래프’ API는 서비스 호출 관계를 매핑합니다. 각 답은 그 근거가 되는 데이터 세트, 메트릭, 시간 범위를 다시 가리키므로, 다음 조사 단계는 막연한 검색이 아니라 명확한 대상을 향해 진행됩니다.
Observe by Snowflake 시작하기
Observability Context Graph의 이점을 활용하려면 먼저 인프라 데이터를 Telemetry Data Lakehouse로 가져와야 합니다. 데이터 수집에는 Observe Agent 사용을 권장하지만, 사용자 지정 통합이나 기존 OpenTelemetry 컬렉터도 사용할 수 있습니다.
Observe by Snowflake에서 텔레메트리 간의 연결이 어떻게 문제 조사 속도를 높이는지 알아보세요.
