실시간 인텔리전스란?
실시간 인텔리전스는 조직의 모든 사용자가 인사이트를 추출하고 데이터를 시각화할 수 있도록 하는 강력한 서비스입니다. 이벤트 기반 시나리오, 스트리밍 데이터 및 데이터 로그에 대한 엔드 투 엔드 솔루션을 제공합니다. 기가바이트 또는 페타바이트 처리에 관계없이 동작 중인 모든 조직 데이터는 실시간 허브에 수렴됩니다. 코드 없는 커넥터를 사용하여 다양한 원본의 시간 기반 데이터를 원활하게 연결하여 조직 전체 데이터 카탈로그의 일부인 즉각적인 시각적 인사이트, 지리 공간적 분석 및 트리거 기반 반응을 가능하게 합니다.
모든 데이터 스트림을 원활하게 연결하면 전체 SaaS 솔루션에 액세스할 수 있게 됩니다. 실시간 인텔리전스는 데이터 수집, 변환, 스토리지, 분석, 시각화, 추적, AI 및 실시간 작업을 처리합니다. 데이터는 조직 전체에서 보호, 관리 및 통합된 상태로 유지되며 모든 Fabric 제품과 원활하게 일치합니다. 실시간 인텔리전스는 데이터를 전체 조직 전체에서 가치를 구동하는 실행 가능한 동적 리소스로 변환합니다.
실시간 인텔리전스가 도움이 될 수 있나요?
실시간 인텔리전스는 데이터 분석, 즉각적인 시각적 인사이트, 조직의 동작 중인 데이터 중앙 집중화, 데이터에 대한 작업, 효율적인 쿼리, 변환 및 많은 양의 구조화되거나 구조화되지 않은 데이터의 스토리지에 사용할 수 있습니다. IoT 시스템, 시스템 로그, 자유 텍스트, 반구조화된 데이터에서 데이터를 평가하거나 조직의 다른 사용자가 사용할 수 있도록 데이터를 제공해야 하든 실시간 인텔리전스는 다양한 솔루션을 제공합니다.
"실시간"이라고 하더라도 데이터가 높은 속도와 볼륨으로 흐르지 않아도 됩니다. 실시간 인텔리전스는 일정 기반 솔루션이 아닌 이벤트 기반 솔루션을 제공합니다. 실시간 인텔리전스 구성 요소는 신뢰할 수 있는 핵심 Microsoft 서비스 기반으로 구축되며, 함께 전체 패브릭 기능을 확장하여 이벤트 기반 솔루션을 제공합니다.
실시간 인텔리전스 애플리케이션은 자동차, 제조, IoT, 사기 탐지, 비즈니스 운영 관리 및 변칙 검색과 같은 다양한 비즈니스 시나리오에 걸쳐 있습니다.
실시간 인텔리전스를 사용할 어떻게 할까요? 있나요?
Microsoft Fabric의 실시간 인텔리전스는 함께 비즈니스 및 엔지니어링 프로세스를 지원하는 실시간 인텔리전스 솔루션을 만들 수 있는 기능을 제공합니다.
실시간 허브는 조직 내에서 중앙 집중식 카탈로그 역할을 합니다. 간편한 액세스, 추가, 탐색 및 데이터 공유를 용이하게 합니다. 데이터 원본 범위를 확장하여 다양한 도메인에서 더 광범위한 인사이트와 시각적 명확성을 제공할 수 있습니다. 중요한 것은 이 허브는 데이터를 사용할 수 있는 것뿐만 아니라 모든 사용자가 액세스할 수 있도록 보장하여 신속한 의사 결정 및 정보에 입각한 작업을 촉진합니다. 다양한 원본에서 스트리밍 데이터를 공유하면 조직 전체에서 포괄적인 비즈니스 인텔리전스를 구축할 수 있습니다.
조직에서 스트림을 선택하거나 외부 또는 내부 원본에 연결한 후에는 실시간 인텔리전스의 데이터 소비 도구를 사용하여 데이터를 탐색할 수 있습니다. 데이터 사용 도구는 시각적 데이터 탐색 프로세스를 사용하고 데이터 인사이트를 드릴다운합니다. 새로운 데이터에 액세스하고 데이터 구조, 패턴, 변칙, 예측 수량 및 데이터 속도를 쉽게 이해할 수 있습니다. 따라서 데이터에 따라 조치를 하거나 현명한 결정을 내릴 수 있습니다. 실시간 대시보드에는 데이터 이해 프로세스를 간소화하는 기본 제공 상호 작용이 장착되어 있어 시각적 도구, 자연어 및 부조종사 도구를 사용하여 이동 중인 데이터를 기반으로 의사 결정을 내리고자 하는 모든 사용자가 액세스할 수 있습니다.
이러한 인사이트는 데이터 패턴 또는 조건에 실시간으로 반응하도록 패브릭의 다양한 부분에서 Reflex 경고를 설정하므로 데이터 활성화기를 사용하여 작업으로 전환할 수 있습니다.
실시간 인텔리전스의 구성 요소와 상호 작용하려면 어떻게 해야 할까요?
스트리밍 데이터 검색
실시간 허브는 스트리밍 데이터를 검색하고 관리하는 데 사용됩니다. 실시간 허브 이벤트는 이동 중인 데이터의 카탈로그이며 다음을 포함합니다.
데이터 스트림: 액세스할 수 있는 패브릭에서 현재 실행 중인 모든 데이터 스트림입니다.
Microsoft 원본: Azure Event Hubs, Azure IoT Hub, Azure SQL DB CDC(변경 데이터 캡처), Azure Cosmos DB CDC, PostgreSQL DB CDC 등 사용자가 가지고 있는 스트리밍 원본을 쉽게 검색하고 이러한 원본을 Fabric에 빠르게 수집할 수 있습니다.
패브릭 이벤트: 이벤트 기반 기능은 실시간 알림 및 데이터 처리를 지원합니다. 패브릭 작업 영역 항목 이벤트 및 Azure Blob Storage 이벤트를 비롯한 이벤트를 모니터링하고 대응할 수 있습니다. 이러한 이벤트를 사용하여 데이터 파이프라인 호출 또는 전자 메일을 통해 알림 보내기와 같은 다른 작업 또는 워크플로를 트리거할 수 있습니다. 이벤트 스트림을 통해 이러한 이벤트를 다른 대상으로 보낼 수도 있습니다.
이 데이터는 모두 쉽게 사용할 수 있는 형식으로 제공되며 모든 패브릭 워크로드에서 사용할 수 있습니다.
스트리밍 데이터에 연결
이벤트 스트림은 코드 없이 다양한 대상으로 대량의 실시간 이벤트를 캡처, 변환 및 라우팅하는 패브릭 플랫폼 방법입니다. 이벤트 스트림은 Apache Kafka 클러스터, 데이터베이스 변경 데이터 캡처 피드, AWS 스트리밍 원본(Kinesis) 및 Google(GCP Pub/Sub)과 같은 외부 원본에 대한 광범위한 커넥터를 포함하여 여러 데이터 원본 및 데이터 대상을 지원합니다.
데이터 스트림 처리
이벤트 스트림에서 이벤트 처리 기능을 사용하면 필터링, 데이터 정리, 변환, 창 집계 및 이중 검색을 수행하여 원하는 모양으로 데이터를 배치할 수 있습니다. 콘텐츠 기반 라우팅 기능을 사용하여 필터에 따라 다른 대상으로 데이터를 보낼 수도 있습니다. 파생 이벤트 스트림이라는 또 다른 기능을 사용하면 실시간 허브에서 소비자에게 공유할 수 있는 변환 및/또는 집계의 결과로 새 스트림을 생성할 수 있습니다.
데이터 저장 및 분석
Eventhouses는 이동 중인 데이터를 처리하기에 이상적인 분석 엔진입니다. 정형, 반정형 및 구조화되지 않은 데이터를 사용하여 시간 기반 스트리밍 이벤트에 맞게 조정됩니다. 이 데이터는 수집 시간에 따라 자동으로 인덱싱 및 분할되므로 세분성이 높은 데이터에 대해 매우 빠르고 복잡한 분석 쿼리 기능을 제공합니다. 이벤트 하우스에 저장된 데이터는 다른 패브릭 환경에서 사용할 수 있도록 OneLake에서 사용할 수 있습니다.
Eventhouses에 저장된 인덱싱된 분할된 데이터는 Fabric의 다양한 코드, 낮은 코드 또는 코드 없음 옵션을 사용하여 빠른 쿼리를 수행할 수 있습니다. 데이터는 네이티브 KQL(Kusto 쿼리 언어)에서 쿼리하거나 KQL 쿼리 세트에서 T-SQL을 사용하여 쿼리할 수 있습니다. Kusto 부조종사에서는 코드 없는 쿼리 탐색 환경과 함께 숙련된 KQL 사용자와 시민 데이터 과학자 모두의 데이터를 분석하는 프로세스를 간소화합니다. KQL은 구조화되고 반구조화되고 구조화되지 않은 데이터를 쿼리하는 단순하면서도 강력한 언어입니다. 언어는 표현적이고, 쿼리 의도를 읽고 이해하기 쉽고, 작성 환경에 최적화되어 있습니다.
데이터 인사이트 시각화
이러한 데이터 인사이트는 KQL 쿼리 세트, 실시간 대시보드 및 Power BI 보고서에서 시각화할 수 있으며, 데이터 수집에서 인사이트까지 몇 초가 소요됩니다. 시각화 옵션은 코드 없음부터 완전히 특수화된 환경에 이르기까지 다양하며, 초보 및 전문가 인사이트 탐색기 모두에 가치를 제공하여 데이터를 차트 및 테이블로 시각화합니다. 시각적 신호를 사용하여 쿼리 결과에 대한 필터링 및 집계 작업을 수행하고 다양한 기본 제공 시각화 목록을 사용할 수 있습니다. 이러한 인사이트는 Power BI 보고서 및 실시간 대시보드에서 볼 수 있으며, 둘 다 데이터 인사이트를 기반으로 경고를 작성할 수 있습니다.
트리거 동작
경고는 변경 데이터를 모니터링하고 패턴 또는 조건이 감지되면 자동으로 작업을 수행합니다. 데이터는 실시간 허브에서 흐르거나 Kusto 쿼리 또는 Power BI 보고서에서 관찰할 수 있습니다. 특정 조건이나 논리가 충족되면 사용자에게 경고, 파이프라인과 같은 패브릭 작업 항목 실행 또는 Power Automate 워크플로 시작과 같은 작업이 수행됩니다. 논리는 단순히 정의된 임계값, 일정 기간 동안 반복적으로 발생하는 이벤트와 같은 패턴 또는 KQL 쿼리로 정의된 복잡한 논리의 결과일 수 있습니다. 데이터 활성화기는 이벤트 기반 인사이트를 실행 가능한 비즈니스 이점으로 바꿉니다.
다른 패브릭 환경과 통합
- 이벤트 스트림에서 패브릭 항목 대상으로 이벤트 라우팅
- 패브릭 항목에서 실시간 허브로 이벤트 내보내기
- 다음과 같은 여러 가지 방법으로 실시간 인텔리전스에서 OneLake의 데이터에 액세스합니다.
- OneLake의 데이터를 실시간 인텔리전스에서 바로 가기로 쿼리할 수 있습니다.
- 실시간 인텔리전스에 로드된 데이터를 Power BI 보고서의 시각화를 위한 기본 데이터로 사용
- 실시간 인텔리전스에 로드된 데이터를 사용하여 데이터 엔지니어