두 페이징된 피드를 이어붙이고 중복 제거하기

FxDart 승 async

요구사항

로그 이벤트는 두 개의 페이징된 저장소 — 기본 저장소와, 페이지가 서로 겹치는 복제본(일부 이벤트는 양쪽 모두에 전송됨) — 에 존재합니다. 세 개씩 페이지 단위로 가져오되(아래 코드에 있는 시뮬레이션 호출과 고정 데이터), 기본 저장소를 먼저 전부 읽은 다음 복제본을 읽고, 이미 본 이벤트는(id 기준으로) 버리며, 처음 고유한 이벤트 여덟 개를 모으면 멈추세요. 다섯 페이지 중 실제로 몇 페이지를 가져왔는지 보고하세요.

FxDart의 concat이 정확히 무엇인지 짚어두면: 이것은 병합이 아니라 순차적인 이어붙이기입니다 — 기본 저장소가 소진되기 전까지는 복제본을 건드리지 않습니다. 이 작업은 기본 저장소의 이벤트를 우선시해야 하므로 정확히 맞는 도구입니다. 각 저장소는 range + flatMap(페이지 번호 → 이벤트 페이지)으로 비동기 시퀀스가 되고, uniqBy + take(8)가 나머지를 마무리합니다. 체인이 풀 기반이기 때문에 take가 멈추면 페이징도 함께 멈춥니다: 복제본의 마지막 페이지는 결코 가져오지 않습니다.

예상 출력

first 8 unique events (primary first, then replica):
  e1  boot
  e2  login user 7
  e3  cache miss
  e4  queue drained
  e5  login user 12
  e6  gc pause 18ms
  e7  disk 81% full
  e8  cert renewed
pages fetched: 4 of 5

나란히 보기

네이티브 Dart

class Event {
  final String id;
  final String msg;
  const Event(this.id, this.msg);
}

// Two log stores, paged 3 per call. The replica overlaps the primary:
// some events were shipped to both.
const primary = [
  [Event('e1', 'boot'), Event('e2', 'login user 7'), Event('e3', 'cache miss')],
  [Event('e4', 'queue drained'), Event('e5', 'login user 12'), Event('e6', 'gc pause 18ms')],
];
const replica = [
  [Event('e5', 'login user 12'), Event('e6', 'gc pause 18ms'), Event('e7', 'disk 81% full')],
  [Event('e8', 'cert renewed'), Event('e9', 'login user 3'), Event('e10', 'backup done')],
  [Event('e11', 'shutdown'), Event('e12', 'boot'), Event('e13', 'login user 9')],
];

int pagesFetched = 0;

Future<List<Event>> fetchPage(List<List<Event>> store, int page) async {
  pagesFetched++;
  await Future.delayed(const Duration(milliseconds: 10));
  return store[page];
}

Future<void> main() async {
  final events = <Event>[];
  final seen = <String>{};
  outer:
  for (final store in [primary, replica]) {
    for (var page = 0; page < store.length; page++) {
      for (final e in await fetchPage(store, page)) {
        if (!seen.add(e.id)) continue;
        events.add(e);
        if (events.length == 8) break outer;
      }
    }
  }
  print('first 8 unique events (primary first, then replica):');
  for (final e in events) {
    print('  ${e.id}  ${e.msg}');
  }
  print('pages fetched: $pagesFetched of 5');
}

FxDart

import 'package:fxdart/fxdart.dart';

class Event {
  final String id;
  final String msg;
  const Event(this.id, this.msg);
}

int pagesFetched = 0;

Future<List<Event>> fetchPage(List<List<Event>> store, int page) async {
  pagesFetched++;
  await Future.delayed(const Duration(milliseconds: 10));
  return store[page];
}

FxAsync<Event> drain(List<List<Event>> store) =>
    fx(range(0, store.length)).toAsync().flatMap((p) => fetchPage(store, p));

Future<void> main() async {
  final events = await drain(primary)
      .concat(drain(replica))
      .uniqBy((e) => e.id)
      .take(8)
      .toList();
  print('first 8 unique events (primary first, then replica):');
  for (final e in events) {
    print('  ${e.id}  ${e.msg}');
  }
  print('pages fetched: $pagesFetched of 5');
}

차이가 나는 이유

네이티브 버전은 seen 집합과 레이블이 붙은 break outer;를 사용하는 세 겹 중첩 루프입니다 — 모든 요소(페이징, 순서, 중복 제거, 조기 종료)가 제어 흐름 안에 손으로 엮여 있고, 조기 종료 부분이 페이지 수를 넷으로 유지하는 역할을 합니다. 동작은 하지만, 각 정책이 이름이 아니라 가드 절 안에 숨어 있습니다. FxDart 체인은 각 정책에 저마다의 이름을 붙여줍니다 — 순서를 위한 concat, 중복 제거를 위한 uniqBy, 개수 제한을 위한 take — 그리고 다섯 번째 페이지를 건너뛰는 지연 평가는 신중하게 배치한 점프가 아니라 파이프라인의 기본 동작입니다.

벤치마크

Apple M1 Max, RAM 32 GB · Dart 3.12.2 (AOT 컴파일) · 2026-08-24

비동기 예제입니다. 대표 스케일이 1,000,000이 아니라 N = 100,000인 이유 — 원소 하나마다 양쪽 모두 이벤트 루프를 한 바퀴 돌아야 하므로, 실제 await 백만 번은 파이프라인이 아니라 Dart 이벤트 루프를 몇 분씩 재게 됩니다. 지연은 0으로 두고 예제의 동시성 제한은 그대로 유지합니다. 막대가 비교하는 것은 파이프라인 기계 장치 자체입니다.

N = 100

시간 무승부

네이티브 Dart 92 µs

FxDart 101 µs

최대 메모리 무승부

네이티브 Dart 16.4 MB

FxDart 16.6 MB

N = 10,000

시간 네이티브 승

네이티브 Dart 7.60 ms

FxDart 8.37 ms

최대 메모리 네이티브 승

네이티브 Dart 43.0 MB

FxDart 47.6 MB

N = 100,000

시간 네이티브 승

네이티브 Dart 78.5 ms

FxDart 85.7 ms

최대 메모리 무승부

네이티브 Dart 73.5 MB

FxDart 74.0 MB

막대는 사이드별로 새 프로세스에서 반복 측정한 중앙값입니다(작은 N은 타이머 해상도를 위해 배치 처리). 두 사이드가 서로 5% 이내이거나 — 사람이 지각할 수 없는 차이인 0.6ms 이내이면 — 무승부로 칩니다. 상대 차이가 근소한 경우는 최대 5회까지 다시 측정합니다. 앱에서는 어느 막대가 짧든 몇 밀리초 이하의 차이는 사용자에게 보이지 않습니다. 메모리는 프로세스 최대 RSS입니다. Dart VM과 데이터셋은 양쪽이 동일하므로, 두 막대의 차이가 곧 파이프라인 자체가 붙들고 있는 양입니다.