Système de traitement d'images MegaPipe

Système de traitement d'images MegaPipe Introduction à MegaPipe

Introduction à MegaPipe

Motivation

MegaPipe est un système de traitement d'images de MegaCam. Il prend plusieurs images d'un morceau de ciel, les étallone pour les combiner en une seule image et en extrait un catalogue de sources. Si les images d'entrée sont pris avec filtres différents sur le même pointage, les images combinnées résultantes les images sont alignées les unes aux autres.

Le plus grand obstacle à l'utilisation des images d'archives de MegaCam est l'effort nécessaire pour les traiter. Alors que les images individuelles sont parfois utiles par eux-mêmes, le plus souvent le programme scientifique initial prévoyait plusieurs expositions sur le même champ pour faire croître la profondeur et de se débarrasser de défauts d'image. Par conséquent, les images doivent être combinées.

Un programme typique prend 5 poses ou plus sur un seul champ. Chaque image MegaCam comprend environ 0.7Gb (dans un format entier de 16 bits), ce qui rend lourd la téléchargment d'images sur le Web. En raison de la distorsion du plan focal MegaPrime, les images doivent être ré-échantillonnés. Il s'agit de demandes de calcul importantes. Au cours de ce traitement, qui se fait souvent dans un format 32 bits, des copies des images doivent être faites, ce qui augmente l'utilisation du disque. En résumé, les exigences en termes de CPU et de stockage sont non-trivial. Bien que, dans dix ans, la loi de Moore rendra probablement ces préoccupations négligeables, sinon risibles, en ce moment ils présentent un obstacle technologique à l'utilisation facile des données MegaCam.

Le système de traitement d'images Elixir au TCFH traite chaque image MegaCam. Il fait un excellent travail de élimination de la tendance (soustraction du bias, la calibration du sensibilité) les images. Cependant, la solution astrométrique Elixir offre n'est valable que pour environ 1 seconde d'arc. Pour combiner les images, elles doivent être alignées à mieux qu'un pixel. Une précision de seconde d'arc est insuffisante. Par conséquent, il est nécessaire pour un utilisateur de mettre au point un moyen d'alignement des images pour une plus grande précision. Ce n'est pas une tâche facile, et elle est rendue plus difficile par la déformation du plan focal MegaPrime. Le problème n'est pas insoluble et il faire exister un certain nombre de solutions logicielles au problème, mais il reste un obstacle à l'utilisation facile des données MegaCam.

En bref, alors que les obstacles à l'utilisation des données de MegaCam archives ne sont pas insurmontables, ils rendent l'utilisation de ces données beaucoup moins attrayant. MegaPipe vise à accroître l'utilisation des données MegaCam par la suppression de ces obstacles.

But et la Portée

L'objectif du projet MegaPipe est de coaddtionner toutes les images MegaCam accessibles au public, à la fois des programmes de PI et le CFHTLS, dans les piles et les catalogues d'extraction. Les données d'entrée est accessible au public, les resultat sont aussi publics.

Les données seront regroupées dans des tranches d'un degré carré, la taille d'une image MegaCam. La façon la plus habituelle de prise de données de MegaCam est de prendre de multiples poses à chaque pointage, avec un motif de tramage qui est une petite fraction de degré. Certains projets impliquent images décalées qui ne se chevauchent que légèrement, ce qui exigerait réaliser des mosaïques plus grand qu'un degré. Les fichiers d'images en résulteraient seraient dessus de la limite de 2 Go intrinsèque aux ordinateurs 32 bits, ce qui les rend trop grande pour de nombreux utilisateurs. L'autre option est de travailler puce par puce. Cela présente des avantages techniques: les fichiers image sont plus petits et, dans le cas de défauts dans la procédure d'empilage, les tâches peuvent être renouvelées avec une petite perte de temps. Elle présente également des avantages scientifiques: dans certaines études de lentillage gravitationalle il est nécessaire suivre la fonction d'étalement de point à partir de chaque puce de l'image d'entrée à l'image coadditionée, une tâche rendue beaucoup plus facile si l'image ne contient que des données coadditionées à partir d'une seule puce. Toutefois, le motif de tramage grand utilisé dans de nombreux projets empêche cette approche. Trop de données seraient perdues dans les "gouttières" entre les images. En outre, le procédé monolithique signifie qu'il existe un facteur de 36 moins de fichiers à traiter, ce qui simplifie certains aspects du processus d'empilage.

Alors que MegaPipe est primarially construit pour le traitement des données publiques, les données PI sont traitées sur demande. S'il vous plaît contacter la CADC.

Il y aura des mises à jour tous les six mois. Aussitôt que les données deviennent accessibles au public, ils seront traitées par MegaPipe. En principe, cela peut se faire sur une base quotidienne, comme le systéme ne nécessite qu'un minimum de supervision. Cependant, une fraction substantielle de données CFHT sont obtenues lors de la file d'attente d'observation. Ces données sont rendues publiques un an après la fin du semestre de six mois dans lequel ils sont pris. Cela signifie que, dans la pratique, il est plus utile de produire des mises à jour semestriellement.

Definitions

  • Une CCD ou une puce ou se réfère à un seul 2k 4k par extension d'un fichier FITS multi-poste MegaCam.
  • Une image ou une pose se réfère à l'ensemble des 36 capteurs CCD de MegaCam représentés comme un multi-extension FITS.
  • Une pile est la somme de plusieurs expositions combinées (ajoutées / moyennées / médianées) ensemble. Les piles sont FITS simples fichier avec des dimensions autour de 20k par 20k
  • Un groupe est un ensemble de plusieurs piles, chacune dans une filtre differente, couvrant le exactement le même champ.

Actuellement, les résultats de MegaPipe comprennent plus de 3000 groupes. La couverture est montré dans la figure suivante. Les expositions individuels de MegaCam sont représentés en noir. Les images coadditionnées sont indiqués en rouge.
Images MegaCam indviduelles et images MegaPipe empilées