Olympus mostra il sensore RGB-NIR che vede a colori e all'infrarosso

... differenze rispetto ad un sensore senza filtro ir montato ?

direi differenze "strutturali". basta vedere come rivela lo spettro. un sensore RGB senza filtro IR non rivela tutta la banda segnata in nero. di sicuro nella banda NIR questo sensore ha maggiore gamma dinamica e maggiore sensibilità, peccato che la risoluzione spaziale in banda visibile sia diminuita di un fattore un mezzo nel blu e un mezzo nel rosso (credo).

ricordiamoci cmq che questo sensore non sarà probabilmente mai montato nemmeno su una compatta.

Domanda:

Visto che la matrice "base" del bayer è 2G+B+R... perchè in questo sensore hanno convertito ad IR, alternativamente, l'unico pixel B o R della matrice base, al posto di usare uno dei due G?
Così ci si trova con ben due pixel "verdi" ma, a turno, nessun rosso o nessun blu... c'è tantissima disparità tra le informazioni acquisite sul verde e quelle sul rosso e blu, ancora più che sul bayer "normale".
Mi parrebbe molto più equilibrato e "all round" un RGBI al posto di RGGI o BGGI come in questo sensore.

Tra l'altro, RGBW funziona proprio così: il pixel bianco è un ex pixel verde, in modo da mantenere completa l'informazione sul colore per ogni matrice "base".

il problema è che il pixel verde che è doppio porta l'informazione sulla luminanza mentre l'insieme di tutti porta quella sulla crominanza. una immagine puo essere scomposta in due modi: o ogni canale di colore (RGB + N in questo caso) in cui si ha una mappa spaziale di colore e intensità per ognic olore; oppure in una mappa di crominanza (colore per ogni pixel, in questo caso i pixel verdi daranno solo il verde, i pixel rossi solo il rosso etc ma senza info sulla intensità e una mappa spaziale della luminanza in cui ogni pixel non ha info sul colore ma sulla intensità rivelata. ricordoc he feci la stessa domanda al mio prof di sistemi optoelettronici e mi disse che ci sono due pixel verdi per avere maggiori info sulal luminanza (anche l'occhio umano è piùs ensibile al verde tra l'altro) si vede infatti anche dal diagramma sulla risposta dei vari sensori che il verde ha un picco piu alto significa che la sensitività è maggiore, ha più senso mettere due pixel verdi per avere piu del doppio dell'efficienza quando si deve calcolare la luminanza piuttostoc he prediligere il blu o il rosso o il nir o distribuirli tutti uniformemente. Alal fine dipende tutto dall'algoritmo di demosaicing, ti basti sapere che la info sulla luminanza è la più importante per la gamma dinamica e il contrasto.

tra l'altro ho notato che sia verde che blu hanno sensitività che risale nel NIR, bello schifo di informazioni cromatiche si hanno senza filtro IR se si prende una immagine con spettro prevalemntemente visibile.

ma la radiazione infrarossa per i fatti suoi non può essere utile per migliorare gli algoritmi di conversione da reale a digitale in qualche modo ?

no, senza contare i problemi di aberrazione cromatica che tra blu ed infrarosso sono peggiori di che tra blu e rosso, l'IR da solo info sul colore, se vuoi migliorare la nitidezza ad esempio nell'IR devi avere una lente che si risolva meglio nel NIR che nel visibile.

non mi è molto chiaro il concetto di "le fotocamenre hanno un filtro infrarosso normalmente"
io ho provato con decine di camere compatte, webcam, phonecam, reflex e tutte ricevono regolarmente la radiazione infrarossa a 940nm (diodo laser), percepiscono tranquillamente la presenza di segnali del telecomandi (led a 870 nm) e vedono di notte con illuminatori IR.
ora vi chiedo dove diavolo è questo "Filtro IR" ???

Significa che il filtro attenua l'IR vicino ma evidentemente non lo elimina del tutto.
Se rimuovi il filtro l'immagine cambia completamente ma ciò potrebbe essere dovuto agli algoritmi di correzione che non sono tarati per immagini con componente IR.
Le IP camera recenti hanno tale filtro rimovibile a comando: un motivo ci sarà.

cioè fammi capire prendi un diodo laser nel vicinissimo infrarosso con intensità milioni di volte maggiore al background infrarosso che il filtro vuole tagliare (ricorda che per quanto ben fatto un filtro non è mai ideale, e la sua risposta in freq/lunghezza d'onda non è mai verticale) e ti stupisci perché rivela ancora la radiazione NIR.
È come se facessi scoppiare una bomba fuori da una camera insonorizzata a e ti lamentassi del rumore.
basta guardare il grafico di sensitività deel sensore dell'articolo per vedere che nel NIR perfino i pixel blu e verdi sono in grado di captare fotoni. il filtro IR è un filtro Blando che taglia buona parte di quello che può essere captato sopra i 900 nm. nessuno dice che una fotocamera anche reflex non vede l'IR ma che se uno ha bisogno di rivelare la radiazione in quella parte di spettro ha bisogno di accorgimenti appositi ad esempio togliere il filtro IR (e modificare l'algoritmo di demosaicing) oppure introdurre un fotodiodo dedicato al NIR, come in questo caso.

Che puoi usare un unico prodotto per coprire due ambiti, abbattendo i costi ed aumentando la flessibilità a scapito di un (in certi casi) leggero compromesso? Ovvio che non è una tipologia di sensore che nasce per uso consumer a priori, è più utile in certi ambiti industriali, ma non è detto che poi finirai per trovartelo anche in compatte e cellulari, se qualcuno si inventa delle funzioni che possano avere un certo appeal lato marketing.



Ti ha già risposto perfettamente emanuele83: al G lasci il compito di preservarti maggiormente le informazioni di luminanza e releghi ai R, B, N la funzione colorimetrica. Ovvio che stai facendo un compromesso e molto dipenderà poi dall'ambito in cui vorrai applicare questo sensore, per esempio a mio umile parere per video sorveglianza molto meglio il sensore monocromatico nudo (ovviamente senza cut-IR) o al limite se proprio serve il colore perfino meglio RGBW perché con la soluzione qui proposta usata di notte con illuminatore IR avrai ben poca risoluzione spaziale e temo non sia proprio l'accoppiata ideale. Invece se il tuo fine è un'immagine polispettrale "continua" senza tante complicazioni direi che questa soluzione non ha praticamente concorrenti: è vero perderai un po' di risoluzione spettrale sulla parte colorimetrica a causa dell'introduzione del canale aggiuntivo ma per certe applicazioni industriali non è un problema e in cambio guadagni maggiore semplicità, abbattimento dei costi e il fatto che può tirare dentro anche in un flusso video continuo una parte di informazioni che potrebbero essere utili e prima non potevi usare a meno di creare un sistema ad hoc e ben più complesso.


Quello che tu chiami schifo è sempre stata una cosa molto apprezzata e sfruttata nella fotografia artistica in nIR e che può perfino avere una piccola utilità anche lato spettrale per distinguere ulteriormente la porzione di infrarosso che vai a registrare. Se metti un filtro IR (cut-visible) e fai una foto non hai un'immagine monocromatica, proprio perché la risposta dei tre canali è leggermente diversa fino a circa 850 nm (se tagli oltre infatti ottieni praticamente un'immagine monocromatica): detto in parole semplici puoi fare foto con la vegetazione di un colore e il cielo di un altro! I colori a questo punto sono arbitrari ovviamente, ma va di moda la coppia complementare arancio e blu rispettivamente per un ovvio motivo di canone umano che lascio a te intuire..


Reale???? C'è qualcosa di reale che viene convertito in qualcos'altro??
Fatico a capire i termini della domanda, ma in ogni caso se ti riferisci all'algoritmo di interpolazione spaziale che riscala ogni canale alla risoluzione finale dell'immagine ricostruendola dalle informazioni degli altri, allora, no con questa matrice il canale aggiuntivo può solo portare ad un peggioramento del processo di interpolazione per le componenti che devono fargli spazio: detto in altri termini la risoluzione dei canali R e B cala mentre il contributo di G resta uguale a quello di una comune matrice di Bayer.
Provo a spiegartelo in altri termini, puoi pensarla in questo modo semplificato: è come se per te l'immagine avesse quello che tu percepisci come risoluzione in senso lato (quella che il tuo cervello interpreta come variazione di chiaro/scuro) che risulta dal contributo del canale G al 50% del B al 12.5% del R al 12.5% e del N al 25%, per tale ragione è evidente che rispetto al classico Bayer se ti interessa la risoluzione spaziale nelle due componenti a cui l'occhio umano è meno sensibile (R e B) stai perdendo precisione. Semplicemente hai scelto di spostare un po' di questi due contributi che ti davano la risoluzione dell'immagine su una nuova componente che è N. Quindi (forse questo in parte risponde a quello che volevi chiedere) sì una buona parte delle informazioni che percepisci come risoluzione spaziale in senso lato ora dipenderanno dallo spettro nIR (che solitamente il tuo occhio non vede).

Faccio notare che questo, per ovvie ragioni (altrimenti il contributo di risoluzione spaziale della componente N sarà peggiorativo) obbliga a montare su un tale sensore un ottica corretta su una porzione di spettro più ampia serviranno cioè ottiche ultra-apocromatiche (in gergo si dice apocromatico un sistema ottico corretto sulle tre porzioni del visibile).

Aggiungo per esaurirti anche il dubbio sul processo, che l'algoritmo per questa matrice proposta (sarebbe meglio dire gli algoritmi perché già per la matrice di Bayer si applicano diverse soluzioni allo stesso problema della demosaicizzazione) sarà diverso, dato che ora lavora con un mix diverso di componenti e lo si potrà ottimizzare in vari modi, ma qui mi fermo perché questo non apporta altro al discorso e soprattutto non voglio confonderti con cose che potresti non avere chiare.


Ovviamente tutto è relativo, tu non senti gli ultrasuoni eppure ciò non è esattamente vero... tu potresti anche sentire un ultrasuono vicino al tuo limite purché questo avesse un'intensità sufficientemente forte!
Lo stesso i tuoi occhi non vedono, nel nIR eppure ciò non è esattamente vero... normalmente non te ne accorgi perché la risposta che ricevi dal visibile sovrasta il debole segnale che potresti ricevere in nIR; è un po' come quando sei allo stadio è senti solo i cori dei tifosi e non riesci a sentire un bisbiglio a te accanto, ma se tu potessi zittire tutti i tifosi capiresti senza problema anche il bisbiglio. Un sensore al silicio è ben diverso che il tuo occhio: lui sente molto forte anche in nIR e questo urlo gli renderebbe difficile capire le parole del visibile.

Per questo entra in campo il filtro cut-IR che ammutolisce l'urlo nIR e si usa appunto con i sensori a colori (visibile).

Davanti al sensore, magari? Prova a smontare il modulo di una fotocamera: appena davanti al sensore troverai un pezzetto di vetro che riflette debolmente un colore azzurrino quello è il cosiddetto cut-IR, cioè un filtro che cerca di ammazzare la risposta fortissima che hanno i sensori al silicio per i fotoni con energia più bassa del visibile (fino a circa l'energia di banda proibita il semiconduttore risponde).

Ti metto il confronto fra la sensibilità spettrale (come lo puoi trovare in un qualsiasi datasheet tecnico) di uno stesso sensore nudo (linea nera continua) e con il cut-IR (linea rossa tratteggiata). Considera che in genere i cut-IR dei sensori usati nelle macchine fotografiche sono ancora più netti a tagliare attorno a 650 nm ma ciononostante è tutta questione di risposta relativa dato che nessun filtro comunque assorbe completamente tutto di netto, detto in altri termini se hai una sorgente sufficientemente potente potrai vedere sempre comunque un segnale anche se molto smorzato (e a quel punto il gioco è fatto dato che il segnale del visibile lo sovrasterà sempre rendendolo trascurabile).

Link ad immagine (click per visualizzarla)

Comunque anni fa avevamo una bella discussione al riguardo di questi temi sul forum.