|
|
Projects |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| See Camera Culture group page for latest Videos and Key Presentations Computational
Health 2019
Augmented
Surgeons: Population Heath with AI AR and IA
Article, Patents Siggraph Achievement Award 2017: Video, Article: https://www.media.mit.edu/posts/ramesh-raskar-to-receive-the-acm-siggraph-achievement-award/ TED.com: Trillion frames per second imaging http://www.ted.com/talks/ramesh_raskar_a_camera_that_takes_one_trillion_frames_per_second.html UIST Keynote 2015 Innovating for Billions, UIST Keynote Presentation, Stanford HCI DARPA Wait What: Extreme Computational Imaging (Overview of our Imaging research projects) https://www.youtube.com/watch?v=ZTRWjSIqARk TEDMED: Eye is a window to your health (Retinal and refraction measurements for prediction of systemic health) http://www.tedmed.com/talks/show?id=103806 Wired (How to use the ‘Idea Hexagon’ to invent new ideas) http://www.wired.co.uk/magazine/archive/2012/11/start/inventing-a-new-field-in-vision http://www.wired.co.uk/news/archive/2012-10/26/ramesh-raskar Google SolveForX TEDxBoston : Eye Tests on Mobile Phones http://tedxboston.org/speaker/raskar TEDxBeaconstreet: Idea Hexagon http://tedxbeaconstreet.com/rameshraskar/ 6Sight: Future of Imaging, Future of Photography. Open challenges presented in 2008 but still relevant a decade later. https://www.youtube.com/watch?v=1bGVKvXG4dU Automated Machine Learning and Computational Health Privacy Preserving Distributed Machine Learning for Health Data, Summary Video Architecture Sweep (ICLR 2017) Neural Network Performance Prediction Data Exchanges (2017) See arXiv page for details Tech, HCI and AI for Impact AI for Impact, Emerging Worlds initiative, Computational Sustainability and
Visual Social Computing via Large Scale Image Based
Studies of Environments
Computational
Light Transport The research goal
is to create an entirely new class of
imaging devices and a novel theoretical
framework for inverse problems in
space-time analysis of light transport. Two
novel forms of imaging show great potential
for research and practical applications: (i)
time
resolved transient imaging that
exploits multi-path analysis and (ii) angle resolved
imaging without lenses for
displays, medical devices and phase
analysis. Can we photograph objects that are
not in the direct line of sight? Can we
automatically identify materials (e.g.,
wood, metal or skin) using a single photo?
Can we build portable CAT-scanning machines
with no moving parts? Can we convert LCDs
into large lensless cameras? Can exploit
high resolution of displays to create
unusual scientific and medical instruments?
Underlying theoretical contributions include
multi-path
analysis,
spatial heterodyning, augmented light
fields and
algebraic rank-constraints of 3D displays.
Computational Photography Computational Photography is an emerging multi-disciplinary field that is at the intersection of optics, signal processing, computer graphics+vision, electronics, art, and online sharing in social networks. The field is evolving through three phases. The first phase was about building a super-camera that has enhanced performance in terms of the traditional parameters, such as dynamic range, field of view or depth of field. I call this Epsilon Photography. Due to limited capabilities of a camera, the scene is sampled via multiple photos, each captured by epsilon variation of the camera parameters. It corresponds to the low-level vision: estimating pixels and pixel features. The second phase is building tools that go beyond capabilities of this super-camera. I call this Coded Photography. The goal here is to reversibly encode information about the scene in a single photograph (or a very few photographs) so that the corresponding decoding allows powerful decomposition of the image into light fields, motion deblurred images, global/direct illumination components or distinction between geometric versus material discontinuities. This corresponds to the mid-level vision: segmentation, organization, inferring shapes, materials and edges. The third phase will be about going beyond the radiometric quantities and challenging the notion that a camera should mimic a single-chambered human eye. Instead of recovering physical parameters, the goal will be to capture the visual essence of the scene and analyze the perceptually critical components. I call this Essence Photography and it may loosely resemble depiction of the world after high level vision processing. It will spawn new forms of visual artistic expression and communication. Related work
Non photorealistic Rendering Features such as silhouette edges, ridges, valleys and intersections of geometric primitives are useful in conveying shape in illustrations and art. We have developed a proactive imaging method to capture such features in real world scenes of various scales. One area of focus is shape clarifying multi-flash imaging for endscopes. For polygonal scenes, our focus has been real-time rendering of these features without requiring the connectivity information. Previous related work Intelligent user interfaces We are developing user interaction methods with novels gadgets and sensors. We have also exploited variational implicit surfaces for free form sketching and manipulation. Previous related work |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
Publications |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
Courses |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
Patents and Applications |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
Press |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| |
Coverage
on Camera Culture group
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
Books |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
 |
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
 |
Computational
Photography:
Mastering New Techniques for Lenses, Lighting, and
Sensors |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
Presentations and Talks |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Keynote Addresses • Stereoscopic
Displays
& Applications, Jan 2011, San Francisco, CA
(Keynote) Invited Presentations • National
Academy
of Engineering, Frontiers of Engineering,
Sept 2010
2010
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
