ファイルベース時代に学ぶ ビデオ技術(基礎編)第1回:映像が動いて見えるしくみ
以前、紙媒体で発刊されていたビデオα誌では「フレッシュマンのための基礎講座」という特集が年度始めによく掲載されており、駆け出しの私も大変お世話になりました。
そして月日が経ち、そんな私がテレビ局や専門学校で技術を伝える立場となりました。本連載では、新しいデジタル放送時代にマッチした映像理論・技術を、業界に仲間入りされた方に向けて発信していきます。
すでに経験をお持ちで、より深い知識をお求めの方は、兼六館出版株式会社より発刊されている月刊「放送技術」に掲載の、本連載をさらにプロ向けの内容にした「ファイルベース時代に学ぶビデオ技術(プロ編)」をご覧ください。
プロ編は月刊「放送技術」の2015年5月号(4月28日発売)より連載がスタートとします。最新の掲載情報については、放送技術のFacebookにて御確認ください。
視覚の連続性とフレーム画像
〜画像が連続表示されると映像となる
ボールを投げると、そのボールの動きは滑らかで連続したものとなります。そして我々が自然界から受け取る視覚的な情報も、時間的に連続しています。そのためこれら自然界の情景を映像として機器に記録する場合も、時間的に連続した表現方法を用いることがベストといえます。
しかしそれでは情報量が無限大となってしまうため、現実的ではありません。そこでビデオ機器では連続した時間を0.03〜0.04秒程度に裁断し、各時刻に1枚ずつの画像として記録・表示しているのです(図1)。ためしに暗い部屋でテレビやPCのディスプレイをつけ、明るい画面の前で手を振ってみてください。手の輪郭はボケずにくっきりと何重にも見えるはずです。これは画面が多数の画像を連続して表示するために、0.01〜0.03秒程度の短時間で点滅を繰り返しているからです。
このようにビデオ機器が撮影・記録する映像の情報は時間的に連続したものではありませんが、幸いなことに人間の目には残像効果があり、少しずつ変化する静止画像が1秒間におおむね20枚以上の割合で立て続けに表示されれば、それを滑らかに連続する映像として認識してしまうのです。そしてこの1枚1枚の静止画像を「フレーム」または「フレーム画像」と呼んでいます。
画素と走査線
〜アナログ映像は線で表す
デジタル放送やデジタル記録式のビデオカメラが普通となった現在では、フレーム画像は、たとえば1920×1080(横×縦)画素の画像データとして記録され、視聴時には液晶モニタ上に全画素が一斉に表示されます。しかしビデオの規格が作られてテレビ放送が始まったのは1953年のことで、当時は信号をアナログで伝送し、ブラウン管による表示を行っていた時代でした。そのためフレーム画は画素の集合体として表現されたわけではなく、図2のような横方向に何本も張られた糸状の「走査線」の集合体として表現されました。
各走査線は、上から下へ向かって、順に右側へつなげると1本の長い線、すなわち連続した1ch分のアナログ信号となります。アナログ放送時代のテレビでは、受信したアナログ信号を走査線ごとに区切り、1本の走査線を左から右に向かってスキャン(走査)しながら画面に表示し、それを画面の上から下まで繰り返すことで、映像の元となるフレーム画像を表示していたのです。
後にアナログ規格からデジタル規格に移行したときに、1フレームを構成する走査線数がそのまま縦方向の画素数に置き換えられ、アナログ映像を構成する走査線の縦位置と、デジタル映像の画素の縦位置が一致しました(※)。そのため走査線とは、デジタル映像の画素を横方向に1列分切り出したもの、と捉えることができます。
※例外的にアナログHD試験放送と現在のデジタルHD放送では、アクティブエリア内の走査線数と垂直画素数が一致していません
順次走査と飛越し走査
〜2回表示してチラつきを防ぐ
アナログ映像の規格を受け継いで発展したため、映像信号とは画面の左上から右上へ、そして順次下方へと移動して、最後は左下から右下へと処理するものであることはお解かりいただけたと思います。同様にブラウン管を使うモニターでも、左上から順に走査され、電子ビームの当たった蛍光体が輝点(画素に相当)として発光します。ところがこの発光時間が短く、次に走査されるまで発光を持続できないため、1フレームごとに画面が暗くなってチラつく現象が生じました。
そこで1フレームの画像を構成する全走査線を上から順に1回だけ走査するのではなく、粗く2回に分けて走査して、常に画面を明るく保つ方法が採用されたのです。前者を順次走査(ノンインターレーススキャン、またはプログレッシブスキャン)、後者を飛越し走査(インターレーススキャン)と呼びます。走査を粗く2回に分けるインターレース方式では、フレーム画を構成する走査線に上から順に番号をつけ、奇数番号の走査線だけを1枚目の粗い画像としてまず表示し、次に偶数番号の走査線を2枚目の粗い画像として表示します(図3)。粗い画像は「フィールド」または「フィールド画像」と呼ばれ、すだれのように1ラインずつ隙間の空いた構造となっていますので、奇数番目の走査線だけから構成される奇数フィールド(第1フィールド)と、偶数番目の走査線だけから構成される偶数フィールド(第2フィールド)の2枚が合わさることで、1枚のフレーム画となります。
それに合わせてビデオカメラもインターレース撮影を行うこととし、1フレームの画像を得るために、電子シャッターを2回切る仕様となりました。録画したテレビ映像を再生中に静止させると輪郭が二重に見えることがありますが、それはこのインターレース撮影によるものです。
デジタル映像とインターレース
〜プロはインターレースを適切に処理する
画像情報を保持するメモリー回路が安価になり、非リアルタイム処理が可能なデジタル回路が発達し、全画素表示が可能な液晶モニタの普及した今日の映像システムでは、インターレース方式は不要です。しかし過去に制作した映像資産の互換性と、放送システムの持続性を考慮し、デジタル放送においてもインターレース方式が継続されることになりました。その一方で全画面を一斉に撮影するフィルム映像(映画作品とCM素材)にも対応できるよう、プログレッシブ方式も正式フォーマットの1つとして採用されています。そのため現在のデジタルフォーマットでは、例えば720pや59.94iなど、フォーマットを示す数字の後に「i」や「p」(大文字も使用可)を付けてインターレースか否かを区別します。
ところで近年では、インターネット上で動画を視聴する機会も増えてきました。ネット動画の配信や視聴システムは、テレビ放送とは異なり、インターレースとの互換性を考慮する必要がありません。そのためネット動画の配信やそれを表示するソフトは、プログレッシブによるシステムを基本としています。とはいえビデオカメラの多くはテレビシステムの流れでインターレース撮影が基本となるため、ネット動画を配信する際は、インターレースで撮影された映像を、適切にプログレッシブに変換する処理が必要になります。
テレビ映像のフレームレート
〜日本のテレビは毎秒30フレームで表示する
映像が高速で連続表示されるフレーム画の集合体であることを繰り返し説明してきましたが、それではこのフレーム画はどのくらいの割合で表示されるのでしょうか。それはメディアによって異なります。
日本のテレビ放送では、1953年のアナログ白黒放送を始めた時点で1秒間に30枚、すなわち毎秒30フレーム(30Fps)(※1)と決められました。実際にはインターレース表示を行っていますので、毎秒60フィールド(60fps)(※1)とも表記できます。その後カラー放送が導入されるときに、29.97Fps(59.94fps)(※2)に改められて現在にいたっています。
これに対してフィルムを使う映画では、一般的に35ミリフィルムが24Fps、16ミリフィルムが18Fpsで運用されていて、テレビ放送とは異なっています。またフィルムにインターレースという概念はありませんから、映画作品は基本的にプログレッシブ撮影となります。フィルム式の銀塩カメラがデジタルカメラに置き換わったように、近年ではデジタルビデオカメラで映画を撮影することも多くなり、フィルムのシステムに置き換えやすい24Fpsモードで撮影可能なビデオカメラが増えています。
スタンドアローンで使用するPCのディスプレーや、特定の規格にとらわれないインターネット動画では、標準となるフレームレートは無く、自由に設定して視聴されます。たとえばPCのディスプレーであれば75Fpsなどが多く使われ、ネット動画ではデータ量を減らすために15Fpsなどで作成された動画も多々見かけます。
※1 一般的に、フレームには大文字の「F」を、フィールドには小文字の「f」を使います
※2 最後のフレームが0.97枚で終わるのではなく、1.001秒で30枚のフレームを表示します
NTSC圏とPAL圏
〜世界のテレビはフレームレートで2分されている
日本のテレビ放送のフレームレートは29.97Fpsですが、同じテレビ放送でも、海外では事情が異なります。
アナログ放送時代には、NTSC、PAL、SECAMの3規格が存在し(※)、各国がアレンジした亜流を考慮すると、30種類くらいに細分化されていました。NTSC方式は日本やアメリカ、韓国が採用しています。PAL方式は主にフランスを除くヨーロッパと中国で使われ、SECAM方式はフランスとロシアで使われていました。アフリカや東南アジアの状況は複雑ですが、主に植民地時代の統治国が採用していた方式がそのまま残っています。
これらのアナログ信号規格には互換性がないため、たとえばイギリスで録画されたテープを日本に持ち込んでも、NTSC方式のVTRでは画像が乱れて再生できません。デジタルHD放送の規格化では、できるだけ統一を図るよう努力がなされましたが、アナログ放送時代のアーカイブと互換性を持たせるため、フレームレートまでは統一できませんでした。NTSCの29.97Fps(59.94fps)に対して、PALとSECAMはともに25Fps(50fps)であるため統合され、世界のデジタル放送はNTSC圏とPAL圏(含SECAM圏)で2分されています(図4)。
※ それぞれ「NTSC」はNational Television System Committee、「PAL」はPhase Alternating Line、「SECAM」はSequentiel Couleur a Memoireの略となります
フレームレートの変換
〜24Pモードは3種類ある
フレームレートが異なる地域や分野間で番組交換を行うと、再生時にフレームレートの変換が必要になります。30Fpsを60Fpsにする、というような整数倍の変換ならよいのですが、割り切れないようなフレーム数間での変換は、チラつきなど画質の低下に繋がりやすいため注意が必要です。
映像制作の現場で主に必要となるのが、未知のフレームレートで作成されたネット上の動画を素材として使用する場合と、映画用に24Fpsモードで撮影された素材を編集する場合でしょう。ネット上の動画は元々画質もそれほど高くないため、ノンリニア編集ソフトのタイムライン上に貼り付けるだけ、という場合が多いようです。
気をつけたいのが24Fps(=24p)モードで撮影された素材の取り扱いです。一口に24pといっても、(1)本当に1秒間に24フレームで撮影して記録している場合、(2)1秒間に24フレームで撮影しながらも2f,3f,2f,3f…と並べて30Fpsで記録している場合、(3)同様に24フレームを2f,3f,3f,2f…と並べて30Fpsで記録している場合、の3通りに分けられます。(1)は「ネイティブ」、(2)は「2:3プルダウン」、(3)は「2:3:3:2プルダウン」と呼ばれ、図5のような記録状態となります。
ネイティブ以外のプルダウン方式が存在する理由は、構造上の理由から24Fpsで録画できないVTRへ記録するためや、24Fpsの映像信号を入力できないビデオ機器に対応するためです。パナソニック製のカメラでは、ファイルベースの「AVC INTRA」がネイティブ方式(24PNと表示)で記録し、「DVCPRO HD」というテープ由来のフォーマットで記録する際は2:3プルダウン(24Pと表示)または2:3:3:2プルダウン(24PAと表示)が使われています。ソニー製のカメラでは、XDCAMでの記録時に2:3プルダウン方式が採用されています。
モニターの種類と特徴
〜ブラウン管はデジタル時代でも番組制作の標準
フレームレートの変換が適切に行われたかどうかは、最終的にはモニターで確認することになります。モニターのデバイスにはCRT、PDP、SED、LCD、OELなどの種類があり、それぞれ映り方が異なります。コントラスト比が低いと黒が締まらない映像となり、応答速度が遅いと残像が生じます。視野角が狭いと正面以外からの視聴で色や明るさが正しく表示されません。そのため映像制作の現場では、各デバイスの特徴を熟知して、適切に使用しなくてはならないのです。
- CRT(Cathode Ray Tube)はいわゆるブラウン管のことで、色調やコントラスト比、視野角、応答速度などに優れた性能を有しています。メーカーが製造をやめてしまったため現在では入手困難ですが、マスターモニタとして、いまでも最終的な画質の確認用に使われ続けています。
- PDP(Plasma Display Panel)はフラットパネルモニタの1つです。画素1つ1つが蛍光灯と同じように発光する自発光型のデバイスで、コントラスト比、応答速度、視野角などが優れています。画質は良いのですが消費電力が多いため、次第に市場はLCDへと移り、2013年に製造が終了しました。
- SED(Surface-conduction Electron-emitter Display)は、画素レベルの微細なCRTをパネルに敷き詰めた様な構造をしており、電子線で蛍光体を発光させるため、CRTに近い特性を示します。価格的にもPDPより安価に製造できる可能性があり、フラットパネルモニタの次期主力製品になると期待されましたが、液晶テレビの普及に押され、実用化されることはありませんでした。
- LCD(Liquid Crystal Display)はいわゆる液晶テレビのことで、現在主流のモニタ用デバイスです。電圧に応じて偏光の性質を示す液晶物質を使ってバックライトを遮蔽し、画面の明暗を表現します。省電力かつ安価で、画素を小さく製造できますが、コントラスト比、応答速度、視野角などで他のデバイスより劣ります。特に応答速度が遅くて残像が現れる性質は、チラつきの確認には不向きといえます。
- OEL(Organic Electro-Luminescence)は「OLED」や「有機EL」とも呼ばれ、パネルにLEDを敷き詰めたような構造で発光する、自発光型のデバイスです。明るく色域も広く取れることから、CRTを上回る性能を示し、放送用のマスターモニタなどに使われるようになりました。現状では価格が高いのが難点です。
映像制作者にとって、モニターは納品物の最終的なチェックを行う重要なアイテムです。PC用のディスプレーでチェックすることは絶対に避けたいところです。また家庭用のテレビは入力映像を綺麗に加工して表示するものが増えています。そのため粗も含めて入力映像をそのまま表示でき、インターレース表示にも対応する業務用モニターの使用が必須となります。
※本連載は、昨年まで「デジタル時代に学ぶ〜ビデオ技術の基礎」として当サイトに掲載されていた連載記事を改題し、再構成したものです
[ファイルベース時代に学ぶ ビデオ技術(基礎編)]連載リスト
・第1回:映像が動いて見えるしくみ
・第2回:映像・音声信号の種類と伝送 その1 その2 その3
・第3回:ファイルベースフォーマットの概要 その1 その2 その3