Large-scale data analysis in the connection between SACLA and the supercomputer “K Computer”

X線自由電子レーザー施設「SACLA」とスパコン「京」の連携にSINETを活用

初井 宇記氏
初井 宇記氏

独立行政法人 理化学研究所と財団法人 高輝度光科学研究センター(JASRI)では、2012年3月よりX線自由電子レーザー(XFEL)施設「SACLA」の共用運転を開始しました。
その概要とSINETが果たす役割について、理化学研究所 放射光科学総合研究センター XFEL研究開発部門 ビームライン研究開発グループ データ処理系開発チームチームリーダー 初井 宇記氏、JASRI XFEL研究推進室 測定器グループ 城地 保昌 氏、同 制御・情報部門 杉本 崇氏、同 情報・制御部門 間山 皇氏にお話を伺いました。
(インタビュー実施:2012年6月15日)

SACLAは「X線レーザー」による研究を行う施設とのことですが、その原理と概要について教えて頂けますか。

初井氏:分かりました。まず、X線は可視光に比べて波長が非常に短いという特徴があり、物質の微細な構造を調べるために用いられています。SACLAに隣接して設置されているSPring-8でも、世界有数の強度を誇るX線源を用いて様々な研究を行っています。 但し、X線は光の波、つまり位相が揃っていないため、原子や分子の瞬間的な動きまではなかなか調べられませんでした。
この問題を解決する上で有効なのが、CDやDVDの読み書きでもおなじみのレーザーです。レーザーには光の位相がきれいに揃っている「コヒーレント」という性質があり、研究用の光源としても大きな効果が期待できます。 とはいえ、レーザーは可視光の領域で発達してきた技術であり、従来はX線の波長を持つものはありませんでした。 このX線とレーザーの両方の性質を併せ持つ光を作り出せれば、今までは見えなかったような原子や分子の動きを観察できるようになります。そこで世界中でX線レーザーの研究が進められてきたのです。

SACLAでは自由電子レーザー(XFEL)という方式を採用されていますね。

初井氏:XFELでは、電子銃で発生させた電子ビームを加速器で光速近くまで加速し、磁石を大量に並べたアンジュレータという装置を通すことで、強力なX線レーザーを作り出します。 実はX線を発生させるところまではSPring-8と同じ原理なのですが、これをコヒーレントなX線レーザーにするのは非常に難しい。電子銃、加速器、アンジュレータそれぞれの領域において、様々な技術課題を解決する必要があったからです。
SACLAではSPring-8で培った経験を元に、各分野のエキスパートの先生方が意欲的に研究に取り組みました。その結果、細く絞った電子ビームを供給できる「熱電子銃」、従来比で2倍の加速能力を実現した「Cバンド加速器」、真空容器中に大量の磁石を入れることで超強力な短周期磁場を作る「真空封止アンジュレータ」などの開発に成功。海外のXFEL施設が全長2~3kmであるのに対し、わずか700mというコンパクト設計を実現しています。 この発想はスイスなど諸外国でも取り入れられ、今後のスタンダードになると考えられています。

まさに日本の科学技術力が生んだXFEL施設というわけですね。
具体的にはどのような分野の研究に用いられるのですか。

城地 保昌 氏
城地 保昌 氏

城地氏:代表的な例としては、たんぱく質をはじめとする様々な物質の構造解析が挙げられます。 原子や分子の微細な構造や反応の様子が分かれば、今までは未知とされていた現象の原理を解き明かせる可能性が拡がります。生物学や医薬分野はもちろんのこと、材料科学やエレクトロニクスなど、様々な分野で成果が期待されています。
ちなみに、たんぱく質の構造解析を行う場合、従来はまず結晶を作ってからでないと解析が行えませんでした。ところが、この結晶を作ること自体が困難な作業で、それだけで一つの研究テーマになるくらいなのです。 その点、SACLAでは、コンピュータにレンズの役割をさせることで、結晶を作ることなく分子や原子の構造を解析できるようになります。 しかもSACLAの光は、発光時間がピコ秒(1兆分の1秒)~フェムト秒(1000兆分の1秒)単位という、世界でも類をみない短パルスを実現していますので、化学反応の様子をまるでビデオのコマ送りのように見ることができます。

それは凄いですね。

城地氏:とはいえ、課題がないわけではありません。分子や原子の状態がより詳細に分かるということは、SACLAから出力されるデータ量も膨大になってしまうということです。 物質の構造は2次元の画像データで表されますが、SPring-8では一回の実験で出力される画像は概ね数百枚程度。ところがSACLAでは、100万枚~1000万枚というケタ違いのデータ量になってしまうのです。
SACLAの能力をフルに発揮させるためには、この大容量データを高速に処理できるコンピューティングパワーが不可欠。そこで世界トップレベルの計算能力を誇るスパコン「京」との連携を推進しています。

その「京」とSACLAを結ぶネットワークとして、SINETが活用されているわけですね。

杉本 崇氏
杉本 崇氏

杉本氏:その通りです。SACLAから出力されるデータは一日あたり約37TB、一週間では約300TBもの容量になります。 不要なデータは間引くなど、ある程度データ容量を抑えるための努力は行っていますが、1/10に減らしたとしても一週間あたり30TB。これほどのデータを京に送るためには、SINETのような高速・高品質なネットワークインフラがどうしても必要です。

初井氏:しかも、さらにやっかいなのが、SACLAでの研究はこれまでと違って、実験と結果の確認を同時並行で進めるんですね。 装置から出力されたデータを後でまとめてチェックするというのが、これまでのやり方。しかし、SACLAでは、実際にうまく実験が行われているかどうか京で判定しながら作業を進めます。 このため、SACLAと京があたかも一つの装置であるかのように密接に連携させないといけません。この重要な役割を果たしているのがSINETなのです。

SINETに課せられた使命は重大ですね。

杉本氏:ええ。しかしSINETはその重責をしっかりと果たしてくれています。 SACLAでは初期の実験に必要な帯域を4Gbpsと見積もっていますが、2月に実施した転送試験では平均で6.4Gbpsくらいの帯域が確保できました。 いろいろな大学と接続することも想定して、特別なチューニングは一切行っていないにも関わらず、我々の期待以上のパフォーマンスが得られたのはさすがでしたね。

間山 皇氏
間山 皇氏

間山氏:ノード担当者としても、SINETには常に安定的なネットワーク環境を提供してもらい助かっています。 本施設のような大容量データを利用する機関では、SINETが研究を支える生命線ですから、今後もさらなる発展を期待しています。
また最近では、ITインフラのクラウド化なども検討を進めていますが、こうした場面でも利用者の利便性向上にSINETを役立てられればと考えています。

最後に今後の意気込みを伺えますか。

城地氏:SACLAではこれまでにない大量データを活用した研究が行えるようになりますから、我々としてもユーザーの方々が使いやすい研究基盤を提供する必要があると考えています。その実現に向けて努力していきたいですね。

杉本氏:今後のX線研究では、コンピュータがレンズの代わりを果たすようになります。ITインフラの重要性も今まで以上に重くなりますので、しっかりとした環境を整備していきたいと思います。

初井氏:SACLAが稼働を開始したことで、X線研究は新しい時代を迎えたと言えます。現代のサイエンスでは科学技術基盤を含めた総合力の高さが要求されますので、いろいろな分野の方々と積極的に協力して成果を挙げていきたい。 今後もデータ量は格段に増えると予想しております。ネットワーク分野でのSINETの貢献にも大いに期待しています。

ありがとうございました。